roundup/mailgw.py

   1 #
   2 # Copyright (c) 2001 Bizar Software Pty Ltd (http://www.bizarsoftware.com.au/)
   3 # This module is free software, and you may redistribute it and/or modify
   4 # under the same terms as Python, so long as this copyright message and
   5 # disclaimer are retained in their original form.
   6 #
   7 # IN NO EVENT SHALL BIZAR SOFTWARE PTY LTD BE LIABLE TO ANY PARTY FOR
   8 # DIRECT, INDIRECT, SPECIAL, INCIDENTAL, OR CONSEQUENTIAL DAMAGES ARISING
   9 # OUT OF THE USE OF THIS CODE, EVEN IF THE AUTHOR HAS BEEN ADVISED OF THE
  10 # POSSIBILITY OF SUCH DAMAGE.
  11 #
  12 # BIZAR SOFTWARE PTY LTD SPECIFICALLY DISCLAIMS ANY WARRANTIES, INCLUDING,
  13 # BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  14 # FOR A PARTICULAR PURPOSE.  THE CODE PROVIDED HEREUNDER IS ON AN "AS IS"
  15 # BASIS, AND THERE IS NO OBLIGATION WHATSOEVER TO PROVIDE MAINTENANCE,
  16 # SUPPORT, UPDATES, ENHANCEMENTS, OR MODIFICATIONS.
  17 #
  18
  19 __doc__ = '''
  20 An e-mail gateway for Roundup.
  21
  22 Incoming messages are examined for multiple parts:
  23  . In a multipart/mixed message or part, each subpart is extracted and
  24    examined. The text/plain subparts are assembled to form the textual
  25    body of the message, to be stored in the file associated with a "msg"
  26    class node. Any parts of other types are each stored in separate files
  27    and given "file" class nodes that are linked to the "msg" node.
  28  . In a multipart/alternative message or part, we look for a text/plain
  29    subpart and ignore the other parts.
  30
  31 Summary
  32 -------
  33 The "summary" property on message nodes is taken from the first non-quoting
  34 section in the message body. The message body is divided into sections by
  35 blank lines. Sections where the second and all subsequent lines begin with
  36 a ">" or "|" character are considered "quoting sections". The first line of
  37 the first non-quoting section becomes the summary of the message.
  38
  39 Addresses
  40 ---------
  41 All of the addresses in the To: and Cc: headers of the incoming message are
  42 looked up among the user nodes, and the corresponding users are placed in
  43 the "recipients" property on the new "msg" node. The address in the From:
  44 header similarly determines the "author" property of the new "msg"
  45 node. The default handling for addresses that don't have corresponding
  46 users is to create new users with no passwords and a username equal to the
  47 address. (The web interface does not permit logins for users with no
  48 passwords.) If we prefer to reject mail from outside sources, we can simply
  49 register an auditor on the "user" class that prevents the creation of user
  50 nodes with no passwords.
  51
  52 Actions
  53 -------
  54 The subject line of the incoming message is examined to determine whether
  55 the message is an attempt to create a new item or to discuss an existing
  56 item. A designator enclosed in square brackets is sought as the first thing
  57 on the subject line (after skipping any "Fwd:" or "Re:" prefixes).
  58
  59 If an item designator (class name and id number) is found there, the newly
  60 created "msg" node is added to the "messages" property for that item, and
  61 any new "file" nodes are added to the "files" property for the item.
  62
  63 If just an item class name is found there, we attempt to create a new item
  64 of that class with its "messages" property initialized to contain the new
  65 "msg" node and its "files" property initialized to contain any new "file"
  66 nodes.
  67
  68 Triggers
  69 --------
  70 Both cases may trigger detectors (in the first case we are calling the
  71 set() method to add the message to the item's spool; in the second case we
  72 are calling the create() method to create a new node). If an auditor raises
  73 an exception, the original message is bounced back to the sender with the
  74 explanatory message given in the exception.
  75
  76 $Id: mailgw.py,v 1.57 2002-01-22 22:27:43 richard Exp $
  77 '''
  78
  79
  80 import string, re, os, mimetools, cStringIO, smtplib, socket, binascii, quopri
  81 import time, random
  82 import traceback, MimeWriter
  83 import hyperdb, date, password
  84
  85 SENDMAILDEBUG = os.environ.get('SENDMAILDEBUG', '')
  86
  87 class MailGWError(ValueError):
  88     pass
  89
  90 class MailUsageError(ValueError):
  91     pass
  92
  93 class MailUsageHelp(Exception):
  94     pass
  95
  96 class UnAuthorized(Exception):
  97     """ Access denied """
  98
  99 class Message(mimetools.Message):
 100     ''' subclass mimetools.Message so we can retrieve the parts of the
 101         message...
 102     '''
 103     def getPart(self):
 104         ''' Get a single part of a multipart message and return it as a new
 105             Message instance.
 106         '''
 107         boundary = self.getparam('boundary')
 108         mid, end = '--'+boundary, '--'+boundary+'--'
 109         s = cStringIO.StringIO()
 110         while 1:
 111             line = self.fp.readline()
 112             if not line:
 113                 break
 114             if line.strip() in (mid, end):
 115                 break
 116             s.write(line)
 117         if not s.getvalue().strip():
 118             return None
 119         s.seek(0)
 120         return Message(s)
 121
 122 subject_re = re.compile(r'(?P<refwd>\s*\W?\s*(fwd|re|aw)\s*\W?\s*)*'
 123     r'\s*(\[(?P<classname>[^\d\s]+)(?P<nodeid>\d+)?\])'
 124     r'\s*(?P<title>[^[]+)?(\[(?P<args>.+?)\])?', re.I)
 125
 126 class MailGW:
 127     def __init__(self, instance, db):
 128         self.instance = instance
 129         self.db = db
 130
 131     def main(self, fp):
 132         ''' fp - the file from which to read the Message.
 133         '''
 134         self.handle_Message(Message(fp))
 135
 136     def handle_Message(self, message):
 137         '''Handle an RFC822 Message
 138
 139         Handle the Message object by calling handle_message() and then cope
 140         with any errors raised by handle_message.
 141         This method's job is to make that call and handle any
 142         errors in a sane manner. It should be replaced if you wish to
 143         handle errors in a different manner.
 144         '''
 145         # in some rare cases, a particularly stuffed-up e-mail will make
 146         # its way into here... try to handle it gracefully
 147         sendto = message.getaddrlist('from')
 148         if sendto:
 149             try:
 150                 return self.handle_message(message)
 151             except MailUsageHelp:
 152                 # bounce the message back to the sender with the usage message
 153                 fulldoc = '\n'.join(string.split(__doc__, '\n')[2:])
 154                 sendto = [sendto[0][1]]
 155                 m = ['']
 156                 m.append('\n\nMail Gateway Help\n=================')
 157                 m.append(fulldoc)
 158                 m = self.bounce_message(message, sendto, m,
 159                     subject="Mail Gateway Help")
 160             except MailUsageError, value:
 161                 # bounce the message back to the sender with the usage message
 162                 fulldoc = '\n'.join(string.split(__doc__, '\n')[2:])
 163                 sendto = [sendto[0][1]]
 164                 m = ['']
 165                 m.append(str(value))
 166                 m.append('\n\nMail Gateway Help\n=================')
 167                 m.append(fulldoc)
 168                 m = self.bounce_message(message, sendto, m)
 169             except UnAuthorized, value:
 170                 # just inform the user that he is not authorized
 171                 sendto = [sendto[0][1]]
 172                 m = ['']
 173                 m.append(str(value))
 174                 m = self.bounce_message(message, sendto, m)
 175             except:
 176                 # bounce the message back to the sender with the error message
 177                 sendto = [sendto[0][1]]
 178                 m = ['']
 179                 m.append('----  traceback of failure  ----')
 180                 s = cStringIO.StringIO()
 181                 import traceback
 182                 traceback.print_exc(None, s)
 183                 m.append(s.getvalue())
 184                 m = self.bounce_message(message, sendto, m)
 185         else:
 186             # very bad-looking message - we don't even know who sent it
 187             sendto = [self.instance.ADMIN_EMAIL]
 188             m = ['Subject: badly formed message from mail gateway']
 189             m.append('')
 190             m.append('The mail gateway retrieved a message which has no From:')
 191             m.append('line, indicating that it is corrupt. Please check your')
 192             m.append('mail gateway source. Failed message is attached.')
 193             m.append('')
 194             m = self.bounce_message(message, sendto, m,
 195                 subject='Badly formed message from mail gateway')
 196
 197         # now send the message
 198         if SENDMAILDEBUG:
 199             open(SENDMAILDEBUG, 'w').write('From: %s\nTo: %s\n%s\n'%(
 200                 self.instance.ADMIN_EMAIL, ', '.join(sendto), m.getvalue()))
 201         else:
 202             try:
 203                 smtp = smtplib.SMTP(self.instance.MAILHOST)
 204                 smtp.sendmail(self.instance.ADMIN_EMAIL, sendto, m.getvalue())
 205             except socket.error, value:
 206                 raise MailGWError, "Couldn't send error email: "\
 207                     "mailhost %s"%value
 208             except smtplib.SMTPException, value:
 209                 raise MailGWError, "Couldn't send error email: %s"%value
 210
 211     def bounce_message(self, message, sendto, error,
 212             subject='Failed issue tracker submission'):
 213         ''' create a message that explains the reason for the failed
 214             issue submission to the author and attach the original
 215             message.
 216         '''
 217         msg = cStringIO.StringIO()
 218         writer = MimeWriter.MimeWriter(msg)
 219         writer.addheader('Subject', subject)
 220         writer.addheader('From', '%s <%s>'% (self.instance.INSTANCE_NAME,
 221                                             self.instance.ISSUE_TRACKER_EMAIL))
 222         writer.addheader('To', ','.join(sendto))
 223         writer.addheader('MIME-Version', '1.0')
 224         part = writer.startmultipartbody('mixed')
 225         part = writer.nextpart()
 226         body = part.startbody('text/plain')
 227         body.write('\n'.join(error))
 228
 229         # reconstruct the original message
 230         m = cStringIO.StringIO()
 231         w = MimeWriter.MimeWriter(m)
 232         # default the content_type, just in case...
 233         content_type = 'text/plain'
 234         # add the headers except the content-type
 235         for header in message.headers:
 236             header_name = header.split(':')[0]
 237             if header_name.lower() == 'content-type':
 238                 content_type = message.getheader(header_name)
 239             elif message.getheader(header_name):
 240                 w.addheader(header_name, message.getheader(header_name))
 241         # now attach the message body
 242         body = w.startbody(content_type)
 243         try:
 244             message.rewindbody()
 245         except IOError:
 246             body.write("*** couldn't include message body: read from pipe ***")
 247         else:
 248             body.write(message.fp.read())
 249
 250         # attach the original message to the returned message
 251         part = writer.nextpart()
 252         part.addheader('Content-Disposition','attachment')
 253         part.addheader('Content-Description','Message you sent')
 254         part.addheader('Content-Transfer-Encoding', '7bit')
 255         body = part.startbody('message/rfc822')
 256         body.write(m.getvalue())
 257
 258         writer.lastpart()
 259         return msg
 260
 261     def handle_message(self, message):
 262         ''' message - a Message instance
 263
 264         Parse the message as per the module docstring.
 265         '''
 266         # handle the subject line
 267         subject = message.getheader('subject', '')
 268
 269         if subject.strip() == 'help':
 270             raise MailUsageHelp
 271
 272         m = subject_re.match(subject)
 273         if not m:
 274             raise MailUsageError, '''
 275 The message you sent to roundup did not contain a properly formed subject
 276 line. The subject must contain a class name or designator to indicate the
 277 "topic" of the message. For example:
 278     Subject: [issue] This is a new issue
 279       - this will create a new issue in the tracker with the title "This is
 280         a new issue".
 281     Subject: [issue1234] This is a followup to issue 1234
 282       - this will append the message's contents to the existing issue 1234
 283         in the tracker.
 284
 285 Subject was: "%s"
 286 '''%subject
 287
 288         # get the classname
 289         classname = m.group('classname')
 290         try:
 291             cl = self.db.getclass(classname)
 292         except KeyError:
 293             raise MailUsageError, '''
 294 The class name you identified in the subject line ("%s") does not exist in the
 295 database.
 296
 297 Valid class names are: %s
 298 Subject was: "%s"
 299 '''%(classname, ', '.join(self.db.getclasses()), subject)
 300
 301         # get the optional nodeid
 302         nodeid = m.group('nodeid')
 303
 304         # title is optional too
 305         title = m.group('title')
 306         if title:
 307             title = title.strip()
 308         else:
 309             title = ''
 310
 311         # but we do need either a title or a nodeid...
 312         if not nodeid and not title:
 313             raise MailUsageError, '''
 314 I cannot match your message to a node in the database - you need to either
 315 supply a full node identifier (with number, eg "[issue123]" or keep the
 316 previous subject title intact so I can match that.
 317
 318 Subject was: "%s"
 319 '''%subject
 320
 321         # extract the args
 322         subject_args = m.group('args')
 323
 324         # If there's no nodeid, check to see if this is a followup and
 325         # maybe someone's responded to the initial mail that created an
 326         # entry. Try to find the matching nodes with the same title, and
 327         # use the _last_ one matched (since that'll _usually_ be the most
 328         # recent...)
 329         if not nodeid and m.group('refwd'):
 330             l = cl.stringFind(title=title)
 331             if l:
 332                 nodeid = l[-1]
 333
 334         # start of the props
 335         properties = cl.getprops()
 336         props = {}
 337
 338         # handle the args
 339         args = m.group('args')
 340         if args:
 341             for prop in string.split(args, ';'):
 342                 # extract the property name and value
 343                 try:
 344                     key, value = prop.split('=')
 345                 except ValueError, message:
 346                     raise MailUsageError, '''
 347 Subject argument list not of form [arg=value,value,...;arg=value,value...]
 348    (specific exception message was "%s")
 349
 350 Subject was: "%s"
 351 '''%(message, subject)
 352
 353                 # ensure it's a valid property name
 354                 key = key.strip()
 355                 try:
 356                     proptype =  properties[key]
 357                 except KeyError:
 358                     raise MailUsageError, '''
 359 Subject argument list refers to an invalid property: "%s"
 360
 361 Subject was: "%s"
 362 '''%(key, subject)
 363
 364                 # convert the string value to a real property value
 365                 if isinstance(proptype, hyperdb.String):
 366                     props[key] = value.strip()
 367                 if isinstance(proptype, hyperdb.Password):
 368                     props[key] = password.Password(value.strip())
 369                 elif isinstance(proptype, hyperdb.Date):
 370                     try:
 371                         props[key] = date.Date(value.strip())
 372                     except ValueError, message:
 373                         raise UsageError, '''
 374 Subject argument list contains an invalid date for %s.
 375
 376 Error was: %s
 377 Subject was: "%s"
 378 '''%(key, message, subject)
 379                 elif isinstance(proptype, hyperdb.Interval):
 380                     try:
 381                         props[key] = date.Interval(value) # no strip needed
 382                     except ValueError, message:
 383                         raise UsageError, '''
 384 Subject argument list contains an invalid date interval for %s.
 385
 386 Error was: %s
 387 Subject was: "%s"
 388 '''%(key, message, subject)
 389                 elif isinstance(proptype, hyperdb.Link):
 390                     linkcl = self.db.classes[proptype.classname]
 391                     propkey = linkcl.labelprop(default_to_id=1)
 392                     try:
 393                         props[key] = linkcl.lookup(value)
 394                     except KeyError, message:
 395                         raise MailUsageError, '''
 396 Subject argument list contains an invalid value for %s.
 397
 398 Error was: %s
 399 Subject was: "%s"
 400 '''%(key, message, subject)
 401                 elif isinstance(proptype, hyperdb.Multilink):
 402                     # get the linked class
 403                     linkcl = self.db.classes[proptype.classname]
 404                     propkey = linkcl.labelprop(default_to_id=1)
 405                     for item in value.split(','):
 406                         item = item.strip()
 407                         try:
 408                             item = linkcl.lookup(item)
 409                         except KeyError, message:
 410                             raise MailUsageError, '''
 411 Subject argument list contains an invalid value for %s.
 412
 413 Error was: %s
 414 Subject was: "%s"
 415 '''%(key, message, subject)
 416                         if props.has_key(key):
 417                             props[key].append(item)
 418                         else:
 419                             props[key] = [item]
 420
 421         #
 422         # handle the users
 423         #
 424
 425         # Don't create users if ANONYMOUS_REGISTER is denied
 426         if self.instance.ANONYMOUS_REGISTER == 'deny':
 427             create = 0
 428         else:
 429             create = 1
 430         author = self.db.uidFromAddress(message.getaddrlist('from')[0],
 431             create=create)
 432         if not author:
 433             raise UnAuthorized, '''
 434 You are not a registered user.
 435
 436 Unknown address: %s
 437 '''%message.getaddrlist('from')[0][1]
 438
 439         # the author may have been created - make sure the change is
 440         # committed before we reopen the database
 441         self.db.commit()
 442
 443         # reopen the database as the author
 444         username = self.db.user.get(author, 'username')
 445         self.db = self.instance.open(username)
 446
 447         # re-get the class with the new database connection
 448         cl = self.db.getclass(classname)
 449
 450         # now update the recipients list
 451         recipients = []
 452         tracker_email = self.instance.ISSUE_TRACKER_EMAIL.lower()
 453         for recipient in message.getaddrlist('to') + message.getaddrlist('cc'):
 454             r = recipient[1].strip().lower()
 455             if r == tracker_email or not r:
 456                 continue
 457             recipients.append(self.db.uidFromAddress(recipient))
 458
 459         #
 460         # handle message-id and in-reply-to
 461         #
 462         messageid = message.getheader('message-id')
 463         inreplyto = message.getheader('in-reply-to') or ''
 464         # generate a messageid if there isn't one
 465         if not messageid:
 466             messageid = "<%s.%s.%s%s@%s>"%(time.time(), random.random(),
 467                 classname, nodeid, self.instance.MAIL_DOMAIN)
 468
 469         #
 470         # now handle the body - find the message
 471         #
 472         content_type =  message.gettype()
 473         attachments = []
 474         if content_type == 'multipart/mixed':
 475             # skip over the intro to the first boundary
 476             part = message.getPart()
 477             content = None
 478             while 1:
 479                 # get the next part
 480                 part = message.getPart()
 481                 if part is None:
 482                     break
 483                 # parse it
 484                 subtype = part.gettype()
 485                 if subtype == 'text/plain' and not content:
 486                     # add all text/plain parts to the message content
 487                     if content is None:
 488                         content = part.fp.read()
 489                     else:
 490                         content = content + part.fp.read()
 491
 492                 elif subtype == 'message/rfc822':
 493                     # handle message/rfc822 specially - the name should be
 494                     # the subject of the actual e-mail embedded here
 495                     i = part.fp.tell()
 496                     mailmess = Message(part.fp)
 497                     name = mailmess.getheader('subject')
 498                     part.fp.seek(i)
 499                     attachments.append((name, 'message/rfc822', part.fp.read()))
 500
 501                 else:
 502                     # try name on Content-Type
 503                     name = part.getparam('name')
 504                     # this is just an attachment
 505                     encoding = part.getencoding()
 506                     if encoding == 'base64':
 507                         data = binascii.a2b_base64(part.fp.read())
 508                     elif encoding == 'quoted-printable':
 509                         # the quopri module wants to work with files
 510                         decoded = cStringIO.StringIO()
 511                         quopri.decode(part.fp, decoded)
 512                         data = decoded.getvalue()
 513                     elif encoding == 'uuencoded':
 514                         data = binascii.a2b_uu(part.fp.read())
 515                     attachments.append((name, part.gettype(), data))
 516
 517             if content is None:
 518                 raise MailUsageError, '''
 519 Roundup requires the submission to be plain text. The message parser could
 520 not find a text/plain part to use.
 521 '''
 522
 523         elif content_type[:10] == 'multipart/':
 524             # skip over the intro to the first boundary
 525             message.getPart()
 526             content = None
 527             while 1:
 528                 # get the next part
 529                 part = message.getPart()
 530                 if part is None:
 531                     break
 532                 # parse it
 533                 if part.gettype() == 'text/plain' and not content:
 534                     # this one's our content
 535                     content = part.fp.read()
 536             if content is None:
 537                 raise MailUsageError, '''
 538 Roundup requires the submission to be plain text. The message parser could
 539 not find a text/plain part to use.
 540 '''
 541
 542         elif content_type != 'text/plain':
 543             raise MailUsageError, '''
 544 Roundup requires the submission to be plain text. The message parser could
 545 not find a text/plain part to use.
 546 '''
 547
 548         else:
 549             content = message.fp.read()
 550
 551         summary, content = parseContent(content)
 552
 553         #
 554         # handle the attachments
 555         #
 556         files = []
 557         for (name, mime_type, data) in attachments:
 558             if not name:
 559                 name = "unnamed"
 560             files.append(self.db.file.create(type=mime_type, name=name,
 561                 content=data))
 562
 563         #
 564         # now handle the db stuff
 565         #
 566         if nodeid:
 567             # If an item designator (class name and id number) is found there,
 568             # the newly created "msg" node is added to the "messages" property
 569             # for that item, and any new "file" nodes are added to the "files"
 570             # property for the item.
 571
 572             # if the message is currently 'unread' or 'resolved', then set
 573             # it to 'chatting'
 574             if properties.has_key('status'):
 575                 try:
 576                     # determine the id of 'unread', 'resolved' and 'chatting'
 577                     unread_id = self.db.status.lookup('unread')
 578                     resolved_id = self.db.status.lookup('resolved')
 579                     chatting_id = self.db.status.lookup('chatting')
 580                 except KeyError:
 581                     pass
 582                 else:
 583                     current_status = cl.get(nodeid, 'status')
 584                     if (not props.has_key('status') and
 585                             current_status == unread_id or
 586                             current_status == resolved_id):
 587                         props['status'] = chatting_id
 588
 589             # add nosy in arguments to issue's nosy list
 590             if not props.has_key('nosy'): props['nosy'] = []
 591             n = {}
 592             for nid in cl.get(nodeid, 'nosy'):
 593                 n[nid] = 1
 594             for value in props['nosy']:
 595                 if self.db.hasnode('user', value):
 596                     nid = value
 597                 else:
 598                     continue
 599                 if n.has_key(nid): continue
 600                 n[nid] = 1
 601             props['nosy'] = n.keys()
 602             # add assignedto to the nosy list
 603             if props.has_key('assignedto'):
 604                 assignedto = props['assignedto']
 605                 if assignedto not in props['nosy']:
 606                     props['nosy'].append(assignedto)
 607
 608             message_id = self.db.msg.create(author=author,
 609                 recipients=recipients, date=date.Date('.'), summary=summary,
 610                 content=content, files=files, messageid=messageid,
 611                 inreplyto=inreplyto)
 612             try:
 613                 messages = cl.get(nodeid, 'messages')
 614             except IndexError:
 615                 raise MailUsageError, '''
 616 The node specified by the designator in the subject of your message ("%s")
 617 does not exist.
 618
 619 Subject was: "%s"
 620 '''%(nodeid, subject)
 621             messages.append(message_id)
 622             props['messages'] = messages
 623
 624             # now apply the changes
 625             try:
 626                 cl.set(nodeid, **props)
 627             except (TypeError, IndexError, ValueError), message:
 628                 raise MailUsageError, '''
 629 There was a problem with the message you sent:
 630    %s
 631 '''%message
 632             # commit the changes to the DB
 633             self.db.commit()
 634         else:
 635             # If just an item class name is found there, we attempt to create a
 636             # new item of that class with its "messages" property initialized to
 637             # contain the new "msg" node and its "files" property initialized to
 638             # contain any new "file" nodes.
 639             message_id = self.db.msg.create(author=author,
 640                 recipients=recipients, date=date.Date('.'), summary=summary,
 641                 content=content, files=files, messageid=messageid,
 642                 inreplyto=inreplyto)
 643
 644             # pre-set the issue to unread
 645             if properties.has_key('status') and not props.has_key('status'):
 646                 try:
 647                     # determine the id of 'unread'
 648                     unread_id = self.db.status.lookup('unread')
 649                 except KeyError:
 650                     pass
 651                 else:
 652                     props['status'] = '1'
 653
 654             # set the title to the subject
 655             if properties.has_key('title') and not props.has_key('title'):
 656                 props['title'] = title
 657
 658             # pre-load the messages list
 659             props['messages'] = [message_id]
 660
 661             # set up (clean) the nosy list
 662             nosy = props.get('nosy', [])
 663             n = {}
 664             for value in nosy:
 665                 nid = value
 666                 if n.has_key(nid): continue
 667                 n[nid] = 1
 668             props['nosy'] = n.keys()
 669             # add on the recipients of the message
 670             for recipient in recipients:
 671                 if not n.has_key(recipient):
 672                     props['nosy'].append(recipient)
 673                     n[recipient] = 1
 674
 675             # add the author to the nosy list
 676             if not n.has_key(author):
 677                 props['nosy'].append(author)
 678                 n[author] = 1
 679
 680             # add assignedto to the nosy list
 681             if properties.has_key('assignedto') and props.has_key('assignedto'):
 682                 assignedto = props['assignedto']
 683                 if not n.has_key(assignedto):
 684                     props['nosy'].append(assignedto)
 685                     n[assignedto] = 1
 686
 687             # and attempt to create the new node
 688             try:
 689                 nodeid = cl.create(**props)
 690             except (TypeError, IndexError, ValueError), message:
 691                 raise MailUsageError, '''
 692 There was a problem with the message you sent:
 693    %s
 694 '''%message
 695
 696             # commit the new node(s) to the DB
 697             self.db.commit()
 698
 699 def parseContent(content, blank_line=re.compile(r'[\r\n]+\s*[\r\n]+'),
 700         eol=re.compile(r'[\r\n]+'), signature=re.compile(r'^[>|\s]*[-_]+\s*$')):
 701     ''' The message body is divided into sections by blank lines.
 702     Sections where the second and all subsequent lines begin with a ">" or "|"
 703     character are considered "quoting sections". The first line of the first
 704     non-quoting section becomes the summary of the message.
 705     '''
 706     # strip off leading carriage-returns / newlines
 707     i = 0
 708     for i in range(len(content)):
 709         if content[i] not in '\r\n':
 710             break
 711     if i > 0:
 712         sections = blank_line.split(content[i:])
 713     else:
 714         sections = blank_line.split(content)
 715
 716     # extract out the summary from the message
 717     summary = ''
 718     l = []
 719     for section in sections:
 720         #section = section.strip()
 721         if not section:
 722             continue
 723         lines = eol.split(section)
 724         if (lines[0] and lines[0][0] in '>|') or (len(lines) > 1 and
 725                 lines[1] and lines[1][0] in '>|'):
 726             # see if there's a response somewhere inside this section (ie.
 727             # no blank line between quoted message and response)
 728             for line in lines[1:]:
 729                 if line[0] not in '>|':
 730                     break
 731             else:
 732                 # TODO: people who want to keep quoted bits will want the
 733                 # next line...
 734                 # l.append(section)
 735                 continue
 736             # keep this section - it has reponse stuff in it
 737             if not summary:
 738                 # and while we're at it, use the first non-quoted bit as
 739                 # our summary
 740                 summary = line
 741             lines = lines[lines.index(line):]
 742             section = '\n'.join(lines)
 743
 744         if not summary:
 745             # if we don't have our summary yet use the first line of this
 746             # section
 747             summary = lines[0]
 748         elif signature.match(lines[0]):
 749             break
 750
 751         # and add the section to the output
 752         l.append(section)
 753     return summary, '\n\n'.join(l)
 754
 755 #
 756 # $Log: not supported by cvs2svn $
 757 # Revision 1.56  2002/01/22 11:54:45  rochecompaan
 758 # Fixed status change in mail gateway.
 759 #
 760 # Revision 1.55  2002/01/21 10:05:47  rochecompaan
 761 # Feature:
 762 #  . the mail gateway now responds with an error message when invalid
 763 #    values for arguments are specified for link or multilink properties
 764 #  . modified unit test to check nosy and assignedto when specified as
 765 #    arguments
 766 #
 767 # Fixed:
 768 #  . fixed setting nosy as argument in subject line
 769 #
 770 # Revision 1.54  2002/01/16 09:14:45  grubert
 771 #  . if the attachment has no name, name it unnamed, happens with tnefs.
 772 #
 773 # Revision 1.53  2002/01/16 07:20:54  richard
 774 # simple help command for mailgw
 775 #
 776 # Revision 1.52  2002/01/15 00:12:40  richard
 777 # #503340 ] creating issue with [asignedto=p.ohly]
 778 #
 779 # Revision 1.51  2002/01/14 02:20:15  richard
 780 #  . changed all config accesses so they access either the instance or the
 781 #    config attriubute on the db. This means that all config is obtained from
 782 #    instance_config instead of the mish-mash of classes. This will make
 783 #    switching to a ConfigParser setup easier too, I hope.
 784 #
 785 # At a minimum, this makes migration a _little_ easier (a lot easier in the
 786 # 0.5.0 switch, I hope!)
 787 #
 788 # Revision 1.50  2002/01/11 22:59:01  richard
 789 #  . #502342 ] pipe interface
 790 #
 791 # Revision 1.49  2002/01/10 06:19:18  richard
 792 # followup lines directly after a quoted section were being eaten.
 793 #
 794 # Revision 1.48  2002/01/08 04:12:05  richard
 795 # Changed message-id format to "<%s.%s.%s%s@%s>" so it complies with RFC822
 796 #
 797 # Revision 1.47  2002/01/02 02:32:38  richard
 798 # ANONYMOUS_ACCESS -> ANONYMOUS_REGISTER
 799 #
 800 # Revision 1.46  2002/01/02 02:31:38  richard
 801 # Sorry for the huge checkin message - I was only intending to implement #496356
 802 # but I found a number of places where things had been broken by transactions:
 803 #  . modified ROUNDUPDBSENDMAILDEBUG to be SENDMAILDEBUG and hold a filename
 804 #    for _all_ roundup-generated smtp messages to be sent to.
 805 #  . the transaction cache had broken the roundupdb.Class set() reactors
 806 #  . newly-created author users in the mailgw weren't being committed to the db
 807 #
 808 # Stuff that made it into CHANGES.txt (ie. the stuff I was actually working
 809 # on when I found that stuff :):
 810 #  . #496356 ] Use threading in messages
 811 #  . detectors were being registered multiple times
 812 #  . added tests for mailgw
 813 #  . much better attaching of erroneous messages in the mail gateway
 814 #
 815 # Revision 1.45  2001/12/20 15:43:01  rochecompaan
 816 # Features added:
 817 #  .  Multilink properties are now displayed as comma separated values in
 818 #     a textbox
 819 #  .  The add user link is now only visible to the admin user
 820 #  .  Modified the mail gateway to reject submissions from unknown
 821 #     addresses if ANONYMOUS_ACCESS is denied
 822 #
 823 # Revision 1.44  2001/12/18 15:30:34  rochecompaan
 824 # Fixed bugs:
 825 #  .  Fixed file creation and retrieval in same transaction in anydbm
 826 #     backend
 827 #  .  Cgi interface now renders new issue after issue creation
 828 #  .  Could not set issue status to resolved through cgi interface
 829 #  .  Mail gateway was changing status back to 'chatting' if status was
 830 #     omitted as an argument
 831 #
 832 # Revision 1.43  2001/12/15 19:39:01  rochecompaan
 833 # Oops.
 834 #
 835 # Revision 1.42  2001/12/15 19:24:39  rochecompaan
 836 #  . Modified cgi interface to change properties only once all changes are
 837 #    collected, files created and messages generated.
 838 #  . Moved generation of change note to nosyreactors.
 839 #  . We now check for changes to "assignedto" to ensure it's added to the
 840 #    nosy list.
 841 #
 842 # Revision 1.41  2001/12/10 00:57:38  richard
 843 # From CHANGES:
 844 #  . Added the "display" command to the admin tool - displays a node's values
 845 #  . #489760 ] [issue] only subject
 846 #  . fixed the doc/index.html to include the quoting in the mail alias.
 847 #
 848 # Also:
 849 #  . fixed roundup-admin so it works with transactions
 850 #  . disabled the back_anydbm module if anydbm tries to use dumbdbm
 851 #
 852 # Revision 1.40  2001/12/05 14:26:44  rochecompaan
 853 # Removed generation of change note from "sendmessage" in roundupdb.py.
 854 # The change note is now generated when the message is created.
 855 #
 856 # Revision 1.39  2001/12/02 05:06:16  richard
 857 # . We now use weakrefs in the Classes to keep the database reference, so
 858 #   the close() method on the database is no longer needed.
 859 #   I bumped the minimum python requirement up to 2.1 accordingly.
 860 # . #487480 ] roundup-server
 861 # . #487476 ] INSTALL.txt
 862 #
 863 # I also cleaned up the change message / post-edit stuff in the cgi client.
 864 # There's now a clearly marked "TODO: append the change note" where I believe
 865 # the change note should be added there. The "changes" list will obviously
 866 # have to be modified to be a dict of the changes, or somesuch.
 867 #
 868 # More testing needed.
 869 #
 870 # Revision 1.38  2001/12/01 07:17:50  richard
 871 # . We now have basic transaction support! Information is only written to
 872 #   the database when the commit() method is called. Only the anydbm
 873 #   backend is modified in this way - neither of the bsddb backends have been.
 874 #   The mail, admin and cgi interfaces all use commit (except the admin tool
 875 #   doesn't have a commit command, so interactive users can't commit...)
 876 # . Fixed login/registration forwarding the user to the right page (or not,
 877 #   on a failure)
 878 #
 879 # Revision 1.37  2001/11/28 21:55:35  richard
 880 #  . login_action and newuser_action return values were being ignored
 881 #  . Woohoo! Found that bloody re-login bug that was killing the mail
 882 #    gateway.
 883 #  (also a minor cleanup in hyperdb)
 884 #
 885 # Revision 1.36  2001/11/26 22:55:56  richard
 886 # Feature:
 887 #  . Added INSTANCE_NAME to configuration - used in web and email to identify
 888 #    the instance.
 889 #  . Added EMAIL_SIGNATURE_POSITION to indicate where to place the roundup
 890 #    signature info in e-mails.
 891 #  . Some more flexibility in the mail gateway and more error handling.
 892 #  . Login now takes you to the page you back to the were denied access to.
 893 #
 894 # Fixed:
 895 #  . Lots of bugs, thanks Roché and others on the devel mailing list!
 896 #
 897 # Revision 1.35  2001/11/22 15:46:42  jhermann
 898 # Added module docstrings to all modules.
 899 #
 900 # Revision 1.34  2001/11/15 10:24:27  richard
 901 # handle the case where there is no file attached
 902 #
 903 # Revision 1.33  2001/11/13 21:44:44  richard
 904 #  . re-open the database as the author in mail handling
 905 #
 906 # Revision 1.32  2001/11/12 22:04:29  richard
 907 # oops, left debug in there
 908 #
 909 # Revision 1.31  2001/11/12 22:01:06  richard
 910 # Fixed issues with nosy reaction and author copies.
 911 #
 912 # Revision 1.30  2001/11/09 22:33:28  richard
 913 # More error handling fixes.
 914 #
 915 # Revision 1.29  2001/11/07 05:29:26  richard
 916 # Modified roundup-mailgw so it can read e-mails from a local mail spool
 917 # file. Truncates the spool file after parsing.
 918 # Fixed a couple of small bugs introduced in roundup.mailgw when I started
 919 # the popgw.
 920 #
 921 # Revision 1.28  2001/11/01 22:04:37  richard
 922 # Started work on supporting a pop3-fetching server
 923 # Fixed bugs:
 924 #  . bug #477104 ] HTML tag error in roundup-server
 925 #  . bug #477107 ] HTTP header problem
 926 #
 927 # Revision 1.27  2001/10/30 11:26:10  richard
 928 # Case-insensitive match for ISSUE_TRACKER_EMAIL in address in e-mail.
 929 #
 930 # Revision 1.26  2001/10/30 00:54:45  richard
 931 # Features:
 932 #  . #467129 ] Lossage when username=e-mail-address
 933 #  . #473123 ] Change message generation for author
 934 #  . MailGW now moves 'resolved' to 'chatting' on receiving e-mail for an issue.
 935 #
 936 # Revision 1.25  2001/10/28 23:22:28  richard
 937 # fixed bug #474749 ] Indentations lost
 938 #
 939 # Revision 1.24  2001/10/23 22:57:52  richard
 940 # Fix unread->chatting auto transition, thanks Roch'e
 941 #
 942 # Revision 1.23  2001/10/21 04:00:20  richard
 943 # MailGW now moves 'unread' to 'chatting' on receiving e-mail for an issue.
 944 #
 945 # Revision 1.22  2001/10/21 03:35:13  richard
 946 # bug #473125: Paragraph in e-mails
 947 #
 948 # Revision 1.21  2001/10/21 00:53:42  richard
 949 # bug #473130: Nosy list not set correctly
 950 #
 951 # Revision 1.20  2001/10/17 23:13:19  richard
 952 # Did a fair bit of work on the admin tool. Now has an extra command "table"
 953 # which displays node information in a tabular format. Also fixed import and
 954 # export so they work. Removed freshen.
 955 # Fixed quopri usage in mailgw from bug reports.
 956 #
 957 # Revision 1.19  2001/10/11 23:43:04  richard
 958 # Implemented the comma-separated printing option in the admin tool.
 959 # Fixed a typo (more of a vim-o actually :) in mailgw.
 960 #
 961 # Revision 1.18  2001/10/11 06:38:57  richard
 962 # Initial cut at trying to handle people responding to CC'ed messages that
 963 # create an issue.
 964 #
 965 # Revision 1.17  2001/10/09 07:25:59  richard
 966 # Added the Password property type. See "pydoc roundup.password" for
 967 # implementation details. Have updated some of the documentation too.
 968 #
 969 # Revision 1.16  2001/10/05 02:23:24  richard
 970 #  . roundup-admin create now prompts for property info if none is supplied
 971 #    on the command-line.
 972 #  . hyperdb Class getprops() method may now return only the mutable
 973 #    properties.
 974 #  . Login now uses cookies, which makes it a whole lot more flexible. We can
 975 #    now support anonymous user access (read-only, unless there's an
 976 #    "anonymous" user, in which case write access is permitted). Login
 977 #    handling has been moved into cgi_client.Client.main()
 978 #  . The "extended" schema is now the default in roundup init.
 979 #  . The schemas have had their page headings modified to cope with the new
 980 #    login handling. Existing installations should copy the interfaces.py
 981 #    file from the roundup lib directory to their instance home.
 982 #  . Incorrectly had a Bizar Software copyright on the cgitb.py module from
 983 #    Ping - has been removed.
 984 #  . Fixed a whole bunch of places in the CGI interface where we should have
 985 #    been returning Not Found instead of throwing an exception.
 986 #  . Fixed a deviation from the spec: trying to modify the 'id' property of
 987 #    an item now throws an exception.
 988 #
 989 # Revision 1.15  2001/08/30 06:01:17  richard
 990 # Fixed missing import in mailgw :(
 991 #
 992 # Revision 1.14  2001/08/13 23:02:54  richard
 993 # Make the mail parser a little more robust.
 994 #
 995 # Revision 1.13  2001/08/12 06:32:36  richard
 996 # using isinstance(blah, Foo) now instead of isFooType
 997 #
 998 # Revision 1.12  2001/08/08 01:27:00  richard
 999 # Added better error handling to mailgw.
1000 #
1001 # Revision 1.11  2001/08/08 00:08:03  richard
1002 # oops ;)
1003 #
1004 # Revision 1.10  2001/08/07 00:24:42  richard
1005 # stupid typo
1006 #
1007 # Revision 1.9  2001/08/07 00:15:51  richard
1008 # Added the copyright/license notice to (nearly) all files at request of
1009 # Bizar Software.
1010 #
1011 # Revision 1.8  2001/08/05 07:06:07  richard
1012 # removed some print statements
1013 #
1014 # Revision 1.7  2001/08/03 07:18:22  richard
1015 # Implemented correct mail splitting (was taking a shortcut). Added unit
1016 # tests. Also snips signatures now too.
1017 #
1018 # Revision 1.6  2001/08/01 04:24:21  richard
1019 # mailgw was assuming certain properties existed on the issues being created.
1020 #
1021 # Revision 1.5  2001/07/29 07:01:39  richard
1022 # Added vim command to all source so that we don't get no steenkin' tabs :)
1023 #
1024 # Revision 1.4  2001/07/28 06:43:02  richard
1025 # Multipart message class has the getPart method now. Added some tests for it.
1026 #
1027 # Revision 1.3  2001/07/28 00:34:34  richard
1028 # Fixed some non-string node ids.
1029 #
1030 # Revision 1.2  2001/07/22 12:09:32  richard
1031 # Final commit of Grande Splite
1032 #
1033 #
1034 # vim: set filetype=python ts=4 sw=4 et si