roundup/mailgw.py

   1 #
   2 # Copyright (c) 2001 Bizar Software Pty Ltd (http://www.bizarsoftware.com.au/)
   3 # This module is free software, and you may redistribute it and/or modify
   4 # under the same terms as Python, so long as this copyright message and
   5 # disclaimer are retained in their original form.
   6 #
   7 # IN NO EVENT SHALL BIZAR SOFTWARE PTY LTD BE LIABLE TO ANY PARTY FOR
   8 # DIRECT, INDIRECT, SPECIAL, INCIDENTAL, OR CONSEQUENTIAL DAMAGES ARISING
   9 # OUT OF THE USE OF THIS CODE, EVEN IF THE AUTHOR HAS BEEN ADVISED OF THE
  10 # POSSIBILITY OF SUCH DAMAGE.
  11 #
  12 # BIZAR SOFTWARE PTY LTD SPECIFICALLY DISCLAIMS ANY WARRANTIES, INCLUDING,
  13 # BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS
  14 # FOR A PARTICULAR PURPOSE.  THE CODE PROVIDED HEREUNDER IS ON AN "AS IS"
  15 # BASIS, AND THERE IS NO OBLIGATION WHATSOEVER TO PROVIDE MAINTENANCE,
  16 # SUPPORT, UPDATES, ENHANCEMENTS, OR MODIFICATIONS.
  17 #
  18
  19 __doc__ = '''
  20 An e-mail gateway for Roundup.
  21
  22 Incoming messages are examined for multiple parts:
  23  . In a multipart/mixed message or part, each subpart is extracted and
  24    examined. The text/plain subparts are assembled to form the textual
  25    body of the message, to be stored in the file associated with a "msg"
  26    class node. Any parts of other types are each stored in separate files
  27    and given "file" class nodes that are linked to the "msg" node.
  28  . In a multipart/alternative message or part, we look for a text/plain
  29    subpart and ignore the other parts.
  30
  31 Summary
  32 -------
  33 The "summary" property on message nodes is taken from the first non-quoting
  34 section in the message body. The message body is divided into sections by
  35 blank lines. Sections where the second and all subsequent lines begin with
  36 a ">" or "|" character are considered "quoting sections". The first line of
  37 the first non-quoting section becomes the summary of the message.
  38
  39 Addresses
  40 ---------
  41 All of the addresses in the To: and Cc: headers of the incoming message are
  42 looked up among the user nodes, and the corresponding users are placed in
  43 the "recipients" property on the new "msg" node. The address in the From:
  44 header similarly determines the "author" property of the new "msg"
  45 node. The default handling for addresses that don't have corresponding
  46 users is to create new users with no passwords and a username equal to the
  47 address. (The web interface does not permit logins for users with no
  48 passwords.) If we prefer to reject mail from outside sources, we can simply
  49 register an auditor on the "user" class that prevents the creation of user
  50 nodes with no passwords.
  51
  52 Actions
  53 -------
  54 The subject line of the incoming message is examined to determine whether
  55 the message is an attempt to create a new item or to discuss an existing
  56 item. A designator enclosed in square brackets is sought as the first thing
  57 on the subject line (after skipping any "Fwd:" or "Re:" prefixes).
  58
  59 If an item designator (class name and id number) is found there, the newly
  60 created "msg" node is added to the "messages" property for that item, and
  61 any new "file" nodes are added to the "files" property for the item.
  62
  63 If just an item class name is found there, we attempt to create a new item
  64 of that class with its "messages" property initialized to contain the new
  65 "msg" node and its "files" property initialized to contain any new "file"
  66 nodes.
  67
  68 Triggers
  69 --------
  70 Both cases may trigger detectors (in the first case we are calling the
  71 set() method to add the message to the item's spool; in the second case we
  72 are calling the create() method to create a new node). If an auditor raises
  73 an exception, the original message is bounced back to the sender with the
  74 explanatory message given in the exception.
  75
  76 $Id: mailgw.py,v 1.55 2002-01-21 10:05:47 rochecompaan Exp $
  77 '''
  78
  79
  80 import string, re, os, mimetools, cStringIO, smtplib, socket, binascii, quopri
  81 import time, random
  82 import traceback, MimeWriter
  83 import hyperdb, date, password
  84
  85 SENDMAILDEBUG = os.environ.get('SENDMAILDEBUG', '')
  86
  87 class MailGWError(ValueError):
  88     pass
  89
  90 class MailUsageError(ValueError):
  91     pass
  92
  93 class MailUsageHelp(Exception):
  94     pass
  95
  96 class UnAuthorized(Exception):
  97     """ Access denied """
  98
  99 class Message(mimetools.Message):
 100     ''' subclass mimetools.Message so we can retrieve the parts of the
 101         message...
 102     '''
 103     def getPart(self):
 104         ''' Get a single part of a multipart message and return it as a new
 105             Message instance.
 106         '''
 107         boundary = self.getparam('boundary')
 108         mid, end = '--'+boundary, '--'+boundary+'--'
 109         s = cStringIO.StringIO()
 110         while 1:
 111             line = self.fp.readline()
 112             if not line:
 113                 break
 114             if line.strip() in (mid, end):
 115                 break
 116             s.write(line)
 117         if not s.getvalue().strip():
 118             return None
 119         s.seek(0)
 120         return Message(s)
 121
 122 subject_re = re.compile(r'(?P<refwd>\s*\W?\s*(fwd|re)\s*\W?\s*)*'
 123     r'\s*(\[(?P<classname>[^\d\s]+)(?P<nodeid>\d+)?\])'
 124     r'\s*(?P<title>[^[]+)?(\[(?P<args>.+?)\])?', re.I)
 125
 126 class MailGW:
 127     def __init__(self, instance, db):
 128         self.instance = instance
 129         self.db = db
 130
 131     def main(self, fp):
 132         ''' fp - the file from which to read the Message.
 133         '''
 134         self.handle_Message(Message(fp))
 135
 136     def handle_Message(self, message):
 137         '''Handle an RFC822 Message
 138
 139         Handle the Message object by calling handle_message() and then cope
 140         with any errors raised by handle_message.
 141         This method's job is to make that call and handle any
 142         errors in a sane manner. It should be replaced if you wish to
 143         handle errors in a different manner.
 144         '''
 145         # in some rare cases, a particularly stuffed-up e-mail will make
 146         # its way into here... try to handle it gracefully
 147         sendto = message.getaddrlist('from')
 148         if sendto:
 149             try:
 150                 return self.handle_message(message)
 151             except MailUsageHelp:
 152                 # bounce the message back to the sender with the usage message
 153                 fulldoc = '\n'.join(string.split(__doc__, '\n')[2:])
 154                 sendto = [sendto[0][1]]
 155                 m = ['']
 156                 m.append('\n\nMail Gateway Help\n=================')
 157                 m.append(fulldoc)
 158                 m = self.bounce_message(message, sendto, m,
 159                     subject="Mail Gateway Help")
 160             except MailUsageError, value:
 161                 # bounce the message back to the sender with the usage message
 162                 fulldoc = '\n'.join(string.split(__doc__, '\n')[2:])
 163                 sendto = [sendto[0][1]]
 164                 m = ['']
 165                 m.append(str(value))
 166                 m.append('\n\nMail Gateway Help\n=================')
 167                 m.append(fulldoc)
 168                 m = self.bounce_message(message, sendto, m)
 169             except UnAuthorized, value:
 170                 # just inform the user that he is not authorized
 171                 sendto = [sendto[0][1]]
 172                 m = ['']
 173                 m.append(str(value))
 174                 m = self.bounce_message(message, sendto, m)
 175             except:
 176                 # bounce the message back to the sender with the error message
 177                 sendto = [sendto[0][1]]
 178                 m = ['']
 179                 m.append('----  traceback of failure  ----')
 180                 s = cStringIO.StringIO()
 181                 import traceback
 182                 traceback.print_exc(None, s)
 183                 m.append(s.getvalue())
 184                 m = self.bounce_message(message, sendto, m)
 185         else:
 186             # very bad-looking message - we don't even know who sent it
 187             sendto = [self.instance.ADMIN_EMAIL]
 188             m = ['Subject: badly formed message from mail gateway']
 189             m.append('')
 190             m.append('The mail gateway retrieved a message which has no From:')
 191             m.append('line, indicating that it is corrupt. Please check your')
 192             m.append('mail gateway source. Failed message is attached.')
 193             m.append('')
 194             m = self.bounce_message(message, sendto, m,
 195                 subject='Badly formed message from mail gateway')
 196
 197         # now send the message
 198         if SENDMAILDEBUG:
 199             open(SENDMAILDEBUG, 'w').write('From: %s\nTo: %s\n%s\n'%(
 200                 self.instance.ADMIN_EMAIL, ', '.join(sendto), m.getvalue()))
 201         else:
 202             try:
 203                 smtp = smtplib.SMTP(self.instance.MAILHOST)
 204                 smtp.sendmail(self.instance.ADMIN_EMAIL, sendto, m.getvalue())
 205             except socket.error, value:
 206                 raise MailGWError, "Couldn't send error email: "\
 207                     "mailhost %s"%value
 208             except smtplib.SMTPException, value:
 209                 raise MailGWError, "Couldn't send error email: %s"%value
 210
 211     def bounce_message(self, message, sendto, error,
 212             subject='Failed issue tracker submission'):
 213         ''' create a message that explains the reason for the failed
 214             issue submission to the author and attach the original
 215             message.
 216         '''
 217         msg = cStringIO.StringIO()
 218         writer = MimeWriter.MimeWriter(msg)
 219         writer.addheader('Subject', subject)
 220         writer.addheader('From', '%s <%s>'% (self.instance.INSTANCE_NAME,
 221                                             self.instance.ISSUE_TRACKER_EMAIL))
 222         writer.addheader('To', ','.join(sendto))
 223         writer.addheader('MIME-Version', '1.0')
 224         part = writer.startmultipartbody('mixed')
 225         part = writer.nextpart()
 226         body = part.startbody('text/plain')
 227         body.write('\n'.join(error))
 228
 229         # reconstruct the original message
 230         m = cStringIO.StringIO()
 231         w = MimeWriter.MimeWriter(m)
 232         # default the content_type, just in case...
 233         content_type = 'text/plain'
 234         # add the headers except the content-type
 235         for header in message.headers:
 236             header_name = header.split(':')[0]
 237             if header_name.lower() == 'content-type':
 238                 content_type = message.getheader(header_name)
 239             elif message.getheader(header_name):
 240                 w.addheader(header_name, message.getheader(header_name))
 241         # now attach the message body
 242         body = w.startbody(content_type)
 243         try:
 244             message.rewindbody()
 245         except IOError:
 246             body.write("*** couldn't include message body: read from pipe ***")
 247         else:
 248             body.write(message.fp.read())
 249
 250         # attach the original message to the returned message
 251         part = writer.nextpart()
 252         part.addheader('Content-Disposition','attachment')
 253         part.addheader('Content-Description','Message you sent')
 254         part.addheader('Content-Transfer-Encoding', '7bit')
 255         body = part.startbody('message/rfc822')
 256         body.write(m.getvalue())
 257
 258         writer.lastpart()
 259         return msg
 260
 261     def handle_message(self, message):
 262         ''' message - a Message instance
 263
 264         Parse the message as per the module docstring.
 265         '''
 266         # handle the subject line
 267         subject = message.getheader('subject', '')
 268
 269         if subject.strip() == 'help':
 270             raise MailUsageHelp
 271
 272         m = subject_re.match(subject)
 273         if not m:
 274             raise MailUsageError, '''
 275 The message you sent to roundup did not contain a properly formed subject
 276 line. The subject must contain a class name or designator to indicate the
 277 "topic" of the message. For example:
 278     Subject: [issue] This is a new issue
 279       - this will create a new issue in the tracker with the title "This is
 280         a new issue".
 281     Subject: [issue1234] This is a followup to issue 1234
 282       - this will append the message's contents to the existing issue 1234
 283         in the tracker.
 284
 285 Subject was: "%s"
 286 '''%subject
 287
 288         # get the classname
 289         classname = m.group('classname')
 290         try:
 291             cl = self.db.getclass(classname)
 292         except KeyError:
 293             raise MailUsageError, '''
 294 The class name you identified in the subject line ("%s") does not exist in the
 295 database.
 296
 297 Valid class names are: %s
 298 Subject was: "%s"
 299 '''%(classname, ', '.join(self.db.getclasses()), subject)
 300
 301         # get the optional nodeid
 302         nodeid = m.group('nodeid')
 303
 304         # title is optional too
 305         title = m.group('title')
 306         if title:
 307             title = title.strip()
 308         else:
 309             title = ''
 310
 311         # but we do need either a title or a nodeid...
 312         if not nodeid and not title:
 313             raise MailUsageError, '''
 314 I cannot match your message to a node in the database - you need to either
 315 supply a full node identifier (with number, eg "[issue123]" or keep the
 316 previous subject title intact so I can match that.
 317
 318 Subject was: "%s"
 319 '''%subject
 320
 321         # extract the args
 322         subject_args = m.group('args')
 323
 324         # If there's no nodeid, check to see if this is a followup and
 325         # maybe someone's responded to the initial mail that created an
 326         # entry. Try to find the matching nodes with the same title, and
 327         # use the _last_ one matched (since that'll _usually_ be the most
 328         # recent...)
 329         if not nodeid and m.group('refwd'):
 330             l = cl.stringFind(title=title)
 331             if l:
 332                 nodeid = l[-1]
 333
 334         # start of the props
 335         properties = cl.getprops()
 336         props = {}
 337
 338         # handle the args
 339         args = m.group('args')
 340         if args:
 341             for prop in string.split(args, ';'):
 342                 # extract the property name and value
 343                 try:
 344                     key, value = prop.split('=')
 345                 except ValueError, message:
 346                     raise MailUsageError, '''
 347 Subject argument list not of form [arg=value,value,...;arg=value,value...]
 348    (specific exception message was "%s")
 349
 350 Subject was: "%s"
 351 '''%(message, subject)
 352
 353                 # ensure it's a valid property name
 354                 key = key.strip()
 355                 try:
 356                     proptype =  properties[key]
 357                 except KeyError:
 358                     raise MailUsageError, '''
 359 Subject argument list refers to an invalid property: "%s"
 360
 361 Subject was: "%s"
 362 '''%(key, subject)
 363
 364                 # convert the string value to a real property value
 365                 if isinstance(proptype, hyperdb.String):
 366                     props[key] = value.strip()
 367                 if isinstance(proptype, hyperdb.Password):
 368                     props[key] = password.Password(value.strip())
 369                 elif isinstance(proptype, hyperdb.Date):
 370                     try:
 371                         props[key] = date.Date(value.strip())
 372                     except ValueError, message:
 373                         raise UsageError, '''
 374 Subject argument list contains an invalid date for %s.
 375
 376 Error was: %s
 377 Subject was: "%s"
 378 '''%(key, message, subject)
 379                 elif isinstance(proptype, hyperdb.Interval):
 380                     try:
 381                         props[key] = date.Interval(value) # no strip needed
 382                     except ValueError, message:
 383                         raise UsageError, '''
 384 Subject argument list contains an invalid date interval for %s.
 385
 386 Error was: %s
 387 Subject was: "%s"
 388 '''%(key, message, subject)
 389                 elif isinstance(proptype, hyperdb.Link):
 390                     linkcl = self.db.classes[proptype.classname]
 391                     propkey = linkcl.labelprop(default_to_id=1)
 392                     try:
 393                         props[key] = linkcl.lookup(value)
 394                     except KeyError, message:
 395                         raise MailUsageError, '''
 396 Subject argument list contains an invalid value for %s.
 397
 398 Error was: %s
 399 Subject was: "%s"
 400 '''%(key, message, subject)
 401                 elif isinstance(proptype, hyperdb.Multilink):
 402                     # get the linked class
 403                     linkcl = self.db.classes[proptype.classname]
 404                     propkey = linkcl.labelprop(default_to_id=1)
 405                     for item in value.split(','):
 406                         item = item.strip()
 407                         try:
 408                             item = linkcl.lookup(item)
 409                         except KeyError, message:
 410                             raise MailUsageError, '''
 411 Subject argument list contains an invalid value for %s.
 412
 413 Error was: %s
 414 Subject was: "%s"
 415 '''%(key, message, subject)
 416                         if props.has_key(key):
 417                             props[key].append(item)
 418                         else:
 419                             props[key] = [item]
 420
 421         #
 422         # handle the users
 423         #
 424
 425         # Don't create users if ANONYMOUS_REGISTER is denied
 426         if self.instance.ANONYMOUS_REGISTER == 'deny':
 427             create = 0
 428         else:
 429             create = 1
 430         author = self.db.uidFromAddress(message.getaddrlist('from')[0],
 431             create=create)
 432         if not author:
 433             raise UnAuthorized, '''
 434 You are not a registered user.
 435
 436 Unknown address: %s
 437 '''%message.getaddrlist('from')[0][1]
 438
 439         # the author may have been created - make sure the change is
 440         # committed before we reopen the database
 441         self.db.commit()
 442
 443         # reopen the database as the author
 444         username = self.db.user.get(author, 'username')
 445         self.db = self.instance.open(username)
 446
 447         # re-get the class with the new database connection
 448         cl = self.db.getclass(classname)
 449
 450         # now update the recipients list
 451         recipients = []
 452         tracker_email = self.instance.ISSUE_TRACKER_EMAIL.lower()
 453         for recipient in message.getaddrlist('to') + message.getaddrlist('cc'):
 454             r = recipient[1].strip().lower()
 455             if r == tracker_email or not r:
 456                 continue
 457             recipients.append(self.db.uidFromAddress(recipient))
 458
 459         #
 460         # handle message-id and in-reply-to
 461         #
 462         messageid = message.getheader('message-id')
 463         inreplyto = message.getheader('in-reply-to') or ''
 464         # generate a messageid if there isn't one
 465         if not messageid:
 466             messageid = "<%s.%s.%s%s@%s>"%(time.time(), random.random(),
 467                 classname, nodeid, self.instance.MAIL_DOMAIN)
 468
 469         #
 470         # now handle the body - find the message
 471         #
 472         content_type =  message.gettype()
 473         attachments = []
 474         if content_type == 'multipart/mixed':
 475             # skip over the intro to the first boundary
 476             part = message.getPart()
 477             content = None
 478             while 1:
 479                 # get the next part
 480                 part = message.getPart()
 481                 if part is None:
 482                     break
 483                 # parse it
 484                 subtype = part.gettype()
 485                 if subtype == 'text/plain' and not content:
 486                     # add all text/plain parts to the message content
 487                     if content is None:
 488                         content = part.fp.read()
 489                     else:
 490                         content = content + part.fp.read()
 491
 492                 elif subtype == 'message/rfc822':
 493                     # handle message/rfc822 specially - the name should be
 494                     # the subject of the actual e-mail embedded here
 495                     i = part.fp.tell()
 496                     mailmess = Message(part.fp)
 497                     name = mailmess.getheader('subject')
 498                     part.fp.seek(i)
 499                     attachments.append((name, 'message/rfc822', part.fp.read()))
 500
 501                 else:
 502                     # try name on Content-Type
 503                     name = part.getparam('name')
 504                     # this is just an attachment
 505                     encoding = part.getencoding()
 506                     if encoding == 'base64':
 507                         data = binascii.a2b_base64(part.fp.read())
 508                     elif encoding == 'quoted-printable':
 509                         # the quopri module wants to work with files
 510                         decoded = cStringIO.StringIO()
 511                         quopri.decode(part.fp, decoded)
 512                         data = decoded.getvalue()
 513                     elif encoding == 'uuencoded':
 514                         data = binascii.a2b_uu(part.fp.read())
 515                     attachments.append((name, part.gettype(), data))
 516
 517             if content is None:
 518                 raise MailUsageError, '''
 519 Roundup requires the submission to be plain text. The message parser could
 520 not find a text/plain part to use.
 521 '''
 522
 523         elif content_type[:10] == 'multipart/':
 524             # skip over the intro to the first boundary
 525             message.getPart()
 526             content = None
 527             while 1:
 528                 # get the next part
 529                 part = message.getPart()
 530                 if part is None:
 531                     break
 532                 # parse it
 533                 if part.gettype() == 'text/plain' and not content:
 534                     # this one's our content
 535                     content = part.fp.read()
 536             if content is None:
 537                 raise MailUsageError, '''
 538 Roundup requires the submission to be plain text. The message parser could
 539 not find a text/plain part to use.
 540 '''
 541
 542         elif content_type != 'text/plain':
 543             raise MailUsageError, '''
 544 Roundup requires the submission to be plain text. The message parser could
 545 not find a text/plain part to use.
 546 '''
 547
 548         else:
 549             content = message.fp.read()
 550
 551         summary, content = parseContent(content)
 552
 553         #
 554         # handle the attachments
 555         #
 556         files = []
 557         for (name, mime_type, data) in attachments:
 558             if not name:
 559                 name = "unnamed"
 560             files.append(self.db.file.create(type=mime_type, name=name,
 561                 content=data))
 562
 563         #
 564         # now handle the db stuff
 565         #
 566         if nodeid:
 567             # If an item designator (class name and id number) is found there,
 568             # the newly created "msg" node is added to the "messages" property
 569             # for that item, and any new "file" nodes are added to the "files"
 570             # property for the item.
 571
 572             # if the message is currently 'unread' or 'resolved', then set
 573             # it to 'chatting'
 574             if properties.has_key('status'):
 575                 try:
 576                     # determine the id of 'unread', 'resolved' and 'chatting'
 577                     unread_id = self.db.status.lookup('unread')
 578                     resolved_id = self.db.status.lookup('resolved')
 579                     chatting_id = self.db.status.lookup('chatting')
 580                 except KeyError:
 581                     pass
 582                 else:
 583                     if (not props.has_key('status') and
 584                             properties['status'] == unread_id or
 585                             properties['status'] == resolved_id):
 586                         props['status'] = chatting_id
 587
 588             # add nosy in arguments to issue's nosy list
 589             if not props.has_key('nosy'): props['nosy'] = []
 590             n = {}
 591             for nid in cl.get(nodeid, 'nosy'):
 592                 n[nid] = 1
 593             for value in props['nosy']:
 594                 if self.db.hasnode('user', value):
 595                     nid = value
 596                 else:
 597                     continue
 598                 if n.has_key(nid): continue
 599                 n[nid] = 1
 600             props['nosy'] = n.keys()
 601             # add assignedto to the nosy list
 602             if props.has_key('assignedto'):
 603                 assignedto = props['assignedto']
 604                 if assignedto not in props['nosy']:
 605                     props['nosy'].append(assignedto)
 606
 607             message_id = self.db.msg.create(author=author,
 608                 recipients=recipients, date=date.Date('.'), summary=summary,
 609                 content=content, files=files, messageid=messageid,
 610                 inreplyto=inreplyto)
 611             try:
 612                 messages = cl.get(nodeid, 'messages')
 613             except IndexError:
 614                 raise MailUsageError, '''
 615 The node specified by the designator in the subject of your message ("%s")
 616 does not exist.
 617
 618 Subject was: "%s"
 619 '''%(nodeid, subject)
 620             messages.append(message_id)
 621             props['messages'] = messages
 622
 623             # now apply the changes
 624             try:
 625                 cl.set(nodeid, **props)
 626             except (TypeError, IndexError, ValueError), message:
 627                 raise MailUsageError, '''
 628 There was a problem with the message you sent:
 629    %s
 630 '''%message
 631             # commit the changes to the DB
 632             self.db.commit()
 633         else:
 634             # If just an item class name is found there, we attempt to create a
 635             # new item of that class with its "messages" property initialized to
 636             # contain the new "msg" node and its "files" property initialized to
 637             # contain any new "file" nodes.
 638             message_id = self.db.msg.create(author=author,
 639                 recipients=recipients, date=date.Date('.'), summary=summary,
 640                 content=content, files=files, messageid=messageid,
 641                 inreplyto=inreplyto)
 642
 643             # pre-set the issue to unread
 644             if properties.has_key('status') and not props.has_key('status'):
 645                 try:
 646                     # determine the id of 'unread'
 647                     unread_id = self.db.status.lookup('unread')
 648                 except KeyError:
 649                     pass
 650                 else:
 651                     props['status'] = '1'
 652
 653             # set the title to the subject
 654             if properties.has_key('title') and not props.has_key('title'):
 655                 props['title'] = title
 656
 657             # pre-load the messages list
 658             props['messages'] = [message_id]
 659
 660             # set up (clean) the nosy list
 661             nosy = props.get('nosy', [])
 662             n = {}
 663             for value in nosy:
 664                 nid = value
 665                 if n.has_key(nid): continue
 666                 n[nid] = 1
 667             props['nosy'] = n.keys()
 668             # add on the recipients of the message
 669             for recipient in recipients:
 670                 if not n.has_key(recipient):
 671                     props['nosy'].append(recipient)
 672                     n[recipient] = 1
 673
 674             # add the author to the nosy list
 675             if not n.has_key(author):
 676                 props['nosy'].append(author)
 677                 n[author] = 1
 678
 679             # add assignedto to the nosy list
 680             if properties.has_key('assignedto') and props.has_key('assignedto'):
 681                 assignedto = props['assignedto']
 682                 if not n.has_key(assignedto):
 683                     props['nosy'].append(assignedto)
 684                     n[assignedto] = 1
 685
 686             # and attempt to create the new node
 687             try:
 688                 nodeid = cl.create(**props)
 689             except (TypeError, IndexError, ValueError), message:
 690                 raise MailUsageError, '''
 691 There was a problem with the message you sent:
 692    %s
 693 '''%message
 694
 695             # commit the new node(s) to the DB
 696             self.db.commit()
 697
 698 def parseContent(content, blank_line=re.compile(r'[\r\n]+\s*[\r\n]+'),
 699         eol=re.compile(r'[\r\n]+'), signature=re.compile(r'^[>|\s]*[-_]+\s*$')):
 700     ''' The message body is divided into sections by blank lines.
 701     Sections where the second and all subsequent lines begin with a ">" or "|"
 702     character are considered "quoting sections". The first line of the first
 703     non-quoting section becomes the summary of the message.
 704     '''
 705     # strip off leading carriage-returns / newlines
 706     i = 0
 707     for i in range(len(content)):
 708         if content[i] not in '\r\n':
 709             break
 710     if i > 0:
 711         sections = blank_line.split(content[i:])
 712     else:
 713         sections = blank_line.split(content)
 714
 715     # extract out the summary from the message
 716     summary = ''
 717     l = []
 718     for section in sections:
 719         #section = section.strip()
 720         if not section:
 721             continue
 722         lines = eol.split(section)
 723         if (lines[0] and lines[0][0] in '>|') or (len(lines) > 1 and
 724                 lines[1] and lines[1][0] in '>|'):
 725             # see if there's a response somewhere inside this section (ie.
 726             # no blank line between quoted message and response)
 727             for line in lines[1:]:
 728                 if line[0] not in '>|':
 729                     break
 730             else:
 731                 # TODO: people who want to keep quoted bits will want the
 732                 # next line...
 733                 # l.append(section)
 734                 continue
 735             # keep this section - it has reponse stuff in it
 736             if not summary:
 737                 # and while we're at it, use the first non-quoted bit as
 738                 # our summary
 739                 summary = line
 740             lines = lines[lines.index(line):]
 741             section = '\n'.join(lines)
 742
 743         if not summary:
 744             # if we don't have our summary yet use the first line of this
 745             # section
 746             summary = lines[0]
 747         elif signature.match(lines[0]):
 748             break
 749
 750         # and add the section to the output
 751         l.append(section)
 752     return summary, '\n\n'.join(l)
 753
 754 #
 755 # $Log: not supported by cvs2svn $
 756 # Revision 1.54  2002/01/16 09:14:45  grubert
 757 #  . if the attachment has no name, name it unnamed, happens with tnefs.
 758 #
 759 # Revision 1.53  2002/01/16 07:20:54  richard
 760 # simple help command for mailgw
 761 #
 762 # Revision 1.52  2002/01/15 00:12:40  richard
 763 # #503340 ] creating issue with [asignedto=p.ohly]
 764 #
 765 # Revision 1.51  2002/01/14 02:20:15  richard
 766 #  . changed all config accesses so they access either the instance or the
 767 #    config attriubute on the db. This means that all config is obtained from
 768 #    instance_config instead of the mish-mash of classes. This will make
 769 #    switching to a ConfigParser setup easier too, I hope.
 770 #
 771 # At a minimum, this makes migration a _little_ easier (a lot easier in the
 772 # 0.5.0 switch, I hope!)
 773 #
 774 # Revision 1.50  2002/01/11 22:59:01  richard
 775 #  . #502342 ] pipe interface
 776 #
 777 # Revision 1.49  2002/01/10 06:19:18  richard
 778 # followup lines directly after a quoted section were being eaten.
 779 #
 780 # Revision 1.48  2002/01/08 04:12:05  richard
 781 # Changed message-id format to "<%s.%s.%s%s@%s>" so it complies with RFC822
 782 #
 783 # Revision 1.47  2002/01/02 02:32:38  richard
 784 # ANONYMOUS_ACCESS -> ANONYMOUS_REGISTER
 785 #
 786 # Revision 1.46  2002/01/02 02:31:38  richard
 787 # Sorry for the huge checkin message - I was only intending to implement #496356
 788 # but I found a number of places where things had been broken by transactions:
 789 #  . modified ROUNDUPDBSENDMAILDEBUG to be SENDMAILDEBUG and hold a filename
 790 #    for _all_ roundup-generated smtp messages to be sent to.
 791 #  . the transaction cache had broken the roundupdb.Class set() reactors
 792 #  . newly-created author users in the mailgw weren't being committed to the db
 793 #
 794 # Stuff that made it into CHANGES.txt (ie. the stuff I was actually working
 795 # on when I found that stuff :):
 796 #  . #496356 ] Use threading in messages
 797 #  . detectors were being registered multiple times
 798 #  . added tests for mailgw
 799 #  . much better attaching of erroneous messages in the mail gateway
 800 #
 801 # Revision 1.45  2001/12/20 15:43:01  rochecompaan
 802 # Features added:
 803 #  .  Multilink properties are now displayed as comma separated values in
 804 #     a textbox
 805 #  .  The add user link is now only visible to the admin user
 806 #  .  Modified the mail gateway to reject submissions from unknown
 807 #     addresses if ANONYMOUS_ACCESS is denied
 808 #
 809 # Revision 1.44  2001/12/18 15:30:34  rochecompaan
 810 # Fixed bugs:
 811 #  .  Fixed file creation and retrieval in same transaction in anydbm
 812 #     backend
 813 #  .  Cgi interface now renders new issue after issue creation
 814 #  .  Could not set issue status to resolved through cgi interface
 815 #  .  Mail gateway was changing status back to 'chatting' if status was
 816 #     omitted as an argument
 817 #
 818 # Revision 1.43  2001/12/15 19:39:01  rochecompaan
 819 # Oops.
 820 #
 821 # Revision 1.42  2001/12/15 19:24:39  rochecompaan
 822 #  . Modified cgi interface to change properties only once all changes are
 823 #    collected, files created and messages generated.
 824 #  . Moved generation of change note to nosyreactors.
 825 #  . We now check for changes to "assignedto" to ensure it's added to the
 826 #    nosy list.
 827 #
 828 # Revision 1.41  2001/12/10 00:57:38  richard
 829 # From CHANGES:
 830 #  . Added the "display" command to the admin tool - displays a node's values
 831 #  . #489760 ] [issue] only subject
 832 #  . fixed the doc/index.html to include the quoting in the mail alias.
 833 #
 834 # Also:
 835 #  . fixed roundup-admin so it works with transactions
 836 #  . disabled the back_anydbm module if anydbm tries to use dumbdbm
 837 #
 838 # Revision 1.40  2001/12/05 14:26:44  rochecompaan
 839 # Removed generation of change note from "sendmessage" in roundupdb.py.
 840 # The change note is now generated when the message is created.
 841 #
 842 # Revision 1.39  2001/12/02 05:06:16  richard
 843 # . We now use weakrefs in the Classes to keep the database reference, so
 844 #   the close() method on the database is no longer needed.
 845 #   I bumped the minimum python requirement up to 2.1 accordingly.
 846 # . #487480 ] roundup-server
 847 # . #487476 ] INSTALL.txt
 848 #
 849 # I also cleaned up the change message / post-edit stuff in the cgi client.
 850 # There's now a clearly marked "TODO: append the change note" where I believe
 851 # the change note should be added there. The "changes" list will obviously
 852 # have to be modified to be a dict of the changes, or somesuch.
 853 #
 854 # More testing needed.
 855 #
 856 # Revision 1.38  2001/12/01 07:17:50  richard
 857 # . We now have basic transaction support! Information is only written to
 858 #   the database when the commit() method is called. Only the anydbm
 859 #   backend is modified in this way - neither of the bsddb backends have been.
 860 #   The mail, admin and cgi interfaces all use commit (except the admin tool
 861 #   doesn't have a commit command, so interactive users can't commit...)
 862 # . Fixed login/registration forwarding the user to the right page (or not,
 863 #   on a failure)
 864 #
 865 # Revision 1.37  2001/11/28 21:55:35  richard
 866 #  . login_action and newuser_action return values were being ignored
 867 #  . Woohoo! Found that bloody re-login bug that was killing the mail
 868 #    gateway.
 869 #  (also a minor cleanup in hyperdb)
 870 #
 871 # Revision 1.36  2001/11/26 22:55:56  richard
 872 # Feature:
 873 #  . Added INSTANCE_NAME to configuration - used in web and email to identify
 874 #    the instance.
 875 #  . Added EMAIL_SIGNATURE_POSITION to indicate where to place the roundup
 876 #    signature info in e-mails.
 877 #  . Some more flexibility in the mail gateway and more error handling.
 878 #  . Login now takes you to the page you back to the were denied access to.
 879 #
 880 # Fixed:
 881 #  . Lots of bugs, thanks Roché and others on the devel mailing list!
 882 #
 883 # Revision 1.35  2001/11/22 15:46:42  jhermann
 884 # Added module docstrings to all modules.
 885 #
 886 # Revision 1.34  2001/11/15 10:24:27  richard
 887 # handle the case where there is no file attached
 888 #
 889 # Revision 1.33  2001/11/13 21:44:44  richard
 890 #  . re-open the database as the author in mail handling
 891 #
 892 # Revision 1.32  2001/11/12 22:04:29  richard
 893 # oops, left debug in there
 894 #
 895 # Revision 1.31  2001/11/12 22:01:06  richard
 896 # Fixed issues with nosy reaction and author copies.
 897 #
 898 # Revision 1.30  2001/11/09 22:33:28  richard
 899 # More error handling fixes.
 900 #
 901 # Revision 1.29  2001/11/07 05:29:26  richard
 902 # Modified roundup-mailgw so it can read e-mails from a local mail spool
 903 # file. Truncates the spool file after parsing.
 904 # Fixed a couple of small bugs introduced in roundup.mailgw when I started
 905 # the popgw.
 906 #
 907 # Revision 1.28  2001/11/01 22:04:37  richard
 908 # Started work on supporting a pop3-fetching server
 909 # Fixed bugs:
 910 #  . bug #477104 ] HTML tag error in roundup-server
 911 #  . bug #477107 ] HTTP header problem
 912 #
 913 # Revision 1.27  2001/10/30 11:26:10  richard
 914 # Case-insensitive match for ISSUE_TRACKER_EMAIL in address in e-mail.
 915 #
 916 # Revision 1.26  2001/10/30 00:54:45  richard
 917 # Features:
 918 #  . #467129 ] Lossage when username=e-mail-address
 919 #  . #473123 ] Change message generation for author
 920 #  . MailGW now moves 'resolved' to 'chatting' on receiving e-mail for an issue.
 921 #
 922 # Revision 1.25  2001/10/28 23:22:28  richard
 923 # fixed bug #474749 ] Indentations lost
 924 #
 925 # Revision 1.24  2001/10/23 22:57:52  richard
 926 # Fix unread->chatting auto transition, thanks Roch'e
 927 #
 928 # Revision 1.23  2001/10/21 04:00:20  richard
 929 # MailGW now moves 'unread' to 'chatting' on receiving e-mail for an issue.
 930 #
 931 # Revision 1.22  2001/10/21 03:35:13  richard
 932 # bug #473125: Paragraph in e-mails
 933 #
 934 # Revision 1.21  2001/10/21 00:53:42  richard
 935 # bug #473130: Nosy list not set correctly
 936 #
 937 # Revision 1.20  2001/10/17 23:13:19  richard
 938 # Did a fair bit of work on the admin tool. Now has an extra command "table"
 939 # which displays node information in a tabular format. Also fixed import and
 940 # export so they work. Removed freshen.
 941 # Fixed quopri usage in mailgw from bug reports.
 942 #
 943 # Revision 1.19  2001/10/11 23:43:04  richard
 944 # Implemented the comma-separated printing option in the admin tool.
 945 # Fixed a typo (more of a vim-o actually :) in mailgw.
 946 #
 947 # Revision 1.18  2001/10/11 06:38:57  richard
 948 # Initial cut at trying to handle people responding to CC'ed messages that
 949 # create an issue.
 950 #
 951 # Revision 1.17  2001/10/09 07:25:59  richard
 952 # Added the Password property type. See "pydoc roundup.password" for
 953 # implementation details. Have updated some of the documentation too.
 954 #
 955 # Revision 1.16  2001/10/05 02:23:24  richard
 956 #  . roundup-admin create now prompts for property info if none is supplied
 957 #    on the command-line.
 958 #  . hyperdb Class getprops() method may now return only the mutable
 959 #    properties.
 960 #  . Login now uses cookies, which makes it a whole lot more flexible. We can
 961 #    now support anonymous user access (read-only, unless there's an
 962 #    "anonymous" user, in which case write access is permitted). Login
 963 #    handling has been moved into cgi_client.Client.main()
 964 #  . The "extended" schema is now the default in roundup init.
 965 #  . The schemas have had their page headings modified to cope with the new
 966 #    login handling. Existing installations should copy the interfaces.py
 967 #    file from the roundup lib directory to their instance home.
 968 #  . Incorrectly had a Bizar Software copyright on the cgitb.py module from
 969 #    Ping - has been removed.
 970 #  . Fixed a whole bunch of places in the CGI interface where we should have
 971 #    been returning Not Found instead of throwing an exception.
 972 #  . Fixed a deviation from the spec: trying to modify the 'id' property of
 973 #    an item now throws an exception.
 974 #
 975 # Revision 1.15  2001/08/30 06:01:17  richard
 976 # Fixed missing import in mailgw :(
 977 #
 978 # Revision 1.14  2001/08/13 23:02:54  richard
 979 # Make the mail parser a little more robust.
 980 #
 981 # Revision 1.13  2001/08/12 06:32:36  richard
 982 # using isinstance(blah, Foo) now instead of isFooType
 983 #
 984 # Revision 1.12  2001/08/08 01:27:00  richard
 985 # Added better error handling to mailgw.
 986 #
 987 # Revision 1.11  2001/08/08 00:08:03  richard
 988 # oops ;)
 989 #
 990 # Revision 1.10  2001/08/07 00:24:42  richard
 991 # stupid typo
 992 #
 993 # Revision 1.9  2001/08/07 00:15:51  richard
 994 # Added the copyright/license notice to (nearly) all files at request of
 995 # Bizar Software.
 996 #
 997 # Revision 1.8  2001/08/05 07:06:07  richard
 998 # removed some print statements
 999 #
1000 # Revision 1.7  2001/08/03 07:18:22  richard
1001 # Implemented correct mail splitting (was taking a shortcut). Added unit
1002 # tests. Also snips signatures now too.
1003 #
1004 # Revision 1.6  2001/08/01 04:24:21  richard
1005 # mailgw was assuming certain properties existed on the issues being created.
1006 #
1007 # Revision 1.5  2001/07/29 07:01:39  richard
1008 # Added vim command to all source so that we don't get no steenkin' tabs :)
1009 #
1010 # Revision 1.4  2001/07/28 06:43:02  richard
1011 # Multipart message class has the getPart method now. Added some tests for it.
1012 #
1013 # Revision 1.3  2001/07/28 00:34:34  richard
1014 # Fixed some non-string node ids.
1015 #
1016 # Revision 1.2  2001/07/22 12:09:32  richard
1017 # Final commit of Grande Splite
1018 #
1019 #
1020 # vim: set filetype=python ts=4 sw=4 et si