Code

- Remove implementations of Class.getnode from back_anydbm and rdbms_common,
[roundup.git] / roundup / backends / back_anydbm.py
index dbdd21bc93fb1bc05863a8bfa727ebfca67142ff..d6aebc43da3d022ad9d1a4cc8123de59a2cccdb8 100644 (file)
@@ -15,7 +15,7 @@
 # BASIS, AND THERE IS NO OBLIGATION WHATSOEVER TO PROVIDE MAINTENANCE,
 # SUPPORT, UPDATES, ENHANCEMENTS, OR MODIFICATIONS.
 # 
-#$Id: back_anydbm.py,v 1.51 2002-07-18 23:07:08 richard Exp $
+#$Id: back_anydbm.py,v 1.132 2003-11-16 18:41:40 jlgijsbers Exp $
 '''
 This module defines a backend that saves the hyperdatabase in a database
 chosen by anydbm. It is guaranteed to always be available in python
@@ -23,28 +23,40 @@ versions >2.1.1 (the dumbdbm fallback in 2.1.1 and earlier has several
 serious bugs, and is not available)
 '''
 
-import whichdb, anydbm, os, marshal, re, weakref, string, copy
-from roundup import hyperdb, date, password, roundupdb
+try:
+    import anydbm, sys
+    # dumbdbm only works in python 2.1.2+
+    if sys.version_info < (2,1,2):
+        import dumbdbm
+        assert anydbm._defaultmod != dumbdbm
+        del dumbdbm
+except AssertionError:
+    print "WARNING: you should upgrade to python 2.1.3"
+
+import whichdb, os, marshal, re, weakref, string, copy
+from roundup import hyperdb, date, password, roundupdb, security
 from blobfiles import FileStorage
+from sessions import Sessions, OneTimeKeys
 from roundup.indexer import Indexer
-from locking import acquire_lock, release_lock
+from roundup.backends import locking
 from roundup.hyperdb import String, Password, Date, Interval, Link, \
-    Multilink, DatabaseError, Boolean, Number
+    Multilink, DatabaseError, Boolean, Number, Node
+from roundup.date import Range
 
 #
 # Now the database
 #
 class Database(FileStorage, hyperdb.Database, roundupdb.Database):
-    """A database for storing records containing flexible data types.
+    '''A database for storing records containing flexible data types.
 
     Transaction stuff TODO:
         . check the timestamp of the class file and nuke the cache if it's
           modified. Do some sort of conflict checking on the dirty stuff.
         . perhaps detect write collisions (related to above)?
 
-    """
+    '''
     def __init__(self, config, journaltag=None):
-        """Open a hyperdatabase given a specifier to some storage.
+        '''Open a hyperdatabase given a specifier to some storage.
 
         The 'storagelocator' is obtained from config.DATABASE.
         The meaning of 'storagelocator' depends on the particular
@@ -55,25 +67,41 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
         The 'journaltag' is a token that will be attached to the journal
         entries for any edits done on the database.  If 'journaltag' is
         None, the database is opened in read-only mode: the Class.create(),
-        Class.set(), and Class.retire() methods are disabled.
-        """
+        Class.set(), Class.retire(), and Class.restore() methods are
+        disabled.  
+        '''        
         self.config, self.journaltag = config, journaltag
         self.dir = config.DATABASE
         self.classes = {}
         self.cache = {}         # cache of nodes loaded or created
         self.dirtynodes = {}    # keep track of the dirty nodes by class
         self.newnodes = {}      # keep track of the new nodes by class
+        self.destroyednodes = {}# keep track of the destroyed nodes by class
         self.transactions = []
         self.indexer = Indexer(self.dir)
+        self.sessions = Sessions(self.config)
+        self.otks = OneTimeKeys(self.config)
+        self.security = security.Security(self)
         # ensure files are group readable and writable
         os.umask(0002)
 
+        # lock it
+        lockfilenm = os.path.join(self.dir, 'lock')
+        self.lockfile = locking.acquire_lock(lockfilenm)
+        self.lockfile.write(str(os.getpid()))
+        self.lockfile.flush()
+
     def post_init(self):
-        """Called once the schema initialisation has finished."""
+        ''' Called once the schema initialisation has finished.
+        '''
         # reindex the db if necessary
         if self.indexer.should_reindex():
             self.reindex()
 
+    def refresh_database(self):
+        "Rebuild the database"
+        self.reindex()
+
     def reindex(self):
         for klass in self.classes.values():
             for nodeid in klass.list():
@@ -87,7 +115,7 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
     # Classes
     #
     def __getattr__(self, classname):
-        """A convenient way of calling self.getclass(classname)."""
+        '''A convenient way of calling self.getclass(classname).'''
         if self.classes.has_key(classname):
             if __debug__:
                 print >>hyperdb.DEBUG, '__getattr__', (self, classname)
@@ -103,7 +131,7 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
         self.classes[cn] = cl
 
     def getclasses(self):
-        """Return a list of the names of all existing classes."""
+        '''Return a list of the names of all existing classes.'''
         if __debug__:
             print >>hyperdb.DEBUG, 'getclasses', (self,)
         l = self.classes.keys()
@@ -111,13 +139,16 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
         return l
 
     def getclass(self, classname):
-        """Get the Class object representing a particular class.
+        '''Get the Class object representing a particular class.
 
         If 'classname' is not a valid class name, a KeyError is raised.
-        """
+        '''
         if __debug__:
             print >>hyperdb.DEBUG, 'getclass', (self, classname)
-        return self.classes[classname]
+        try:
+            return self.classes[classname]
+        except KeyError:
+            raise KeyError, 'There is no class called "%s"'%classname
 
     #
     # Class DBs
@@ -141,7 +172,7 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
         '''
         if __debug__:
             print >>hyperdb.DEBUG, 'getclassdb', (self, classname, mode)
-        return self._opendb('nodes.%s'%classname, mode)
+        return self.opendb('nodes.%s'%classname, mode)
 
     def determine_db_type(self, path):
         ''' determine which DB wrote the class file
@@ -150,19 +181,19 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
         if os.path.exists(path):
             db_type = whichdb.whichdb(path)
             if not db_type:
-                raise hyperdb.DatabaseError, "Couldn't identify database type"
+                raise DatabaseError, "Couldn't identify database type"
         elif os.path.exists(path+'.db'):
             # if the path ends in '.db', it's a dbm database, whether
             # anydbm says it's dbhash or not!
             db_type = 'dbm'
         return db_type
 
-    def _opendb(self, name, mode):
+    def opendb(self, name, mode):
         '''Low-level database opener that gets around anydbm/dbm
            eccentricities.
         '''
         if __debug__:
-            print >>hyperdb.DEBUG, '_opendb', (self, name, mode)
+            print >>hyperdb.DEBUG, 'opendb', (self, name, mode)
 
         # figure the class db type
         path = os.path.join(os.getcwd(), self.dir, name)
@@ -171,27 +202,21 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
         # new database? let anydbm pick the best dbm
         if not db_type:
             if __debug__:
-                print >>hyperdb.DEBUG, "_opendb anydbm.open(%r, 'n')"%path
-            return anydbm.open(path, 'n')
+                print >>hyperdb.DEBUG, "opendb anydbm.open(%r, 'c')"%path
+            return anydbm.open(path, 'c')
 
         # open the database with the correct module
         try:
             dbm = __import__(db_type)
         except ImportError:
-            raise hyperdb.DatabaseError, \
+            raise DatabaseError, \
                 "Couldn't open database - the required module '%s'"\
                 " is not available"%db_type
         if __debug__:
-            print >>hyperdb.DEBUG, "_opendb %r.open(%r, %r)"%(db_type, path,
+            print >>hyperdb.DEBUG, "opendb %r.open(%r, %r)"%(db_type, path,
                 mode)
         return dbm.open(path, mode)
 
-    def _lockdb(self, name):
-        ''' Lock a database file
-        '''
-        path = os.path.join(os.getcwd(), self.dir, '%s.lock'%name)
-        return acquire_lock(path)
-
     #
     # Node IDs
     #
@@ -199,8 +224,7 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
         ''' Generate a new id for the given class
         '''
         # open the ids DB - create if if doesn't exist
-        lock = self._lockdb('_ids')
-        db = self._opendb('_ids', 'c')
+        db = self.opendb('_ids', 'c')
         if db.has_key(classname):
             newid = db[classname] = str(int(db[classname]) + 1)
         else:
@@ -208,9 +232,16 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
             newid = str(self.getclass(classname).count()+1)
             db[classname] = newid
         db.close()
-        release_lock(lock)
         return newid
 
+    def setid(self, classname, setid):
+        ''' Set the id counter: used during import of database
+        '''
+        # open the ids DB - create if if doesn't exist
+        db = self.opendb('_ids', 'c')
+        db[classname] = str(setid)
+        db.close()
+
     #
     # Nodes
     #
@@ -219,6 +250,15 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
         '''
         if __debug__:
             print >>hyperdb.DEBUG, 'addnode', (self, classname, nodeid, node)
+
+        # we'll be supplied these props if we're doing an import
+        if not node.has_key('creator'):
+            # add in the "calculated" properties (dupe so we don't affect
+            # calling code's node assumptions)
+            node = node.copy()
+            node['creator'] = self.getuid()
+            node['creation'] = node['activity'] = date.Date()
+
         self.newnodes.setdefault(classname, {})[nodeid] = 1
         self.cache.setdefault(classname, {})[nodeid] = node
         self.savenode(classname, nodeid, node)
@@ -230,6 +270,11 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
             print >>hyperdb.DEBUG, 'setnode', (self, classname, nodeid, node)
         self.dirtynodes.setdefault(classname, {})[nodeid] = 1
 
+        # update the activity time (dupe so we don't affect
+        # calling code's node assumptions)
+        node = node.copy()
+        node['activity'] = date.Date()
+
         # can't set without having already loaded the node
         self.cache[classname][nodeid] = node
         self.savenode(classname, nodeid, node)
@@ -239,21 +284,24 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
         '''
         if __debug__:
             print >>hyperdb.DEBUG, 'savenode', (self, classname, nodeid, node)
-        self.transactions.append((self._doSaveNode, (classname, nodeid, node)))
+        self.transactions.append((self.doSaveNode, (classname, nodeid, node)))
 
     def getnode(self, classname, nodeid, db=None, cache=1):
         ''' get a node from the database
+
+            Note the "cache" parameter is not used, and exists purely for
+            backward compatibility!
         '''
         if __debug__:
             print >>hyperdb.DEBUG, 'getnode', (self, classname, nodeid, db)
-        if cache:
-            # try the cache
-            cache_dict = self.cache.setdefault(classname, {})
-            if cache_dict.has_key(nodeid):
-                if __debug__:
-                    print >>hyperdb.TRACE, 'get %s %s cached'%(classname,
-                        nodeid)
-                return cache_dict[nodeid]
+
+        # try the cache
+        cache_dict = self.cache.setdefault(classname, {})
+        if cache_dict.has_key(nodeid):
+            if __debug__:
+                print >>hyperdb.TRACE, 'get %s %s cached'%(classname,
+                    nodeid)
+            return cache_dict[nodeid]
 
         if __debug__:
             print >>hyperdb.TRACE, 'get %s %s'%(classname, nodeid)
@@ -262,6 +310,18 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
         if db is None:
             db = self.getclassdb(classname)
         if not db.has_key(nodeid):
+            # try the cache - might be a brand-new node
+            cache_dict = self.cache.setdefault(classname, {})
+            if cache_dict.has_key(nodeid):
+                if __debug__:
+                    print >>hyperdb.TRACE, 'get %s %s cached'%(classname,
+                        nodeid)
+                return cache_dict[nodeid]
+            raise IndexError, "no such %s %s"%(classname, nodeid)
+
+        # check the uncommitted, destroyed nodes
+        if (self.destroyednodes.has_key(classname) and
+                self.destroyednodes[classname].has_key(nodeid)):
             raise IndexError, "no such %s %s"%(classname, nodeid)
 
         # decode
@@ -276,6 +336,32 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
 
         return res
 
+    def destroynode(self, classname, nodeid):
+        '''Remove a node from the database. Called exclusively by the
+           destroy() method on Class.
+        '''
+        if __debug__:
+            print >>hyperdb.DEBUG, 'destroynode', (self, classname, nodeid)
+
+        # remove from cache and newnodes if it's there
+        if (self.cache.has_key(classname) and
+                self.cache[classname].has_key(nodeid)):
+            del self.cache[classname][nodeid]
+        if (self.newnodes.has_key(classname) and
+                self.newnodes[classname].has_key(nodeid)):
+            del self.newnodes[classname][nodeid]
+
+        # see if there's any obvious commit actions that we should get rid of
+        for entry in self.transactions[:]:
+            if entry[1][:2] == (classname, nodeid):
+                self.transactions.remove(entry)
+
+        # add to the destroyednodes map
+        self.destroyednodes.setdefault(classname, {})[nodeid] = 1
+
+        # add the destroy commit action
+        self.transactions.append((self.doDestroyNode, (classname, nodeid)))
+
     def serialise(self, classname, node):
         '''Copy the node contents, converting non-marshallable data into
            marshallable data.
@@ -294,12 +380,12 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
             # get the property spec
             prop = properties[k]
 
-            if isinstance(prop, Password):
+            if isinstance(prop, Password) and v is not None:
                 d[k] = str(v)
             elif isinstance(prop, Date) and v is not None:
-                d[k] = v.get_tuple()
+                d[k] = v.serialise()
             elif isinstance(prop, Interval) and v is not None:
-                d[k] = v.get_tuple()
+                d[k] = v.serialise()
             else:
                 d[k] = v
         return d
@@ -325,7 +411,7 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
                 d[k] = date.Date(v)
             elif isinstance(prop, Interval) and v is not None:
                 d[k] = date.Interval(v)
-            elif isinstance(prop, Password):
+            elif isinstance(prop, Password) and v is not None:
                 p = password.Password()
                 p.unpack(v)
                 d[k] = p
@@ -357,8 +443,14 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
     def countnodes(self, classname, db=None):
         if __debug__:
             print >>hyperdb.DEBUG, 'countnodes', (self, classname, db)
-        # include the new nodes not saved to the DB yet
-        count = len(self.newnodes.get(classname, {}))
+
+        count = 0
+
+        # include the uncommitted nodes
+        if self.newnodes.has_key(classname):
+            count += len(self.newnodes[classname])
+        if self.destroyednodes.has_key(classname):
+            count -= len(self.destroyednodes[classname])
 
         # and count those in the DB
         if db is None:
@@ -366,17 +458,6 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
         count = count + len(db.keys())
         return count
 
-    def getnodeids(self, classname, db=None):
-        if __debug__:
-            print >>hyperdb.DEBUG, 'getnodeids', (self, classname, db)
-        # start off with the new nodes
-        res = self.newnodes.get(classname, {}).keys()
-
-        if db is None:
-            db = self.getclassdb(classname)
-        res = res + db.keys()
-        return res
-
 
     #
     # Files - special node properties
@@ -385,7 +466,8 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
     #
     # Journal
     #
-    def addjournal(self, classname, nodeid, action, params):
+    def addjournal(self, classname, nodeid, action, params, creator=None,
+            creation=None):
         ''' Journal the Action
         'action' may be:
 
@@ -395,72 +477,93 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
         '''
         if __debug__:
             print >>hyperdb.DEBUG, 'addjournal', (self, classname, nodeid,
-                action, params)
-        self.transactions.append((self._doSaveJournal, (classname, nodeid,
-            action, params)))
+                action, params, creator, creation)
+        self.transactions.append((self.doSaveJournal, (classname, nodeid,
+            action, params, creator, creation)))
 
     def getjournal(self, classname, nodeid):
         ''' get the journal for id
+
+            Raise IndexError if the node doesn't exist (as per history()'s
+            API)
         '''
         if __debug__:
             print >>hyperdb.DEBUG, 'getjournal', (self, classname, nodeid)
+
+        # our journal result
+        res = []
+
+        # add any journal entries for transactions not committed to the
+        # database
+        for method, args in self.transactions:
+            if method != self.doSaveJournal:
+                continue
+            (cache_classname, cache_nodeid, cache_action, cache_params,
+                cache_creator, cache_creation) = args
+            if cache_classname == classname and cache_nodeid == nodeid:
+                if not cache_creator:
+                    cache_creator = self.getuid()
+                if not cache_creation:
+                    cache_creation = date.Date()
+                res.append((cache_nodeid, cache_creation, cache_creator,
+                    cache_action, cache_params))
+
         # attempt to open the journal - in some rare cases, the journal may
         # not exist
         try:
-            db = self._opendb('journals.%s'%classname, 'r')
+            db = self.opendb('journals.%s'%classname, 'r')
         except anydbm.error, error:
-            if str(error) == "need 'c' or 'n' flag to open new db": return []
-            elif error.args[0] != 2: raise
-            return []
+            if str(error) == "need 'c' or 'n' flag to open new db":
+                raise IndexError, 'no such %s %s'%(classname, nodeid)
+            elif error.args[0] != 2:
+                # this isn't a "not found" error, be alarmed!
+                raise
+            if res:
+                # we have unsaved journal entries, return them
+                return res
+            raise IndexError, 'no such %s %s'%(classname, nodeid)
         try:
             journal = marshal.loads(db[nodeid])
         except KeyError:
             db.close()
-            raise KeyError, 'no such %s %s'%(classname, nodeid)
+            if res:
+                # we have some unsaved journal entries, be happy!
+                return res
+            raise IndexError, 'no such %s %s'%(classname, nodeid)
         db.close()
-        res = []
-        for entry in journal:
-            (nodeid, date_stamp, user, action, params) = entry
-            date_obj = date.Date(date_stamp)
-            res.append((nodeid, date_obj, user, action, params))
+
+        # add all the saved journal entries for this node
+        for nodeid, date_stamp, user, action, params in journal:
+            res.append((nodeid, date.Date(date_stamp), user, action, params))
         return res
 
     def pack(self, pack_before):
-        ''' delete all journal entries before 'pack_before' '''
+        ''' Delete all journal entries except "create" before 'pack_before'.
+        '''
         if __debug__:
             print >>hyperdb.DEBUG, 'packjournal', (self, pack_before)
 
-        pack_before = pack_before.get_tuple()
-
-        classes = self.getclasses()
-
-        # figure the class db type
-
-        for classname in classes:
+        pack_before = pack_before.serialise()
+        for classname in self.getclasses():
+            # get the journal db
             db_name = 'journals.%s'%classname
             path = os.path.join(os.getcwd(), self.dir, classname)
             db_type = self.determine_db_type(path)
-            db = self._opendb(db_name, 'w')
+            db = self.opendb(db_name, 'w')
 
             for key in db.keys():
+                # get the journal for this db entry
                 journal = marshal.loads(db[key])
                 l = []
                 last_set_entry = None
                 for entry in journal:
+                    # unpack the entry
                     (nodeid, date_stamp, self.journaltag, action, 
                         params) = entry
+                    # if the entry is after the pack date, _or_ the initial
+                    # create entry, then it stays
                     if date_stamp > pack_before or action == 'create':
                         l.append(entry)
-                    elif action == 'set':
-                        # grab the last set entry to keep information on
-                        # activity
-                        last_set_entry = entry
-                if last_set_entry:
-                    date_stamp = last_set_entry[1]
-                    # if the last set entry was made after the pack date
-                    # then it is already in the list
-                    if date_stamp < pack_before:
-                        l.append(last_set_entry)
                 db[key] = marshal.dumps(l)
             if db_type == 'gdbm':
                 db.reorganize()
@@ -475,21 +578,20 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
         '''
         if __debug__:
             print >>hyperdb.DEBUG, 'commit', (self,)
-        # TODO: lock the DB
 
         # keep a handle to all the database files opened
         self.databases = {}
 
-        # now, do all the transactions
-        reindex = {}
-        for method, args in self.transactions:
-            reindex[method(*args)] = 1
-
-        # now close all the database files
-        for db in self.databases.values():
-            db.close()
-        del self.databases
-        # TODO: unlock the DB
+        try:
+            # now, do all the transactions
+            reindex = {}
+            for method, args in self.transactions:
+                reindex[method(*args)] = 1
+        finally:
+            # make sure we close all the database files
+            for db in self.databases.values():
+                db.close()
+            del self.databases
 
         # reindex the nodes that request it
         for classname, nodeid in filter(None, reindex.keys()):
@@ -499,23 +601,31 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
         # save the indexer state
         self.indexer.save_index()
 
+        self.clearCache()
+
+    def clearCache(self):
         # all transactions committed, back to normal
         self.cache = {}
         self.dirtynodes = {}
         self.newnodes = {}
+        self.destroyednodes = {}
         self.transactions = []
 
-    def _doSaveNode(self, classname, nodeid, node):
+    def getCachedClassDB(self, classname):
+        ''' get the class db, looking in our cache of databases for commit
+        '''
+        # get the database handle
+        db_name = 'nodes.%s'%classname
+        if not self.databases.has_key(db_name):
+            self.databases[db_name] = self.getclassdb(classname, 'c')
+        return self.databases[db_name]
+
+    def doSaveNode(self, classname, nodeid, node):
         if __debug__:
-            print >>hyperdb.DEBUG, '_doSaveNode', (self, classname, nodeid,
+            print >>hyperdb.DEBUG, 'doSaveNode', (self, classname, nodeid,
                 node)
 
-        # get the database handle
-        db_name = 'nodes.%s'%classname
-        if self.databases.has_key(db_name):
-            db = self.databases[db_name]
-        else:
-            db = self.databases[db_name] = self.getclassdb(classname, 'c')
+        db = self.getCachedClassDB(classname)
 
         # now save the marshalled data
         db[nodeid] = marshal.dumps(self.serialise(classname, node))
@@ -523,24 +633,40 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
         # return the classname, nodeid so we reindex this content
         return (classname, nodeid)
 
-    def _doSaveJournal(self, classname, nodeid, action, params):
-        # serialise first
-        if action in ('set', 'create'):
-            params = self.serialise(classname, params)
+    def getCachedJournalDB(self, classname):
+        ''' get the journal db, looking in our cache of databases for commit
+        '''
+        # get the database handle
+        db_name = 'journals.%s'%classname
+        if not self.databases.has_key(db_name):
+            self.databases[db_name] = self.opendb(db_name, 'c')
+        return self.databases[db_name]
+
+    def doSaveJournal(self, classname, nodeid, action, params, creator,
+            creation):
+        # serialise the parameters now if necessary
+        if isinstance(params, type({})):
+            if action in ('set', 'create'):
+                params = self.serialise(classname, params)
+
+        # handle supply of the special journalling parameters (usually
+        # supplied on importing an existing database)
+        if creator:
+            journaltag = creator
+        else:
+            journaltag = self.getuid()
+        if creation:
+            journaldate = creation.serialise()
+        else:
+            journaldate = date.Date().serialise()
 
         # create the journal entry
-        entry = (nodeid, date.Date().get_tuple(), self.journaltag, action,
-            params)
+        entry = (nodeid, journaldate, journaltag, action, params)
 
         if __debug__:
-            print >>hyperdb.DEBUG, '_doSaveJournal', entry
+            print >>hyperdb.DEBUG, 'doSaveJournal', entry
 
-        # get the database handle
-        db_name = 'journals.%s'%classname
-        if self.databases.has_key(db_name):
-            db = self.databases[db_name]
-        else:
-            db = self.databases[db_name] = self._opendb(db_name, 'c')
+        db = self.getCachedJournalDB(classname)
 
         # now insert the journal entry
         if db.has_key(nodeid):
@@ -553,6 +679,23 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
 
         db[nodeid] = marshal.dumps(l)
 
+    def doDestroyNode(self, classname, nodeid):
+        if __debug__:
+            print >>hyperdb.DEBUG, 'doDestroyNode', (self, classname, nodeid)
+
+        # delete from the class database
+        db = self.getCachedClassDB(classname)
+        if db.has_key(nodeid):
+            del db[nodeid]
+
+        # delete from the database
+        db = self.getCachedJournalDB(classname)
+        if db.has_key(nodeid):
+            del db[nodeid]
+
+        # return the classname, nodeid so we reindex this content
+        return (classname, nodeid)
+
     def rollback(self):
         ''' Reverse all actions from the current transaction.
         '''
@@ -560,24 +703,34 @@ class Database(FileStorage, hyperdb.Database, roundupdb.Database):
             print >>hyperdb.DEBUG, 'rollback', (self, )
         for method, args in self.transactions:
             # delete temporary files
-            if method == self._doStoreFile:
-                self._rollbackStoreFile(*args)
+            if method == self.doStoreFile:
+                self.rollbackStoreFile(*args)
         self.cache = {}
         self.dirtynodes = {}
         self.newnodes = {}
+        self.destroyednodes = {}
         self.transactions = []
 
+    def close(self):
+        ''' Nothing to do
+        '''
+        if self.lockfile is not None:
+            locking.release_lock(self.lockfile)
+        if self.lockfile is not None:
+            self.lockfile.close()
+            self.lockfile = None
+
 _marker = []
 class Class(hyperdb.Class):
-    """The handle to a particular class of nodes in a hyperdatabase."""
+    '''The handle to a particular class of nodes in a hyperdatabase.'''
 
     def __init__(self, db, classname, **properties):
-        """Create a new class with a given name and property specification.
+        '''Create a new class with a given name and property specification.
 
         'classname' must not collide with the name of an existing class,
         or a ValueError is raised.  The keyword arguments in 'properties'
         must map names to property objects, or a TypeError is raised.
-        """
+        '''
         if (properties.has_key('creation') or properties.has_key('activity')
                 or properties.has_key('creator')):
             raise ValueError, '"creation", "activity" and "creator" are '\
@@ -594,8 +747,8 @@ class Class(hyperdb.Class):
         # do the db-related init stuff
         db.addclass(self)
 
-        self.auditors = {'create': [], 'set': [], 'retire': []}
-        self.reactors = {'create': [], 'set': [], 'retire': []}
+        self.auditors = {'create': [], 'set': [], 'retire': [], 'restore': []}
+        self.reactors = {'create': [], 'set': [], 'retire': [], 'restore': []}
 
     def enableJournalling(self):
         '''Turn journalling on for this class
@@ -610,7 +763,7 @@ class Class(hyperdb.Class):
     # Editing nodes:
 
     def create(self, **propvalues):
-        """Create a new node of this class and return its id.
+        '''Create a new node of this class and return its id.
 
         The keyword arguments in 'propvalues' map property names to values.
 
@@ -628,7 +781,15 @@ class Class(hyperdb.Class):
 
         These operations trigger detectors and can be vetoed.  Attempts
         to modify the "creation" or "activity" properties cause a KeyError.
-        """
+        '''
+        self.fireAuditors('create', None, propvalues)
+        newid = self.create_inner(**propvalues)
+        self.fireReactors('create', newid, None)
+        return newid
+
+    def create_inner(self, **propvalues):
+        ''' Called by create, in-between the audit and react calls.
+        '''
         if propvalues.has_key('id'):
             raise KeyError, '"id" is reserved'
 
@@ -637,9 +798,6 @@ class Class(hyperdb.Class):
 
         if propvalues.has_key('creation') or propvalues.has_key('activity'):
             raise KeyError, '"creation" and "activity" are reserved'
-
-        self.fireAuditors('create', None, propvalues)
-
         # new node's id
         newid = self.db.newid(self.classname)
 
@@ -661,7 +819,7 @@ class Class(hyperdb.Class):
                 raise KeyError, '"%s" has no property "%s"'%(self.classname,
                     key)
 
-            if isinstance(prop, Link):
+            if value is not None and isinstance(prop, Link):
                 if type(value) != type(''):
                     raise ValueError, 'link value must be String'
                 link_class = self.properties[key].classname
@@ -672,7 +830,7 @@ class Class(hyperdb.Class):
                     except (TypeError, KeyError):
                         raise IndexError, 'new property "%s": %s not a %s'%(
                             key, value, link_class)
-                elif not self.db.hasnode(link_class, value):
+                elif not self.db.getclass(link_class).hasnode(value):
                     raise IndexError, '%s has no node %s'%(link_class, value)
 
                 # save off the value
@@ -692,8 +850,8 @@ class Class(hyperdb.Class):
                 l = []
                 for entry in value:
                     if type(entry) != type(''):
-                        raise ValueError, '"%s" link value (%s) must be '\
-                            'String'%(key, value)
+                        raise ValueError, '"%s" multilink value (%r) '\
+                            'must contain Strings'%(key, value)
                     # if it isn't a number, it's a key
                     if not num_re.match(entry):
                         try:
@@ -706,16 +864,17 @@ class Class(hyperdb.Class):
                 propvalues[key] = value
 
                 # handle additions
-                for id in value:
-                    if not self.db.hasnode(link_class, id):
-                        raise IndexError, '%s has no node %s'%(link_class, id)
+                for nodeid in value:
+                    if not self.db.getclass(link_class).hasnode(nodeid):
+                        raise IndexError, '%s has no node %s'%(link_class,
+                            nodeid)
                     # register the link with the newly linked node
                     if self.do_journal and self.properties[key].do_journal:
-                        self.db.addjournal(link_class, id, 'link',
+                        self.db.addjournal(link_class, nodeid, 'link',
                             (self.classname, newid, key))
 
             elif isinstance(prop, String):
-                if type(value) != type(''):
+                if type(value) != type('') and type(value) != type(u''):
                     raise TypeError, 'new property "%s" not a string'%key
 
             elif isinstance(prop, Password):
@@ -756,31 +915,127 @@ class Class(hyperdb.Class):
         # done
         self.db.addnode(self.classname, newid, propvalues)
         if self.do_journal:
-            self.db.addjournal(self.classname, newid, 'create', propvalues)
+            self.db.addjournal(self.classname, newid, 'create', {})
 
-        self.fireReactors('create', newid, None)
+        return newid
 
+    def export_list(self, propnames, nodeid):
+        ''' Export a node - generate a list of CSV-able data in the order
+            specified by propnames for the given node.
+        '''
+        properties = self.getprops()
+        l = []
+        for prop in propnames:
+            proptype = properties[prop]
+            value = self.get(nodeid, prop)
+            # "marshal" data where needed
+            if value is None:
+                pass
+            elif isinstance(proptype, hyperdb.Date):
+                value = value.get_tuple()
+            elif isinstance(proptype, hyperdb.Interval):
+                value = value.get_tuple()
+            elif isinstance(proptype, hyperdb.Password):
+                value = str(value)
+            l.append(repr(value))
+
+        # append retired flag
+        l.append(repr(self.is_retired(nodeid)))
+
+        return l
+
+    def import_list(self, propnames, proplist):
+        ''' Import a node - all information including "id" is present and
+            should not be sanity checked. Triggers are not triggered. The
+            journal should be initialised using the "creator" and "created"
+            information.
+
+            Return the nodeid of the node imported.
+        '''
+        if self.db.journaltag is None:
+            raise DatabaseError, 'Database open read-only'
+        properties = self.getprops()
+
+        # make the new node's property map
+        d = {}
+        newid = None
+        for i in range(len(propnames)):
+            # Figure the property for this column
+            propname = propnames[i]
+
+            # Use eval to reverse the repr() used to output the CSV
+            value = eval(proplist[i])
+
+            # "unmarshal" where necessary
+            if propname == 'id':
+                newid = value
+                continue
+            elif propname == 'is retired':
+                # is the item retired?
+                if int(value):
+                    d[self.db.RETIRED_FLAG] = 1
+                continue
+            elif value is None:
+                d[propname] = None
+                continue
+
+            prop = properties[propname]
+            if isinstance(prop, hyperdb.Date):
+                value = date.Date(value)
+            elif isinstance(prop, hyperdb.Interval):
+                value = date.Interval(value)
+            elif isinstance(prop, hyperdb.Password):
+                pwd = password.Password()
+                pwd.unpack(value)
+                value = pwd
+            d[propname] = value
+
+        # get a new id if necessary
+        if newid is None:
+            newid = self.db.newid(self.classname)
+
+        # add the node and journal
+        self.db.addnode(self.classname, newid, d)
+
+        # extract the journalling stuff and nuke it
+        if d.has_key('creator'):
+            creator = d['creator']
+            del d['creator']
+        else:
+            creator = None
+        if d.has_key('creation'):
+            creation = d['creation']
+            del d['creation']
+        else:
+            creation = None
+        if d.has_key('activity'):
+            del d['activity']
+        self.db.addjournal(self.classname, newid, 'create', {}, creator,
+            creation)
         return newid
 
     def get(self, nodeid, propname, default=_marker, cache=1):
-        """Get the value of a property on an existing node of this class.
+        '''Get the value of a property on an existing node of this class.
 
         'nodeid' must be the id of an existing node of this class or an
         IndexError is raised.  'propname' must be the name of a property
         of this class or a KeyError is raised.
 
-        'cache' indicates whether the transaction cache should be queried
-        for the node. If the node has been modified and you need to
-        determine what its values prior to modification are, you need to
-        set cache=0.
+        'cache' exists for backward compatibility, and is not used.
 
         Attempts to get the "creation" or "activity" properties should
         do the right thing.
-        """
+        '''
         if propname == 'id':
             return nodeid
 
+        # get the node's dict
+        d = self.db.getnode(self.classname, nodeid)
+
+        # check for one of the special props
         if propname == 'creation':
+            if d.has_key('creation'):
+                return d['creation']
             if not self.do_journal:
                 raise ValueError, 'Journalling is disabled for this class'
             journal = self.db.getjournal(self.classname, nodeid)
@@ -790,6 +1045,8 @@ class Class(hyperdb.Class):
                 # on the strange chance that there's no journal
                 return date.Date()
         if propname == 'activity':
+            if d.has_key('activity'):
+                return d['activity']
             if not self.do_journal:
                 raise ValueError, 'Journalling is disabled for this class'
             journal = self.db.getjournal(self.classname, nodeid)
@@ -799,21 +1056,29 @@ class Class(hyperdb.Class):
                 # on the strange chance that there's no journal
                 return date.Date()
         if propname == 'creator':
+            if d.has_key('creator'):
+                return d['creator']
             if not self.do_journal:
                 raise ValueError, 'Journalling is disabled for this class'
             journal = self.db.getjournal(self.classname, nodeid)
             if journal:
-                name = self.db.getjournal(self.classname, nodeid)[0][2]
+                num_re = re.compile('^\d+$')
+                value = self.db.getjournal(self.classname, nodeid)[0][2]
+                if num_re.match(value):
+                    return value
+                else:
+                    # old-style "username" journal tag
+                    try:
+                        return self.db.user.lookup(value)
+                    except KeyError:
+                        # user's been retired, return admin
+                        return '1'
             else:
-                return None
-            return self.db.user.lookup(name)
+                return self.db.getuid()
 
         # get the property (raises KeyErorr if invalid)
         prop = self.properties[propname]
 
-        # get the node's dict
-        d = self.db.getnode(self.classname, nodeid, cache=cache)
-
         if not d.has_key(propname):
             if default is _marker:
                 if isinstance(prop, Multilink):
@@ -823,24 +1088,14 @@ class Class(hyperdb.Class):
             else:
                 return default
 
-        return d[propname]
-
-    # XXX not in spec
-    def getnode(self, nodeid, cache=1):
-        ''' Return a convenience wrapper for the node.
-
-        'nodeid' must be the id of an existing node of this class or an
-        IndexError is raised.
+        # return a dupe of the list so code doesn't get confused
+        if isinstance(prop, Multilink):
+            return d[propname][:]
 
-        'cache' indicates whether the transaction cache should be queried
-        for the node. If the node has been modified and you need to
-        determine what its values prior to modification are, you need to
-        set cache=0.
-        '''
-        return Node(self, nodeid, cache=cache)
+        return d[propname]
 
     def set(self, nodeid, **propvalues):
-        """Modify a property on an existing node of this class.
+        '''Modify a property on an existing node of this class.
         
         'nodeid' must be the id of an existing node of this class or an
         IndexError is raised.
@@ -859,9 +1114,9 @@ class Class(hyperdb.Class):
 
         These operations trigger detectors and can be vetoed.  Attempts
         to modify the "creation" or "activity" properties cause a KeyError.
-        """
+        '''
         if not propvalues:
-            return
+            return propvalues
 
         if propvalues.has_key('creation') or propvalues.has_key('activity'):
             raise KeyError, '"creation" and "activity" are reserved'
@@ -875,14 +1130,7 @@ class Class(hyperdb.Class):
         self.fireAuditors('set', nodeid, propvalues)
         # Take a copy of the node dict so that the subsequent set
         # operation doesn't modify the oldvalues structure.
-        try:
-            # try not using the cache initially
-            oldvalues = copy.deepcopy(self.db.getnode(self.classname, nodeid,
-                cache=0))
-        except IndexError:
-            # this will be needed if somone does a create() and set()
-            # with no intervening commit()
-            oldvalues = copy.deepcopy(self.db.getnode(self.classname, nodeid))
+        oldvalues = copy.deepcopy(self.db.getnode(self.classname, nodeid))
 
         node = self.db.getnode(self.classname, nodeid)
         if node.has_key(self.db.RETIRED_FLAG):
@@ -905,33 +1153,41 @@ class Class(hyperdb.Class):
             # this will raise the KeyError if the property isn't valid
             # ... we don't use getprops() here because we only care about
             # the writeable properties.
-            prop = self.properties[propname]
+            try:
+                prop = self.properties[propname]
+            except KeyError:
+                raise KeyError, '"%s" has no property named "%s"'%(
+                    self.classname, propname)
 
             # if the value's the same as the existing value, no sense in
             # doing anything
-            if node.has_key(propname) and value == node[propname]:
+            current = node.get(propname, None)
+            if value == current:
                 del propvalues[propname]
                 continue
+            journalvalues[propname] = current
 
             # do stuff based on the prop type
             if isinstance(prop, Link):
-                link_class = self.properties[propname].classname
+                link_class = prop.classname
                 # if it isn't a number, it's a key
-                if type(value) != type(''):
-                    raise ValueError, 'link value must be String'
-                if not num_re.match(value):
+                if value is not None and not isinstance(value, type('')):
+                    raise ValueError, 'property "%s" link value be a string'%(
+                        propname)
+                if isinstance(value, type('')) and not num_re.match(value):
                     try:
                         value = self.db.classes[link_class].lookup(value)
                     except (TypeError, KeyError):
                         raise IndexError, 'new property "%s": %s not a %s'%(
-                            propname, value, self.properties[propname].classname)
+                            propname, value, prop.classname)
 
-                if not self.db.hasnode(link_class, value):
+                if (value is not None and
+                        not self.db.getclass(link_class).hasnode(value)):
                     raise IndexError, '%s has no node %s'%(link_class, value)
 
-                if self.do_journal and self.properties[propname].do_journal:
+                if self.do_journal and prop.do_journal:
                     # register the unlink with the old linked node
-                    if node[propname] is not None:
+                    if node.has_key(propname) and node[propname] is not None:
                         self.db.addjournal(link_class, node[propname], 'unlink',
                             (self.classname, nodeid, propname))
 
@@ -983,7 +1239,7 @@ class Class(hyperdb.Class):
 
                 # handle additions
                 for id in value:
-                    if not self.db.hasnode(link_class, id):
+                    if not self.db.getclass(link_class).hasnode(id):
                         raise IndexError, '%s has no node %s'%(link_class, id)
                     if id in l:
                         continue
@@ -997,14 +1253,14 @@ class Class(hyperdb.Class):
                 # figure the journal entry
                 l = []
                 if add:
-                    l.append(('add', add))
+                    l.append(('+', add))
                 if remove:
-                    l.append(('remove', remove))
+                    l.append(('-', remove))
                 if l:
                     journalvalues[propname] = tuple(l)
 
             elif isinstance(prop, String):
-                if value is not None and type(value) != type(''):
+                if value is not None and type(value) != type('') and type(value) != type(u''):
                     raise TypeError, 'new property "%s" not a string'%propname
 
             elif isinstance(prop, Password):
@@ -1039,19 +1295,20 @@ class Class(hyperdb.Class):
 
         # nothing to do?
         if not propvalues:
-            return
+            return propvalues
 
         # do the set, and journal it
         self.db.setnode(self.classname, nodeid, node)
 
         if self.do_journal:
-            propvalues.update(journalvalues)
-            self.db.addjournal(self.classname, nodeid, 'set', propvalues)
+            self.db.addjournal(self.classname, nodeid, 'set', journalvalues)
 
         self.fireReactors('set', nodeid, oldvalues)
 
+        return propvalues        
+
     def retire(self, nodeid):
-        """Retire a node.
+        '''Retire a node.
         
         The properties on the node remain available from the get() method,
         and the node's id is never reused.
@@ -1061,7 +1318,7 @@ class Class(hyperdb.Class):
 
         These operations trigger detectors and can be vetoed.  Attempts
         to modify the "creation" or "activity" properties cause a KeyError.
-        """
+        '''
         if self.db.journaltag is None:
             raise DatabaseError, 'Database open read-only'
 
@@ -1075,19 +1332,71 @@ class Class(hyperdb.Class):
 
         self.fireReactors('retire', nodeid, None)
 
+    def restore(self, nodeid):
+        '''Restpre a retired node.
+
+        Make node available for all operations like it was before retirement.
+        '''
+        if self.db.journaltag is None:
+            raise DatabaseError, 'Database open read-only'
+
+        node = self.db.getnode(self.classname, nodeid)
+        # check if key property was overrided
+        key = self.getkey()
+        try:
+            id = self.lookup(node[key])
+        except KeyError:
+            pass
+        else:
+            raise KeyError, "Key property (%s) of retired node clashes with \
+                existing one (%s)" % (key, node[key])
+        # Now we can safely restore node
+        self.fireAuditors('restore', nodeid, None)
+        del node[self.db.RETIRED_FLAG]
+        self.db.setnode(self.classname, nodeid, node)
+        if self.do_journal:
+            self.db.addjournal(self.classname, nodeid, 'restored', None)
+
+        self.fireReactors('restore', nodeid, None)
+
+    def is_retired(self, nodeid, cldb=None):
+        '''Return true if the node is retired.
+        '''
+        node = self.db.getnode(self.classname, nodeid, cldb)
+        if node.has_key(self.db.RETIRED_FLAG):
+            return 1
+        return 0
+
+    def destroy(self, nodeid):
+        '''Destroy a node.
+
+        WARNING: this method should never be used except in extremely rare
+                 situations where there could never be links to the node being
+                 deleted
+        WARNING: use retire() instead
+        WARNING: the properties of this node will not be available ever again
+        WARNING: really, use retire() instead
+
+        Well, I think that's enough warnings. This method exists mostly to
+        support the session storage of the cgi interface.
+        '''
+        if self.db.journaltag is None:
+            raise DatabaseError, 'Database open read-only'
+        self.db.destroynode(self.classname, nodeid)
+
     def history(self, nodeid):
-        """Retrieve the journal of edits on a particular node.
+        '''Retrieve the journal of edits on a particular node.
 
         'nodeid' must be the id of an existing node of this class or an
         IndexError is raised.
 
         The returned list contains tuples of the form
 
-            (date, tag, action, params)
+            (nodeid, date, tag, action, params)
 
         'date' is a Timestamp object specifying the time of the change and
         'tag' is the journaltag specified when the database was opened.
-        """
+        '''
         if not self.do_journal:
             raise ValueError, 'Journalling is disabled for this class'
         return self.db.getjournal(self.classname, nodeid)
@@ -1099,20 +1408,20 @@ class Class(hyperdb.Class):
         return self.db.hasnode(self.classname, nodeid)
 
     def setkey(self, propname):
-        """Select a String property of this class to be the key property.
+        '''Select a String property of this class to be the key property.
 
         'propname' must be the name of a String property of this class or
         None, or a TypeError is raised.  The values of the key property on
         all existing nodes must be unique or a ValueError is raised. If the
         property doesn't exist, KeyError is raised.
-        """
+        '''
         prop = self.getprops()[propname]
         if not isinstance(prop, String):
             raise TypeError, 'key properties must be String'
         self.key = propname
 
     def getkey(self):
-        """Return the name of the key property for this class or None."""
+        '''Return the name of the key property for this class or None.'''
         return self.key
 
     def labelprop(self, default_to_id=0):
@@ -1141,74 +1450,77 @@ class Class(hyperdb.Class):
 
     # TODO: set up a separate index db file for this? profile?
     def lookup(self, keyvalue):
-        """Locate a particular node by its key property and return its id.
+        '''Locate a particular node by its key property and return its id.
 
         If this class has no key property, a TypeError is raised.  If the
         'keyvalue' matches one of the values for the key property among
         the nodes in this class, the matching node's id is returned;
         otherwise a KeyError is raised.
-        """
+        '''
+        if not self.key:
+            raise TypeError, 'No key property set for class %s'%self.classname
         cldb = self.db.getclassdb(self.classname)
         try:
-            for nodeid in self.db.getnodeids(self.classname, cldb):
+            for nodeid in self.getnodeids(cldb):
                 node = self.db.getnode(self.classname, nodeid, cldb)
                 if node.has_key(self.db.RETIRED_FLAG):
                     continue
                 if node[self.key] == keyvalue:
-                    cldb.close()
                     return nodeid
         finally:
             cldb.close()
-        raise KeyError, keyvalue
+        raise KeyError, 'No key (%s) value "%s" for "%s"'%(self.key,
+            keyvalue, self.classname)
 
-    # XXX: change from spec - allows multiple props to match
+    # change from spec - allows multiple props to match
     def find(self, **propspec):
-        """Get the ids of nodes in this class which link to the given nodes.
+        '''Get the ids of items in this class which link to the given items.
+
+        'propspec' consists of keyword args propname=itemid or
+                   propname={itemid:1, }
+        'propname' must be the name of a property in this class, or a
+                   KeyError is raised.  That property must be a Link or
+                   Multilink property, or a TypeError is raised.
 
-        'propspec' consists of keyword args propname={nodeid:1,}   
-          'propname' must be the name of a property in this class, or a
-            KeyError is raised.  That property must be a Link or Multilink
-            property, or a TypeError is raised.
+        Any item in this class whose 'propname' property links to any of the
+        itemids will be returned. Used by the full text indexing, which knows
+        that "foo" occurs in msg1, msg3 and file7, so we have hits on these
+        issues:
 
-        Any node in this class whose 'propname' property links to any of the
-        nodeids will be returned. Used by the full text indexing, which knows
-        that "foo" occurs in msg1, msg3 and file7, so we have hits on these issues:
             db.issue.find(messages={'1':1,'3':1}, files={'7':1})
-        """
+        '''
         propspec = propspec.items()
-        for propname, nodeids in propspec:
+        for propname, itemids in propspec:
             # check the prop is OK
             prop = self.properties[propname]
             if not isinstance(prop, Link) and not isinstance(prop, Multilink):
                 raise TypeError, "'%s' not a Link/Multilink property"%propname
-            #XXX edit is expensive and of questionable use
-            #for nodeid in nodeids:
-            #    if not self.db.hasnode(prop.classname, nodeid):
-            #        raise ValueError, '%s has no node %s'%(prop.classname, nodeid)
 
         # ok, now do the find
         cldb = self.db.getclassdb(self.classname)
         l = []
         try:
-            for id in self.db.getnodeids(self.classname, db=cldb):
-                node = self.db.getnode(self.classname, id, db=cldb)
-                if node.has_key(self.db.RETIRED_FLAG):
+            for id in self.getnodeids(db=cldb):
+                item = self.db.getnode(self.classname, id, db=cldb)
+                if item.has_key(self.db.RETIRED_FLAG):
                     continue
-                for propname, nodeids in propspec:
-                    # can't test if the node doesn't have this property
-                    if not node.has_key(propname):
+                for propname, itemids in propspec:
+                    # can't test if the item doesn't have this property
+                    if not item.has_key(propname):
                         continue
-                    if type(nodeids) is type(''):
-                        nodeids = {nodeids:1}
+                    if type(itemids) is not type({}):
+                        itemids = {itemids:1}
+
+                    # grab the property definition and its value on this item
                     prop = self.properties[propname]
-                    value = node[propname]
-                    if isinstance(prop, Link) and nodeids.has_key(value):
+                    value = item[propname]
+                    if isinstance(prop, Link) and itemids.has_key(value):
                         l.append(id)
                         break
                     elif isinstance(prop, Multilink):
                         hit = 0
                         for v in value:
-                            if nodeids.has_key(v):
+                            if itemids.has_key(v):
                                 l.append(id)
                                 hit = 1
                                 break
@@ -1219,13 +1531,13 @@ class Class(hyperdb.Class):
         return l
 
     def stringFind(self, **requirements):
-        """Locate a particular node by matching a set of its String
+        '''Locate a particular node by matching a set of its String
         properties in a caseless search.
 
         If the property is not a String property, a TypeError is raised.
         
         The return is a list of the id of all nodes that match.
-        """
+        '''
         for propname in requirements.keys():
             prop = self.properties[propname]
             if isinstance(not prop, String):
@@ -1234,12 +1546,14 @@ class Class(hyperdb.Class):
         l = []
         cldb = self.db.getclassdb(self.classname)
         try:
-            for nodeid in self.db.getnodeids(self.classname, cldb):
+            for nodeid in self.getnodeids(cldb):
                 node = self.db.getnode(self.classname, nodeid, cldb)
                 if node.has_key(self.db.RETIRED_FLAG):
                     continue
                 for key, value in requirements.items():
-                    if node[key] and node[key].lower() != value:
+                    if not node.has_key(key):
+                        break
+                    if node[key] is None or node[key].lower() != value:
                         break
                 else:
                     l.append(nodeid)
@@ -1248,12 +1562,13 @@ class Class(hyperdb.Class):
         return l
 
     def list(self):
-        """Return a list of the ids of the active nodes in this class."""
+        ''' Return a list of the ids of the active nodes in this class.
+        '''
         l = []
         cn = self.classname
         cldb = self.db.getclassdb(cn)
         try:
-            for nodeid in self.db.getnodeids(cn, cldb):
+            for nodeid in self.getnodeids(cldb):
                 node = self.db.getnode(cn, nodeid, cldb)
                 if node.has_key(self.db.RETIRED_FLAG):
                     continue
@@ -1263,18 +1578,60 @@ class Class(hyperdb.Class):
         l.sort()
         return l
 
-    # XXX not in spec
-    def filter(self, search_matches, filterspec, sort, group, 
-            num_re = re.compile('^\d+$')):
+    def getnodeids(self, db=None):
+        ''' Return a list of ALL nodeids
+        '''
+        if __debug__:
+            print >>hyperdb.DEBUG, 'getnodeids', (self, self.classname, db)
+
+        res = []
+
+        # start off with the new nodes
+        if self.db.newnodes.has_key(self.classname):
+            res += self.db.newnodes[self.classname].keys()
+
+        if db is None:
+            db = self.db.getclassdb(self.classname)
+        res = res + db.keys()
+
+        # remove the uncommitted, destroyed nodes
+        if self.db.destroyednodes.has_key(self.classname):
+            for nodeid in self.db.destroyednodes[self.classname].keys():
+                if db.has_key(nodeid):
+                    res.remove(nodeid)
+
+        return res
+
+    def filter(self, search_matches, filterspec, sort=(None,None),
+            group=(None,None), num_re = re.compile('^\d+$')):
         ''' Return a list of the ids of the active nodes in this class that
             match the 'filter' spec, sorted by the group spec and then the
-            sort spec
+            sort spec.
+
+            "filterspec" is {propname: value(s)}
+            "sort" and "group" are (dir, prop) where dir is '+', '-' or None
+                               and prop is a prop name or None
+            "search_matches" is {nodeid: marker}
+
+            The filter must match all properties specificed - but if the
+            property value to match is a list, any one of the values in the
+            list may match for that property to match. Unless the property
+            is a Multilink, in which case the item's property list must
+            match the filterspec list.
         '''
         cn = self.classname
 
         # optimise filterspec
         l = []
         props = self.getprops()
+        LINK = 0
+        MULTILINK = 1
+        STRING = 2
+        DATE = 3
+        INTERVAL = 4
+        OTHER = 6
+        
+        timezone = self.db.getUserTimezone()
         for k, v in filterspec.items():
             propclass = props[k]
             if isinstance(propclass, Link):
@@ -1284,7 +1641,9 @@ class Class(hyperdb.Class):
                 u = []
                 link_class =  self.db.classes[propclass.classname]
                 for entry in v:
-                    if entry == '-1': entry = None
+                    # the value -1 is a special "not set" sentinel
+                    if entry == '-1':
+                        entry = None
                     elif not num_re.match(entry):
                         try:
                             entry = link_class.lookup(entry)
@@ -1293,10 +1652,14 @@ class Class(hyperdb.Class):
                                 k, entry, self.properties[k].classname)
                     u.append(entry)
 
-                l.append((0, k, u))
+                l.append((LINK, k, u))
             elif isinstance(propclass, Multilink):
-                if type(v) is not type([]):
+                # the value -1 is a special "not set" sentinel
+                if v in ('-1', ['-1']):
+                    v = []
+                elif type(v) is not type([]):
                     v = [v]
+
                 # replace key values with node ids
                 u = []
                 link_class =  self.db.classes[propclass.classname]
@@ -1308,58 +1671,109 @@ class Class(hyperdb.Class):
                             raise ValueError, 'new property "%s": %s not a %s'%(
                                 k, entry, self.properties[k].classname)
                     u.append(entry)
-                l.append((1, k, u))
-            elif isinstance(propclass, String):
-                # simple glob searching
-                v = re.sub(r'([\|\{\}\\\.\+\[\]\(\)])', r'\\\1', v)
-                v = v.replace('?', '.')
-                v = v.replace('*', '.*?')
-                l.append((2, k, re.compile(v, re.I)))
+                u.sort()
+                l.append((MULTILINK, k, u))
+            elif isinstance(propclass, String) and k != 'id':
+                if type(v) is not type([]):
+                    v = [v]
+                m = []
+                for v in v:
+                    # simple glob searching
+                    v = re.sub(r'([\|\{\}\\\.\+\[\]\(\)])', r'\\\1', v)
+                    v = v.replace('?', '.')
+                    v = v.replace('*', '.*?')
+                    m.append(v)
+                m = re.compile('(%s)'%('|'.join(m)), re.I)
+                l.append((STRING, k, m))
+            elif isinstance(propclass, Date):
+                try:
+                    date_rng = Range(v, date.Date, offset=timezone)
+                    l.append((DATE, k, date_rng))
+                except ValueError:
+                    # If range creation fails - ignore that search parameter
+                    pass
+            elif isinstance(propclass, Interval):
+                try:
+                    intv_rng = Range(v, date.Interval)
+                    l.append((INTERVAL, k, intv_rng))
+                except ValueError:
+                    # If range creation fails - ignore that search parameter
+                    pass
+                
             elif isinstance(propclass, Boolean):
                 if type(v) is type(''):
                     bv = v.lower() in ('yes', 'true', 'on', '1')
                 else:
                     bv = v
-                l.append((6, k, bv))
+                l.append((OTHER, k, bv))
             elif isinstance(propclass, Number):
-                l.append((6, k, int(v)))
+                l.append((OTHER, k, int(v)))
             else:
-                l.append((6, k, v))
+                l.append((OTHER, k, v))
         filterspec = l
 
         # now, find all the nodes that are active and pass filtering
         l = []
         cldb = self.db.getclassdb(cn)
         try:
-            for nodeid in self.db.getnodeids(cn, cldb):
+            # TODO: only full-scan once (use items())
+            for nodeid in self.getnodeids(cldb):
                 node = self.db.getnode(cn, nodeid, cldb)
                 if node.has_key(self.db.RETIRED_FLAG):
                     continue
                 # apply filter
                 for t, k, v in filterspec:
-                    # this node doesn't have this property, so reject it
-                    if not node.has_key(k): break
+                    # handle the id prop
+                    if k == 'id' and v == nodeid:
+                        continue
 
-                    if t == 0 and node[k] not in v:
-                        # link - if this node'd property doesn't appear in the
-                        # filterspec's nodeid list, skip it
+                    # make sure the node has the property
+                    if not node.has_key(k):
+                        # this node doesn't have this property, so reject it
                         break
-                    elif t == 1:
+
+                    # now apply the property filter
+                    if t == LINK:
+                        # link - if this node's property doesn't appear in the
+                        # filterspec's nodeid list, skip it
+                        if node[k] not in v:
+                            break
+                    elif t == MULTILINK:
                         # multilink - if any of the nodeids required by the
                         # filterspec aren't in this node's property, then skip
                         # it
-                        for value in v:
-                            if value not in node[k]:
+                        have = node[k]
+                        # check for matching the absence of multilink values
+                        if not v and have:
+                            break
+
+                        # othewise, make sure this node has each of the
+                        # required values
+                        for want in v:
+                            if want not in have:
                                 break
                         else:
                             continue
                         break
-                    elif t == 2 and (node[k] is None or not v.search(node[k])):
+                    elif t == STRING:
+                        if node[k] is None:
+                            break
                         # RE search
-                        break
-                    elif t == 6 and node[k] != v:
+                        if not v.search(node[k]):
+                            break
+                    elif t == DATE or t == INTERVAL:
+                        if node[k] is None:
+                            break
+                        if v.to_value:
+                            if not (v.from_value <= node[k] and v.to_value >= node[k]):
+                                break
+                        else:
+                            if not (v.from_value <= node[k]):
+                                break
+                    elif t == OTHER:
                         # straight value comparison for the other types
-                        break
+                        if node[k] != v:
+                            break
                 else:
                     l.append((nodeid, node))
         finally:
@@ -1369,133 +1783,107 @@ class Class(hyperdb.Class):
         # filter based on full text search
         if search_matches is not None:
             k = []
-            l_debug = []
             for v in l:
-                l_debug.append(v[0])
                 if search_matches.has_key(v[0]):
                     k.append(v)
             l = k
 
-        # optimise sort
-        m = []
-        for entry in sort:
-            if entry[0] != '-':
-                m.append(('+', entry))
-            else:
-                m.append((entry[0], entry[1:]))
-        sort = m
-
-        # optimise group
-        m = []
-        for entry in group:
-            if entry[0] != '-':
-                m.append(('+', entry))
-            else:
-                m.append((entry[0], entry[1:]))
-        group = m
         # now, sort the result
         def sortfun(a, b, sort=sort, group=group, properties=self.getprops(),
                 db = self.db, cl=self):
             a_id, an = a
             b_id, bn = b
             # sort by group and then sort
-            for list in group, sort:
-                for dir, prop in list:
-                    # sorting is class-specific
-                    propclass = properties[prop]
+            for dir, prop in group, sort:
+                if dir is None or prop is None: continue
 
-                    # handle the properties that might be "faked"
-                    # also, handle possible missing properties
-                    try:
-                        if not an.has_key(prop):
-                            an[prop] = cl.get(a_id, prop)
-                        av = an[prop]
-                    except KeyError:
-                        # the node doesn't have a value for this property
-                        if isinstance(propclass, Multilink): av = []
-                        else: av = ''
+                # sorting is class-specific
+                propclass = properties[prop]
+
+                # handle the properties that might be "faked"
+                # also, handle possible missing properties
+                try:
+                    if not an.has_key(prop):
+                        an[prop] = cl.get(a_id, prop)
+                    av = an[prop]
+                except KeyError:
+                    # the node doesn't have a value for this property
+                    if isinstance(propclass, Multilink): av = []
+                    else: av = ''
+                try:
+                    if not bn.has_key(prop):
+                        bn[prop] = cl.get(b_id, prop)
+                    bv = bn[prop]
+                except KeyError:
+                    # the node doesn't have a value for this property
+                    if isinstance(propclass, Multilink): bv = []
+                    else: bv = ''
+
+                # String and Date values are sorted in the natural way
+                if isinstance(propclass, String):
+                    # clean up the strings
+                    if av and av[0] in string.uppercase:
+                        av = av.lower()
+                    if bv and bv[0] in string.uppercase:
+                        bv = bv.lower()
+                if (isinstance(propclass, String) or
+                        isinstance(propclass, Date)):
+                    # it might be a string that's really an integer
                     try:
-                        if not bn.has_key(prop):
-                            bn[prop] = cl.get(b_id, prop)
-                        bv = bn[prop]
-                    except KeyError:
-                        # the node doesn't have a value for this property
-                        if isinstance(propclass, Multilink): bv = []
-                        else: bv = ''
-
-                    # String and Date values are sorted in the natural way
-                    if isinstance(propclass, String):
-                        # clean up the strings
-                        if av and av[0] in string.uppercase:
-                            av = an[prop] = av.lower()
-                        if bv and bv[0] in string.uppercase:
-                            bv = bn[prop] = bv.lower()
-                    if (isinstance(propclass, String) or
-                            isinstance(propclass, Date)):
-                        # it might be a string that's really an integer
-                        try:
-                            av = int(av)
-                            bv = int(bv)
-                        except:
-                            pass
+                        av = int(av)
+                        bv = int(bv)
+                    except:
+                        pass
+                    if dir == '+':
+                        r = cmp(av, bv)
+                        if r != 0: return r
+                    elif dir == '-':
+                        r = cmp(bv, av)
+                        if r != 0: return r
+
+                # Link properties are sorted according to the value of
+                # the "order" property on the linked nodes if it is
+                # present; or otherwise on the key string of the linked
+                # nodes; or finally on  the node ids.
+                elif isinstance(propclass, Link):
+                    link = db.classes[propclass.classname]
+                    if av is None and bv is not None: return -1
+                    if av is not None and bv is None: return 1
+                    if av is None and bv is None: continue
+                    if link.getprops().has_key('order'):
                         if dir == '+':
-                            r = cmp(av, bv)
+                            r = cmp(link.get(av, 'order'),
+                                link.get(bv, 'order'))
                             if r != 0: return r
                         elif dir == '-':
-                            r = cmp(bv, av)
+                            r = cmp(link.get(bv, 'order'),
+                                link.get(av, 'order'))
                             if r != 0: return r
-
-                    # Link properties are sorted according to the value of
-                    # the "order" property on the linked nodes if it is
-                    # present; or otherwise on the key string of the linked
-                    # nodes; or finally on  the node ids.
-                    elif isinstance(propclass, Link):
-                        link = db.classes[propclass.classname]
-                        if av is None and bv is not None: return -1
-                        if av is not None and bv is None: return 1
-                        if av is None and bv is None: continue
-                        if link.getprops().has_key('order'):
-                            if dir == '+':
-                                r = cmp(link.get(av, 'order'),
-                                    link.get(bv, 'order'))
-                                if r != 0: return r
-                            elif dir == '-':
-                                r = cmp(link.get(bv, 'order'),
-                                    link.get(av, 'order'))
-                                if r != 0: return r
-                        elif link.getkey():
-                            key = link.getkey()
-                            if dir == '+':
-                                r = cmp(link.get(av, key), link.get(bv, key))
-                                if r != 0: return r
-                            elif dir == '-':
-                                r = cmp(link.get(bv, key), link.get(av, key))
-                                if r != 0: return r
-                        else:
-                            if dir == '+':
-                                r = cmp(av, bv)
-                                if r != 0: return r
-                            elif dir == '-':
-                                r = cmp(bv, av)
-                                if r != 0: return r
-
-                    # Multilink properties are sorted according to how many
-                    # links are present.
-                    elif isinstance(propclass, Multilink):
+                    elif link.getkey():
+                        key = link.getkey()
                         if dir == '+':
-                            r = cmp(len(av), len(bv))
+                            r = cmp(link.get(av, key), link.get(bv, key))
                             if r != 0: return r
                         elif dir == '-':
-                            r = cmp(len(bv), len(av))
+                            r = cmp(link.get(bv, key), link.get(av, key))
                             if r != 0: return r
-                    elif isinstance(propclass, Number) or isinstance(propclass, Boolean):
+                    else:
                         if dir == '+':
                             r = cmp(av, bv)
+                            if r != 0: return r
                         elif dir == '-':
                             r = cmp(bv, av)
-                        
-                # end for dir, prop in list:
-            # end for list in sort, group:
+                            if r != 0: return r
+
+                else:
+                    # all other types just compare
+                    if dir == '+':
+                        r = cmp(av, bv)
+                    elif dir == '-':
+                        r = cmp(bv, av)
+                    if r != 0: return r
+                    
+            # end for dir, prop in sort, group:
             # if all else fails, compare the ids
             return cmp(a[0], b[0])
 
@@ -1503,18 +1891,18 @@ class Class(hyperdb.Class):
         return [i[0] for i in l]
 
     def count(self):
-        """Get the number of nodes in this class.
+        '''Get the number of nodes in this class.
 
         If the returned integer is 'numnodes', the ids of all the nodes
         in this class run from 1 to numnodes, and numnodes+1 will be the
         id of the next node to be created in this class.
-        """
+        '''
         return self.db.countnodes(self.classname)
 
     # Manipulating properties:
 
     def getprops(self, protected=1):
-        """Return a dictionary mapping property names to property objects.
+        '''Return a dictionary mapping property names to property objects.
            If the "protected" flag is true, we include protected properties -
            those which may not be modified.
 
@@ -1522,23 +1910,23 @@ class Class(hyperdb.Class):
            methods provide the "creation" and "activity" properties. If the
            "protected" flag is true, we include protected properties - those
            which may not be modified.
-        """
+        '''
         d = self.properties.copy()
         if protected:
             d['id'] = String()
             d['creation'] = hyperdb.Date()
             d['activity'] = hyperdb.Date()
-            d['creator'] = hyperdb.Link("user")
+            d['creator'] = hyperdb.Link('user')
         return d
 
     def addprop(self, **properties):
-        """Add properties to this class.
+        '''Add properties to this class.
 
         The keyword arguments in 'properties' must map names to property
         objects, or a TypeError is raised.  None of the keys in 'properties'
         may collide with the names of existing properties, or a ValueError
         is raised before any properties have been added.
-        """
+        '''
         for key in properties.keys():
             if self.properties.has_key(key):
                 raise ValueError, key
@@ -1550,40 +1938,46 @@ class Class(hyperdb.Class):
         # find all the String properties that have indexme
         for prop, propclass in self.getprops().items():
             if isinstance(propclass, String) and propclass.indexme:
-                # and index them under (classname, nodeid, property)
-                self.db.indexer.add_text((self.classname, nodeid, prop),
-                    str(self.get(nodeid, prop)))
+                try:
+                    value = str(self.get(nodeid, prop))
+                except IndexError:
+                    # node no longer exists - entry should be removed
+                    self.db.indexer.purge_entry((self.classname, nodeid, prop))
+                else:
+                    # and index them under (classname, nodeid, property)
+                    self.db.indexer.add_text((self.classname, nodeid, prop),
+                        value)
 
     #
     # Detector interface
     #
     def audit(self, event, detector):
-        """Register a detector
-        """
+        '''Register a detector
+        '''
         l = self.auditors[event]
         if detector not in l:
             self.auditors[event].append(detector)
 
     def fireAuditors(self, action, nodeid, newvalues):
-        """Fire all registered auditors.
-        """
+        '''Fire all registered auditors.
+        '''
         for audit in self.auditors[action]:
             audit(self.db, self, nodeid, newvalues)
 
     def react(self, event, detector):
-        """Register a detector
-        """
+        '''Register a detector
+        '''
         l = self.reactors[event]
         if detector not in l:
             self.reactors[event].append(detector)
 
     def fireReactors(self, action, nodeid, oldvalues):
-        """Fire all registered reactors.
-        """
+        '''Fire all registered reactors.
+        '''
         for react in self.reactors[action]:
             react(self.db, self, nodeid, oldvalues)
 
-class FileClass(Class):
+class FileClass(Class, hyperdb.FileClass):
     '''This class defines a large chunk of data. To support this, it has a
        mandatory String property "content" which is typically saved off
        externally to the hyperdb.
@@ -1595,30 +1989,62 @@ class FileClass(Class):
     default_mime_type = 'text/plain'
 
     def create(self, **propvalues):
-        ''' snaffle the file propvalue and store in a file
+        ''' Snarf the "content" propvalue and store in a file
         '''
+        # we need to fire the auditors now, or the content property won't
+        # be in propvalues for the auditors to play with
+        self.fireAuditors('create', None, propvalues)
+
+        # now remove the content property so it's not stored in the db
         content = propvalues['content']
         del propvalues['content']
-        newid = Class.create(self, **propvalues)
+
+        # do the database create
+        newid = Class.create_inner(self, **propvalues)
+
+        # fire reactors
+        self.fireReactors('create', newid, None)
+
+        # store off the content as a file
         self.db.storefile(self.classname, newid, None, content)
         return newid
 
-    def get(self, nodeid, propname, default=_marker, cache=1):
-        ''' trap the content propname and get it from the file
+    def import_list(self, propnames, proplist):
+        ''' Trap the "content" property...
         '''
+        # dupe this list so we don't affect others
+        propnames = propnames[:]
+
+        # extract the "content" property from the proplist
+        i = propnames.index('content')
+        content = eval(proplist[i])
+        del propnames[i]
+        del proplist[i]
+
+        # do the normal import
+        newid = Class.import_list(self, propnames, proplist)
+
+        # save off the "content" file
+        self.db.storefile(self.classname, newid, None, content)
+        return newid
+
+    def get(self, nodeid, propname, default=_marker, cache=1):
+        ''' Trap the content propname and get it from the file
 
-        poss_msg = 'Possibly a access right configuration problem.'
+        'cache' exists for backwards compatibility, and is not used.
+        '''
+        poss_msg = 'Possibly an access right configuration problem.'
         if propname == 'content':
             try:
                 return self.db.getfile(self.classname, nodeid, None)
             except IOError, (strerror):
-                # BUG: by catching this we donot see an error in the log.
+                # XXX by catching this we donot see an error in the log.
                 return 'ERROR reading file: %s%s\n%s\n%s'%(
                         self.classname, nodeid, poss_msg, strerror)
         if default is not _marker:
-            return Class.get(self, nodeid, propname, default, cache=cache)
+            return Class.get(self, nodeid, propname, default)
         else:
-            return Class.get(self, nodeid, propname, cache=cache)
+            return Class.get(self, nodeid, propname)
 
     def getprops(self, protected=1):
         ''' In addition to the actual properties on the node, these methods
@@ -1627,8 +2053,7 @@ class FileClass(Class):
             modified.
         '''
         d = Class.getprops(self, protected=protected).copy()
-        if protected:
-            d['content'] = hyperdb.String()
+        d['content'] = hyperdb.String()
         return d
 
     def index(self, nodeid):
@@ -1653,15 +2078,15 @@ class FileClass(Class):
         self.db.indexer.add_text((self.classname, nodeid, 'content'), content,
             mime_type)
 
-# XXX deviation from spec - was called ItemClass
+# deviation from spec - was called ItemClass
 class IssueClass(Class, roundupdb.IssueClass):
     # Overridden methods:
     def __init__(self, db, classname, **properties):
-        """The newly-created class automatically includes the "messages",
+        '''The newly-created class automatically includes the "messages",
         "files", "nosy", and "superseder" properties.  If the 'properties'
         dictionary attempts to specify any of these properties or a
         "creation" or "activity" property, a ValueError is raised.
-        """
+        '''
         if not properties.has_key('title'):
             properties['title'] = hyperdb.String(indexme='yes')
         if not properties.has_key('messages'):
@@ -1669,277 +2094,11 @@ class IssueClass(Class, roundupdb.IssueClass):
         if not properties.has_key('files'):
             properties['files'] = hyperdb.Multilink("file")
         if not properties.has_key('nosy'):
-            properties['nosy'] = hyperdb.Multilink("user")
+            # note: journalling is turned off as it really just wastes
+            # space. this behaviour may be overridden in an instance
+            properties['nosy'] = hyperdb.Multilink("user", do_journal="no")
         if not properties.has_key('superseder'):
             properties['superseder'] = hyperdb.Multilink(classname)
         Class.__init__(self, db, classname, **properties)
 
 #
-#$Log: not supported by cvs2svn $
-#Revision 1.50  2002/07/18 11:50:58  richard
-#added tests for number type too
-#
-#Revision 1.49  2002/07/18 11:41:10  richard
-#added tests for boolean type, and fixes to anydbm backend
-#
-#Revision 1.48  2002/07/18 11:17:31  gmcm
-#Add Number and Boolean types to hyperdb.
-#Add conversion cases to web, mail & admin interfaces.
-#Add storage/serialization cases to back_anydbm & back_metakit.
-#
-#Revision 1.47  2002/07/14 23:18:20  richard
-#. fixed the journal bloat from multilink changes - we just log the add or
-#  remove operations, not the whole list
-#
-#Revision 1.46  2002/07/14 06:06:34  richard
-#Did some old TODOs
-#
-#Revision 1.45  2002/07/14 04:03:14  richard
-#Implemented a switch to disable journalling for a Class. CGI session
-#database now uses it.
-#
-#Revision 1.44  2002/07/14 02:05:53  richard
-#. all storage-specific code (ie. backend) is now implemented by the backends
-#
-#Revision 1.43  2002/07/10 06:30:30  richard
-#...except of course it's nice to use valid Python syntax
-#
-#Revision 1.42  2002/07/10 06:21:38  richard
-#Be extra safe
-#
-#Revision 1.41  2002/07/10 00:21:45  richard
-#explicit database closing
-#
-#Revision 1.40  2002/07/09 04:19:09  richard
-#Added reindex command to roundup-admin.
-#Fixed reindex on first access.
-#Also fixed reindexing of entries that change.
-#
-#Revision 1.39  2002/07/09 03:02:52  richard
-#More indexer work:
-#- all String properties may now be indexed too. Currently there's a bit of
-#  "issue" specific code in the actual searching which needs to be
-#  addressed. In a nutshell:
-#  + pass 'indexme="yes"' as a String() property initialisation arg, eg:
-#        file = FileClass(db, "file", name=String(), type=String(),
-#            comment=String(indexme="yes"))
-#  + the comment will then be indexed and be searchable, with the results
-#    related back to the issue that the file is linked to
-#- as a result of this work, the FileClass has a default MIME type that may
-#  be overridden in a subclass, or by the use of a "type" property as is
-#  done in the default templates.
-#- the regeneration of the indexes (if necessary) is done once the schema is
-#  set up in the dbinit.
-#
-#Revision 1.38  2002/07/08 06:58:15  richard
-#cleaned up the indexer code:
-# - it splits more words out (much simpler, faster splitter)
-# - removed code we'll never use (roundup.roundup_indexer has the full
-#   implementation, and replaces roundup.indexer)
-# - only index text/plain and rfc822/message (ideas for other text formats to
-#   index are welcome)
-# - added simple unit test for indexer. Needs more tests for regression.
-#
-#Revision 1.37  2002/06/20 23:52:35  richard
-#More informative error message
-#
-#Revision 1.36  2002/06/19 03:07:19  richard
-#Moved the file storage commit into blobfiles where it belongs.
-#
-#Revision 1.35  2002/05/25 07:16:24  rochecompaan
-#Merged search_indexing-branch with HEAD
-#
-#Revision 1.34  2002/05/15 06:21:21  richard
-# . node caching now works, and gives a small boost in performance
-#
-#As a part of this, I cleaned up the DEBUG output and implemented TRACE
-#output (HYPERDBTRACE='file to trace to') with checkpoints at the start of
-#CGI requests. Run roundup with python -O to skip all the DEBUG/TRACE stuff
-#(using if __debug__ which is compiled out with -O)
-#
-#Revision 1.33  2002/04/24 10:38:26  rochecompaan
-#All database files are now created group readable and writable.
-#
-#Revision 1.32  2002/04/15 23:25:15  richard
-#. node ids are now generated from a lockable store - no more race conditions
-#
-#We're using the portalocker code by Jonathan Feinberg that was contributed
-#to the ASPN Python cookbook. This gives us locking across Unix and Windows.
-#
-#Revision 1.31  2002/04/03 05:54:31  richard
-#Fixed serialisation problem by moving the serialisation step out of the
-#hyperdb.Class (get, set) into the hyperdb.Database.
-#
-#Also fixed htmltemplate after the showid changes I made yesterday.
-#
-#Unit tests for all of the above written.
-#
-#Revision 1.30.2.1  2002/04/03 11:55:57  rochecompaan
-# . Added feature #526730 - search for messages capability
-#
-#Revision 1.30  2002/02/27 03:40:59  richard
-#Ran it through pychecker, made fixes
-#
-#Revision 1.29  2002/02/25 14:34:31  grubert
-# . use blobfiles in back_anydbm which is used in back_bsddb.
-#   change test_db as dirlist does not work for subdirectories.
-#   ATTENTION: blobfiles now creates subdirectories for files.
-#
-#Revision 1.28  2002/02/16 09:14:17  richard
-# . #514854 ] History: "User" is always ticket creator
-#
-#Revision 1.27  2002/01/22 07:21:13  richard
-#. fixed back_bsddb so it passed the journal tests
-#
-#... it didn't seem happy using the back_anydbm _open method, which is odd.
-#Yet another occurrance of whichdb not being able to recognise older bsddb
-#databases. Yadda yadda. Made the HYPERDBDEBUG stuff more sane in the
-#process.
-#
-#Revision 1.26  2002/01/22 05:18:38  rochecompaan
-#last_set_entry was referenced before assignment
-#
-#Revision 1.25  2002/01/22 05:06:08  rochecompaan
-#We need to keep the last 'set' entry in the journal to preserve
-#information on 'activity' for nodes.
-#
-#Revision 1.24  2002/01/21 16:33:20  rochecompaan
-#You can now use the roundup-admin tool to pack the database
-#
-#Revision 1.23  2002/01/18 04:32:04  richard
-#Rollback was breaking because a message hadn't actually been written to the file. Needs
-#more investigation.
-#
-#Revision 1.22  2002/01/14 02:20:15  richard
-# . changed all config accesses so they access either the instance or the
-#   config attriubute on the db. This means that all config is obtained from
-#   instance_config instead of the mish-mash of classes. This will make
-#   switching to a ConfigParser setup easier too, I hope.
-#
-#At a minimum, this makes migration a _little_ easier (a lot easier in the
-#0.5.0 switch, I hope!)
-#
-#Revision 1.21  2002/01/02 02:31:38  richard
-#Sorry for the huge checkin message - I was only intending to implement #496356
-#but I found a number of places where things had been broken by transactions:
-# . modified ROUNDUPDBSENDMAILDEBUG to be SENDMAILDEBUG and hold a filename
-#   for _all_ roundup-generated smtp messages to be sent to.
-# . the transaction cache had broken the roundupdb.Class set() reactors
-# . newly-created author users in the mailgw weren't being committed to the db
-#
-#Stuff that made it into CHANGES.txt (ie. the stuff I was actually working
-#on when I found that stuff :):
-# . #496356 ] Use threading in messages
-# . detectors were being registered multiple times
-# . added tests for mailgw
-# . much better attaching of erroneous messages in the mail gateway
-#
-#Revision 1.20  2001/12/18 15:30:34  rochecompaan
-#Fixed bugs:
-# .  Fixed file creation and retrieval in same transaction in anydbm
-#    backend
-# .  Cgi interface now renders new issue after issue creation
-# .  Could not set issue status to resolved through cgi interface
-# .  Mail gateway was changing status back to 'chatting' if status was
-#    omitted as an argument
-#
-#Revision 1.19  2001/12/17 03:52:48  richard
-#Implemented file store rollback. As a bonus, the hyperdb is now capable of
-#storing more than one file per node - if a property name is supplied,
-#the file is called designator.property.
-#I decided not to migrate the existing files stored over to the new naming
-#scheme - the FileClass just doesn't specify the property name.
-#
-#Revision 1.18  2001/12/16 10:53:38  richard
-#take a copy of the node dict so that the subsequent set
-#operation doesn't modify the oldvalues structure
-#
-#Revision 1.17  2001/12/14 23:42:57  richard
-#yuck, a gdbm instance tests false :(
-#I've left the debugging code in - it should be removed one day if we're ever
-#_really_ anal about performace :)
-#
-#Revision 1.16  2001/12/12 03:23:14  richard
-#Cor blimey this anydbm/whichdb stuff is yecchy. Turns out that whichdb
-#incorrectly identifies a dbm file as a dbhash file on my system. This has
-#been submitted to the python bug tracker as issue #491888:
-#https://sourceforge.net/tracker/index.php?func=detail&aid=491888&group_id=5470&atid=105470
-#
-#Revision 1.15  2001/12/12 02:30:51  richard
-#I fixed the problems with people whose anydbm was using the dbm module at the
-#backend. It turns out the dbm module modifies the file name to append ".db"
-#and my check to determine if we're opening an existing or new db just
-#tested os.path.exists() on the filename. Well, no longer! We now perform a
-#much better check _and_ cope with the anydbm implementation module changing
-#too!
-#I also fixed the backends __init__ so only ImportError is squashed.
-#
-#Revision 1.14  2001/12/10 22:20:01  richard
-#Enabled transaction support in the bsddb backend. It uses the anydbm code
-#where possible, only replacing methods where the db is opened (it uses the
-#btree opener specifically.)
-#Also cleaned up some change note generation.
-#Made the backends package work with pydoc too.
-#
-#Revision 1.13  2001/12/02 05:06:16  richard
-#. We now use weakrefs in the Classes to keep the database reference, so
-#  the close() method on the database is no longer needed.
-#  I bumped the minimum python requirement up to 2.1 accordingly.
-#. #487480 ] roundup-server
-#. #487476 ] INSTALL.txt
-#
-#I also cleaned up the change message / post-edit stuff in the cgi client.
-#There's now a clearly marked "TODO: append the change note" where I believe
-#the change note should be added there. The "changes" list will obviously
-#have to be modified to be a dict of the changes, or somesuch.
-#
-#More testing needed.
-#
-#Revision 1.12  2001/12/01 07:17:50  richard
-#. We now have basic transaction support! Information is only written to
-#  the database when the commit() method is called. Only the anydbm
-#  backend is modified in this way - neither of the bsddb backends have been.
-#  The mail, admin and cgi interfaces all use commit (except the admin tool
-#  doesn't have a commit command, so interactive users can't commit...)
-#. Fixed login/registration forwarding the user to the right page (or not,
-#  on a failure)
-#
-#Revision 1.11  2001/11/21 02:34:18  richard
-#Added a target version field to the extended issue schema
-#
-#Revision 1.10  2001/10/09 23:58:10  richard
-#Moved the data stringification up into the hyperdb.Class class' get, set
-#and create methods. This means that the data is also stringified for the
-#journal call, and removes duplication of code from the backends. The
-#backend code now only sees strings.
-#
-#Revision 1.9  2001/10/09 07:25:59  richard
-#Added the Password property type. See "pydoc roundup.password" for
-#implementation details. Have updated some of the documentation too.
-#
-#Revision 1.8  2001/09/29 13:27:00  richard
-#CGI interfaces now spit up a top-level index of all the instances they can
-#serve.
-#
-#Revision 1.7  2001/08/12 06:32:36  richard
-#using isinstance(blah, Foo) now instead of isFooType
-#
-#Revision 1.6  2001/08/07 00:24:42  richard
-#stupid typo
-#
-#Revision 1.5  2001/08/07 00:15:51  richard
-#Added the copyright/license notice to (nearly) all files at request of
-#Bizar Software.
-#
-#Revision 1.4  2001/07/30 01:41:36  richard
-#Makes schema changes mucho easier.
-#
-#Revision 1.3  2001/07/25 01:23:07  richard
-#Added the Roundup spec to the new documentation directory.
-#
-#Revision 1.2  2001/07/23 08:20:44  richard
-#Moved over to using marshal in the bsddb and anydbm backends.
-#roundup-admin now has a "freshen" command that'll load/save all nodes (not
-# retired - mod hyperdb.Class.list() so it lists retired nodes)
-#
-#