Code

fix timelog documentation, add new cgi special for variable doc
[roundup.git] / doc / customizing.txt
1 ===================
2 Customising Roundup
3 ===================
5 :Version: $Revision: 1.90 $
7 .. This document borrows from the ZopeBook section on ZPT. The original is at:
8    http://www.zope.org/Documentation/Books/ZopeBook/current/ZPT.stx
10 .. contents::
11    :depth: 1
13 What You Can Do
14 ===============
16 Before you get too far, it's probably worth having a quick read of the Roundup
17 `design documentation`_.
19 Customisation of Roundup can take one of five forms:
21 1. `tracker configuration`_ file changes
22 2. database, or `tracker schema`_ changes
23 3. "definition" class `database content`_ changes
24 4. behavioural changes, through detectors_
25 5. `access controls`_
26 6. change the `web interface`_
28 The third case is special because it takes two distinctly different forms
29 depending upon whether the tracker has been initialised or not. The other two
30 may be done at any time, before or after tracker initialisation. Yes, this
31 includes adding or removing properties from classes.
34 Trackers in a Nutshell
35 ======================
37 Trackers have the following structure:
39 =================== ========================================================
40 Tracker File        Description
41 =================== ========================================================
42 config.py           Holds the basic `tracker configuration`_                 
43 dbinit.py           Holds the `tracker schema`_                              
44 interfaces.py       Defines the Web and E-Mail interfaces for the tracker    
45 select_db.py        Selects the database back-end for the tracker            
46 db/                 Holds the tracker's database                             
47 db/files/           Holds the tracker's upload files and messages            
48 detectors/          Auditors and reactors for this tracker                   
49 html/               Web interface templates, images and style sheets         
50 =================== ======================================================== 
52 Tracker Configuration
53 =====================
55 The ``config.py`` located in your tracker home contains the basic
56 configuration for the web and e-mail components of roundup's interfaces.
57 As the name suggests, this file is a Python module. This means that any
58 valid python expression may be used in the file. Mostly though, you'll
59 be setting the configuration variables to string values. Python string
60 values must be quoted with either single or double quotes::
62    'this is a string'
63    "this is also a string - use it when the value has 'single quotes'"
64    this is not a string - it's not quoted
66 Python strings may use formatting that's almost identical to C string
67 formatting. The ``%`` operator is used to perform the formatting, like
68 so::
70     'roundup-admin@%s'%MAIL_DOMAIN
72 this will create a string ``'roundup-admin@tracker.domain.example'`` if
73 MAIL_DOMAIN is set to ``'tracker.domain.example'``.
75 You'll also note some values are set to::
77    os.path.join(TRACKER_HOME, 'db')
79 or similar. This creates a new string which holds the path to the
80 ``'db'`` directory in the TRACKER_HOME directory. This is just a
81 convenience so if the TRACKER_HOME changes you don't have to edit
82 multiple valoues.
84 The configuration variables available are:
86 **TRACKER_HOME** - ``os.path.split(__file__)[0]``
87  The tracker home directory. The above default code will automatically
88  determine the tracker home for you, so you can just leave it alone.
90 **MAILHOST** - ``'localhost'``
91  The SMTP mail host that roundup will use to send e-mail.
93 **MAILUSER** - ``()``
94  If your SMTP mail host requires a username and password for access, then
95  specify them here. eg. ``MAILUSER = ('username', 'password')``
97 **MAILHOST_TLS** - ``'no'``
98  If your SMTP mail host provides or requires TLS (Transport Layer
99  Security) then set ``MAILHOST_TLS = 'yes'``
101 **MAILHOST_TLS_KEYFILE** - ``''``
102  If you're using TLS, you may also set MAILHOST_TLS_KEYFILE to the name of
103  a PEM formatted file that contains your private key.
105 **MAILHOST_TLS_CERTFILE** - ``''``
106  If you're using TLS and have specified a MAILHOST_TLS_KEYFILE, you may
107  also set MAILHOST_TLS_CERTFILE to the name of a PEM formatted certificate
108  chain file.
110 **MAIL_DOMAIN** - ``'tracker.domain.example'``
111  The domain name used for email addresses.
113 **DATABASE** - ``os.path.join(TRACKER_HOME, 'db')``
114  This is the directory that the database is going to be stored in. By default
115  it is in the tracker home.
117 **TEMPLATES** - ``os.path.join(TRACKER_HOME, 'html')``
118  This is the directory that the HTML templates reside in. By default they are
119  in the tracker home.
121 **TRACKER_NAME** - ``'Roundup issue tracker'``
122  A descriptive name for your roundup tracker. This is sent out in e-mails and
123  appears in the heading of CGI pages.
125 **TRACKER_EMAIL** - ``'issue_tracker@%s'%MAIL_DOMAIN``
126  The email address that e-mail sent to roundup should go to. Think of it as the
127  tracker's personal e-mail address.
129 **TRACKER_WEB** - ``'http://tracker.example/cgi-bin/roundup.cgi/bugs/'``
130  The web address that the tracker is viewable at. This will be included in
131  information sent to users of the tracker. The URL **must** include the
132  cgi-bin part or anything else that is required to get to the home page of
133  the tracker. You **must** include a trailing '/' in the URL.
135 **ADMIN_EMAIL** - ``'roundup-admin@%s'%MAIL_DOMAIN``
136  The email address that roundup will complain to if it runs into trouble.
138 **EMAIL_FROM_TAG** - ``''``
139  Additional text to include in the "name" part of the ``From:`` address used
140  in nosy messages. If the sending user is "Foo Bar", the ``From:`` line is
141  usually::
143     "Foo Bar" <issue_tracker@tracker.example>
145  The EMAIL_FROM_TAG goes inside the "Foo Bar" quotes like so::
147     "Foo Bar EMAIL_FROM_TAG" <issue_tracker@tracker.example>
149 **MESSAGES_TO_AUTHOR** - ``'new'``, ``'yes'`` or``'no'``
150  Send nosy messages to the author of the message?
151  If 'new' is used, then the author will only be sent the message when the
152  message creates a new issue. If 'yes' then the author will always be sent
153  a copy of the message they wrote.
155 **ADD_AUTHOR_TO_NOSY** - ``'new'``, ``'yes'`` or ``'no'``
156  Does the author of a message get placed on the nosy list automatically?
157  If ``'new'`` is used, then the author will only be added when a message
158  creates a new issue. If ``'yes'``, then the author will be added on followups
159  too. If ``'no'``, they're never added to the nosy.
161 **ADD_RECIPIENTS_TO_NOSY** - ``'new'``, ``'yes'`` or ``'no'``
162  Do the recipients (To:, Cc:) of a message get placed on the nosy list?
163  If ``'new'`` is used, then the recipients will only be added when a message
164  creates a new issue. If ``'yes'``, then the recipients will be added on
165  followups too. If ``'no'``, they're never added to the nosy.
167 **EMAIL_SIGNATURE_POSITION** - ``'top'``, ``'bottom'`` or ``'none'``
168  Where to place the email signature in messages that Roundup generates.
170 **EMAIL_KEEP_QUOTED_TEXT** - ``'yes'`` or ``'no'``
171  Keep email citations. Citations are the part of e-mail which the sender has
172  quoted in their reply to previous e-mail.
174 **EMAIL_LEAVE_BODY_UNCHANGED** - ``'no'``
175  Preserve the email body as is. Enabiling this will cause the entire message
176  body to be stored, including all citations and signatures. It should be
177  either ``'yes'`` or ``'no'``.
179 **MAIL_DEFAULT_CLASS** - ``'issue'`` or ``''``
180  Default class to use in the mailgw if one isn't supplied in email
181  subjects. To disable, comment out the variable below or leave it blank.
183 The default config.py is given below - as you
184 can see, the MAIL_DOMAIN must be edited before any interaction with the
185 tracker is attempted.::
187     # roundup home is this package's directory
188     TRACKER_HOME=os.path.split(__file__)[0]
190     # The SMTP mail host that roundup will use to send mail
191     MAILHOST = 'localhost'
193     # The domain name used for email addresses.
194     MAIL_DOMAIN = 'your.tracker.email.domain.example'
196     # This is the directory that the database is going to be stored in
197     DATABASE = os.path.join(TRACKER_HOME, 'db')
199     # This is the directory that the HTML templates reside in
200     TEMPLATES = os.path.join(TRACKER_HOME, 'html')
202     # A descriptive name for your roundup tracker
203     TRACKER_NAME = 'Roundup issue tracker'
205     # The email address that mail to roundup should go to
206     TRACKER_EMAIL = 'issue_tracker@%s'%MAIL_DOMAIN
208     # The web address that the tracker is viewable at. This will be
209     # included in information sent to users of the tracker. The URL MUST
210     # include the cgi-bin part or anything else that is required to get
211     # to the home page of the tracker. You MUST include a trailing '/'
212     # in the URL.
213     TRACKER_WEB = 'http://tracker.example/cgi-bin/roundup.cgi/bugs/'
215     # The email address that roundup will complain to if it runs into
216     # trouble
217     ADMIN_EMAIL = 'roundup-admin@%s'%MAIL_DOMAIN
219     # Additional text to include in the "name" part of the From: address
220     # used in nosy messages. If the sending user is "Foo Bar", the From:
221     # line is usually: "Foo Bar" <issue_tracker@tracker.example>
222     # the EMAIL_FROM_TAG goes inside the "Foo Bar" quotes like so:
223     #    "Foo Bar EMAIL_FROM_TAG" <issue_tracker@tracker.example>
224     EMAIL_FROM_TAG = ""
226     # Send nosy messages to the author of the message
227     MESSAGES_TO_AUTHOR = 'no'           # either 'yes' or 'no'
229     # Does the author of a message get placed on the nosy list
230     # automatically? If 'new' is used, then the author will only be
231     # added when a message creates a new issue. If 'yes', then the
232     # author will be added on followups too. If 'no', they're never
233     # added to the nosy.
234     ADD_AUTHOR_TO_NOSY = 'new'          # one of 'yes', 'no', 'new'
236     # Do the recipients (To:, Cc:) of a message get placed on the nosy
237     # list? If 'new' is used, then the recipients will only be added
238     # when a message creates a new issue. If 'yes', then the recipients
239     # will be added on followups too. If 'no', they're never added to
240     # the nosy.
241     ADD_RECIPIENTS_TO_NOSY = 'new'      # either 'yes', 'no', 'new'
243     # Where to place the email signature
244     EMAIL_SIGNATURE_POSITION = 'bottom' # one of 'top', 'bottom', 'none'
246     # Keep email citations
247     EMAIL_KEEP_QUOTED_TEXT = 'no'       # either 'yes' or 'no'
249     # Preserve the email body as is
250     EMAIL_LEAVE_BODY_UNCHANGED = 'no'   # either 'yes' or 'no'
252     # Default class to use in the mailgw if one isn't supplied in email
253     # subjects. To disable, comment out the variable below or leave it
254     # blank. Examples:
255     MAIL_DEFAULT_CLASS = 'issue'   # use "issue" class by default
256     #MAIL_DEFAULT_CLASS = ''        # disable (or just comment the var out)
258     # 
259     # SECURITY DEFINITIONS
260     #
261     # define the Roles that a user gets when they register with the
262     # tracker these are a comma-separated string of role names (e.g.
263     # 'Admin,User')
264     NEW_WEB_USER_ROLES = 'User'
265     NEW_EMAIL_USER_ROLES = 'User'
267 Tracker Schema
268 ==============
270 Note: if you modify the schema, you'll most likely need to edit the
271       `web interface`_ HTML template files and `detectors`_ to reflect
272       your changes.
274 A tracker schema defines what data is stored in the tracker's database.
275 Schemas are defined using Python code in the ``dbinit.py`` module of your
276 tracker. The "classic" schema looks like this (see below for the meaning
277 of ``'setkey'``)::
279     pri = Class(db, "priority", name=String(), order=String())
280     pri.setkey("name")
282     stat = Class(db, "status", name=String(), order=String())
283     stat.setkey("name")
285     keyword = Class(db, "keyword", name=String())
286     keyword.setkey("name")
288     user = Class(db, "user", username=String(), organisation=String(),
289         password=String(), address=String(), realname=String(),
290         phone=String())
291     user.setkey("username")
293     msg = FileClass(db, "msg", author=Link("user"), summary=String(),
294         date=Date(), recipients=Multilink("user"),
295         files=Multilink("file"))
297     file = FileClass(db, "file", name=String(), type=String())
299     issue = IssueClass(db, "issue", topic=Multilink("keyword"),
300         status=Link("status"), assignedto=Link("user"),
301         priority=Link("priority"))
302     issue.setkey('title')
304 Classes and Properties - creating a new information store
305 ---------------------------------------------------------
307 In the tracker above, we've defined 7 classes of information:
309   priority
310       Defines the possible levels of urgency for issues.
312   status
313       Defines the possible states of processing the issue may be in.
315   keyword
316       Initially empty, will hold keywords useful for searching issues.
318   user
319       Initially holding the "admin" user, will eventually have an entry
320       for all users using roundup.
322   msg
323       Initially empty, will hold all e-mail messages sent to or
324       generated by roundup.
326   file
327       Initially empty, will hold all files attached to issues.
329   issue
330       Initially empty, this is where the issue information is stored.
332 We define the "priority" and "status" classes to allow two things:
333 reduction in the amount of information stored on the issue and more
334 powerful, accurate searching of issues by priority and status. By only
335 requiring a link on the issue (which is stored as a single number) we
336 reduce the chance that someone mis-types a priority or status - or
337 simply makes a new one up.
340 Class and Items
341 ~~~~~~~~~~~~~~~
343 A Class defines a particular class (or type) of data that will be stored
344 in the database. A class comprises one or more properties, which gives
345 the information about the class items.
347 The actual data entered into the database, using ``class.create()``, are
348 called items. They have a special immutable property called ``'id'``. We
349 sometimes refer to this as the *itemid*.
352 Properties
353 ~~~~~~~~~~
355 A Class is comprised of one or more properties of the following types:
357 * String properties are for storing arbitrary-length strings.
358 * Password properties are for storing encoded arbitrary-length strings.
359   The default encoding is defined on the ``roundup.password.Password``
360   class.
361 * Date properties store date-and-time stamps. Their values are Timestamp
362   objects.
363 * Number properties store numeric values.
364 * Boolean properties store on/off, yes/no, true/false values.
365 * A Link property refers to a single other item selected from a
366   specified class. The class is part of the property; the value is an
367   integer, the id of the chosen item.
368 * A Multilink property refers to possibly many items in a specified
369   class. The value is a list of integers.
372 FileClass
373 ~~~~~~~~~
375 FileClasses save their "content" attribute off in a separate file from
376 the rest of the database. This reduces the number of large entries in
377 the database, which generally makes databases more efficient, and also
378 allows us to use command-line tools to operate on the files. They are
379 stored in the files sub-directory of the ``'db'`` directory in your
380 tracker.
383 IssueClass
384 ~~~~~~~~~~
386 IssueClasses automatically include the "messages", "files", "nosy", and
387 "superseder" properties.
389 The messages and files properties list the links to the messages and
390 files related to the issue. The nosy property is a list of links to
391 users who wish to be informed of changes to the issue - they get "CC'ed"
392 e-mails when messages are sent to or generated by the issue. The nosy
393 reactor (in the ``'detectors'`` directory) handles this action. The
394 superseder link indicates an issue which has superseded this one.
396 They also have the dynamically generated "creation", "activity" and
397 "creator" properties.
399 The value of the "creation" property is the date when an item was
400 created, and the value of the "activity" property is the date when any
401 property on the item was last edited (equivalently, these are the dates
402 on the first and last records in the item's journal). The "creator"
403 property holds a link to the user that created the issue.
406 setkey(property)
407 ~~~~~~~~~~~~~~~~
409 Select a String property of the class to be the key property. The key
410 property must be unique, and allows references to the items in the class
411 by the content of the key property. That is, we can refer to users by
412 their username: for example, let's say that there's an issue in roundup,
413 issue 23. There's also a user, richard, who happens to be user 2. To
414 assign an issue to him, we could do either of::
416      roundup-admin set issue23 assignedto=2
418 or::
420      roundup-admin set issue23 assignedto=richard
422 Note, the same thing can be done in the web and e-mail interfaces. 
424 If a class does not have an "order" property, the key is also used to
425 sort instances of the class when it is rendered in the user interface.
426 (If a class has no "order" property, sorting is by the labelproperty of
427 the class. This is computed, in order of precedence, as the key, the
428 "name", the "title", or the first property alphabetically.)
431 create(information)
432 ~~~~~~~~~~~~~~~~~~~
434 Create an item in the database. This is generally used to create items
435 in the "definitional" classes like "priority" and "status".
438 Examples of adding to your schema
439 ---------------------------------
441 TODO
444 Detectors - adding behaviour to your tracker
445 ============================================
446 .. _detectors:
448 Detectors are initialised every time you open your tracker database, so
449 you're free to add and remove them any time, even after the database is
450 initialised via the "roundup-admin initialise" command.
452 The detectors in your tracker fire *before* (**auditors**) and *after*
453 (**reactors**) changes to the contents of your database. They are Python
454 modules that sit in your tracker's ``detectors`` directory. You will
455 have some installed by default - have a look. You can write new
456 detectors or modify the existing ones. The existing detectors installed
457 for you are:
459 **nosyreaction.py**
460   This provides the automatic nosy list maintenance and email sending.
461   The nosy reactor (``nosyreaction``) fires when new messages are added
462   to issues. The nosy auditor (``updatenosy``) fires when issues are
463   changed, and figures out what changes need to be made to the nosy list
464   (such as adding new authors, etc.)
465 **statusauditor.py**
466   This provides the ``chatty`` auditor which changes the issue status
467   from ``unread`` or ``closed`` to ``chatting`` if new messages appear.
468   It also provides the ``presetunread`` auditor which pre-sets the
469   status to ``unread`` on new items if the status isn't explicitly
470   defined.
472 See the detectors section in the `design document`__ for details of the
473 interface for detectors.
475 __ design.html
477 Sample additional detectors that have been found useful will appear in
478 the ``'detectors'`` directory of the Roundup distribution. If you want
479 to use one, copy it to the ``'detectors'`` of your tracker instance:
481 **newissuecopy.py**
482   This detector sends an email to a team address whenever a new issue is
483   created. The address is hard-coded into the detector, so edit it
484   before you use it (look for the text 'team@team.host') or you'll get
485   email errors!
487   The detector code::
489     from roundup import roundupdb
491     def newissuecopy(db, cl, nodeid, oldvalues):
492         ''' Copy a message about new issues to a team address.
493         '''
494         # so use all the messages in the create
495         change_note = cl.generateCreateNote(nodeid)
497         # send a copy to the nosy list
498         for msgid in cl.get(nodeid, 'messages'):
499             try:
500                 # note: last arg must be a list
501                 cl.send_message(nodeid, msgid, change_note,
502                     ['team@team.host'])
503             except roundupdb.MessageSendError, message:
504                 raise roundupdb.DetectorError, message
506     def init(db):
507         db.issue.react('create', newissuecopy)
510 Database Content
511 ================
513 Note: if you modify the content of definitional classes, you'll most
514        likely need to edit the tracker `detectors`_ to reflect your
515        changes.
517 Customisation of the special "definitional" classes (eg. status,
518 priority, resolution, ...) may be done either before or after the
519 tracker is initialised. The actual method of doing so is completely
520 different in each case though, so be careful to use the right one.
522 **Changing content before tracker initialisation**
523     Edit the dbinit module in your tracker to alter the items created in
524     using the ``create()`` methods.
526 **Changing content after tracker initialisation**
527     As the "admin" user, click on the "class list" link in the web
528     interface to bring up a list of all database classes. Click on the
529     name of the class you wish to change the content of.
531     You may also use the ``roundup-admin`` interface's create, set and
532     retire methods to add, alter or remove items from the classes in
533     question.
535 See "`adding a new field to the classic schema`_" for an example that
536 requires database content changes.
539 Access Controls
540 ===============
542 A set of Permissions is built into the security module by default:
544 - Edit (everything)
545 - View (everything)
547 The default interfaces define:
549 - Web Registration
550 - Web Access
551 - Web Roles
552 - Email Registration
553 - Email Access
555 These are hooked into the default Roles:
557 - Admin (Edit everything, View everything, Web Roles)
558 - User (Web Access, Email Access)
559 - Anonymous (Web Registration, Email Registration)
561 And finally, the "admin" user gets the "Admin" Role, and the "anonymous"
562 user gets "Anonymous" assigned when the database is initialised on
563 installation. The two default schemas then define:
565 - Edit issue, View issue (both)
566 - Edit file, View file (both)
567 - Edit msg, View msg (both)
568 - Edit support, View support (extended only)
570 and assign those Permissions to the "User" Role. Put together, these
571 settings appear in the ``open()`` function of the tracker ``dbinit.py``
572 (the following is taken from the "minimal" template's ``dbinit.py``)::
574     #
575     # SECURITY SETTINGS
576     #
577     # new permissions for this schema
578     for cl in ('user', ):
579         db.security.addPermission(name="Edit", klass=cl,
580             description="User is allowed to edit "+cl)
581         db.security.addPermission(name="View", klass=cl,
582             description="User is allowed to access "+cl)
584     # and give the regular users access to the web and email interface
585     p = db.security.getPermission('Web Access')
586     db.security.addPermissionToRole('User', p)
587     p = db.security.getPermission('Email Access')
588     db.security.addPermissionToRole('User', p)
590     # May users view other user information? Comment these lines out
591     # if you don't want them to
592     p = db.security.getPermission('View', 'user')
593     db.security.addPermissionToRole('User', p)
595     # Assign the appropriate permissions to the anonymous user's
596     # Anonymous role. Choices here are:
597     # - Allow anonymous users to register through the web
598     p = db.security.getPermission('Web Registration')
599     db.security.addPermissionToRole('Anonymous', p)
600     # - Allow anonymous (new) users to register through the email
601     #   gateway
602     p = db.security.getPermission('Email Registration')
603     db.security.addPermissionToRole('Anonymous', p)
606 New User Roles
607 --------------
609 New users are assigned the Roles defined in the config file as:
611 - NEW_WEB_USER_ROLES
612 - NEW_EMAIL_USER_ROLES
615 Changing Access Controls
616 ------------------------
618 You may alter the configuration variables to change the Role that new
619 web or email users get, for example to not give them access to the web
620 interface if they register through email. 
622 You may use the ``roundup-admin`` "``security``" command to display the
623 current Role and Permission configuration in your tracker.
626 Adding a new Permission
627 ~~~~~~~~~~~~~~~~~~~~~~~
629 When adding a new Permission, you will need to:
631 1. add it to your tracker's dbinit so it is created
632 2. enable it for the Roles that should have it (verify with
633    "``roundup-admin security``")
634 3. add it to the relevant HTML interface templates
635 4. add it to the appropriate xxxPermission methods on in your tracker
636    interfaces module
639 Example Scenarios
640 ~~~~~~~~~~~~~~~~~
642 **automatic registration of users in the e-mail gateway**
643  By giving the "anonymous" user the "Email Registration" Role, any
644  unidentified user will automatically be registered with the tracker
645  (with no password, so they won't be able to log in through the web
646  until an admin sets their password). Note: this is the default
647  behaviour in the tracker templates that ship with Roundup.
649 **anonymous access through the e-mail gateway**
650  Give the "anonymous" user the "Email Access" and ("Edit", "issue")
651  Roles but do not not give them the "Email Registration" Role. This
652  means that when an unknown user sends email into the tracker, they're
653  automatically logged in as "anonymous". Since they don't have the
654  "Email Registration" Role, they won't be automatically registered, but
655  since "anonymous" has permission to use the gateway, they'll still be
656  able to submit issues. Note that the Sender information - their email
657  address - will not be available - they're *anonymous*.
659 **only developers may be assigned issues**
660  Create a new Permission called "Fixer" for the "issue" class. Create a
661  new Role "Developer" which has that Permission, and assign that to the
662  appropriate users. Filter the list of users available in the assignedto
663  list to include only those users. Enforce the Permission with an
664  auditor. See the example 
665  `restricting the list of users that are assignable to a task`_.
667 **only managers may sign off issues as complete**
668  Create a new Permission called "Closer" for the "issue" class. Create a
669  new Role "Manager" which has that Permission, and assign that to the
670  appropriate users. In your web interface, only display the "resolved"
671  issue state option when the user has the "Closer" Permissions. Enforce
672  the Permission with an auditor. This is very similar to the previous
673  example, except that the web interface check would look like::
675    <option tal:condition="python:request.user.hasPermission('Closer')"
676            value="resolved">Resolved</option>
677  
678 **don't give web access to users who register through email**
679  Create a new Role called "Email User" which has all the Permissions of
680  the normal "User" Role minus the "Web Access" Permission. This will
681  allow users to send in emails to the tracker, but not access the web
682  interface.
684 **let some users edit the details of all users**
685  Create a new Role called "User Admin" which has the Permission for
686  editing users::
688     db.security.addRole(name='User Admin', description='Managing users')
689     p = db.security.getPermission('Edit', 'user')
690     db.security.addPermissionToRole('User Admin', p)
692  and assign the Role to the users who need the permission.
695 Web Interface
696 =============
698 .. contents::
699    :local:
700    :depth: 1
702 The web interface is provided by the ``roundup.cgi.client`` module and
703 is used by ``roundup.cgi``, ``roundup-server`` and ``ZRoundup``
704 (``ZRoundup``  is broken, until further notice). In all cases, we
705 determine which tracker is being accessed (the first part of the URL
706 path inside the scope of the CGI handler) and pass control on to the
707 tracker ``interfaces.Client`` class - which uses the ``Client`` class
708 from ``roundup.cgi.client`` - which handles the rest of the access
709 through its ``main()`` method. This means that you can do pretty much
710 anything you want as a web interface to your tracker.
712 Repercussions of changing the tracker schema
713 ---------------------------------------------
715 If you choose to change the `tracker schema`_ you will need to ensure
716 the web interface knows about it:
718 1. Index, item and search pages for the relevant classes may need to
719    have properties added or removed,
720 2. The "page" template may require links to be changed, as might the
721    "home" page's content arguments.
723 How requests are processed
724 --------------------------
726 The basic processing of a web request proceeds as follows:
728 1. figure out who we are, defaulting to the "anonymous" user
729 2. figure out what the request is for - we call this the "context"
730 3. handle any requested action (item edit, search, ...)
731 4. render the template requested by the context, resulting in HTML
732    output
734 In some situations, exceptions occur:
736 - HTTP Redirect  (generally raised by an action)
737 - SendFile       (generally raised by ``determine_context``)
738     here we serve up a FileClass "content" property
739 - SendStaticFile (generally raised by ``determine_context``)
740     here we serve up a file from the tracker "html" directory
741 - Unauthorised   (generally raised by an action)
742     here the action is cancelled, the request is rendered and an error
743     message is displayed indicating that permission was not granted for
744     the action to take place
745 - NotFound       (raised wherever it needs to be)
746     this exception percolates up to the CGI interface that called the
747     client
749 Determining web context
750 -----------------------
752 To determine the "context" of a request, we look at the URL and the
753 special request variable ``@template``. The URL path after the tracker
754 identifier is examined. Typical URL paths look like:
756 1.  ``/tracker/issue``
757 2.  ``/tracker/issue1``
758 3.  ``/tracker/_file/style.css``
759 4.  ``/cgi-bin/roundup.cgi/tracker/file1``
760 5.  ``/cgi-bin/roundup.cgi/tracker/file1/kitten.png``
762 where the "tracker identifier" is "tracker" in the above cases. That means
763 we're looking at "issue", "issue1", "_file/style.css", "file1" and
764 "file1/kitten.png" in the cases above. The path is generally only one
765 entry long - longer paths are handled differently.
767 a. if there is no path, then we are in the "home" context.
768 b. if the path starts with "_file" (as in example 3,
769    "/tracker/_file/style.css"), then the additional path entry,
770    "style.css" specifies the filename of a static file we're to serve up
771    from the tracker "html" directory. Raises a SendStaticFile exception.
772 c. if there is something in the path (as in example 1, "issue"), it
773    identifies the tracker class we're to display.
774 d. if the path is an item designator (as in examples 2 and 4, "issue1"
775    and "file1"), then we're to display a specific item.
776 e. if the path starts with an item designator and is longer than one
777    entry (as in example 5, "file1/kitten.png"), then we're assumed to be
778    handling an item of a ``FileClass``, and the extra path information
779    gives the filename that the client is going to label the download
780    with (i.e. "file1/kitten.png" is nicer to download than "file1").
781    This raises a ``SendFile`` exception.
783 Both b. and e. stop before we bother to determine the template we're
784 going to use. That's because they don't actually use templates.
786 The template used is specified by the ``@template`` CGI variable, which
787 defaults to:
789 - only classname suplied:        "index"
790 - full item designator supplied: "item"
793 Performing actions in web requests
794 ----------------------------------
796 When a user requests a web page, they may optionally also request for an
797 action to take place. As described in `how requests are processed`_, the
798 action is performed before the requested page is generated. Actions are
799 triggered by using a ``@action`` CGI variable, where the value is one
800 of:
802 **login**
803  Attempt to log a user in.
805 **logout**
806  Log the user out - make them "anonymous".
808 **register**
809  Attempt to create a new user based on the contents of the form and then
810  log them in.
812 **edit**
813  Perform an edit of an item in the database. There are some `special form
814  variables`_ you may use.
816 **new**
817  Add a new item to the database. You may use the same `special form
818  variables`_ as in the "edit" action.
820 **retire**
821  Retire the item in the database.
823 **editCSV**
824  Performs an edit of all of a class' items in one go. See also the
825  *class*.csv templating method which generates the CSV data to be
826  edited, and the ``'_generic.index'`` template which uses both of these
827  features.
829 **search**
830  Mangle some of the form variables:
832  - Set the form ":filter" variable based on the values of the filter
833    variables - if they're set to anything other than "dontcare" then add
834    them to :filter.
836  - Also handle the ":queryname" variable and save off the query to the
837    user's query list.
839 Each of the actions is implemented by a corresponding ``*actionAction*``
840 (where "action" is the name of the action) method on the
841 ``roundup.cgi.Client`` class, which also happens to be available in your
842 tracker instance as ``interfaces.Client``. So if you need to define new
843 actions, you may add them there (see `defining new web actions`_).
845 Each action also has a corresponding ``*actionPermission*`` (where
846 "action" is the name of the action) method which determines whether the
847 action is permissible given the current user. The base permission checks
848 are:
850 **login**
851  Determine whether the user has permission to log in. Base behaviour is
852  to check the user has "Web Access".
853 **logout**
854  No permission checks are made.
855 **register**
856  Determine whether the user has permission to register. Base behaviour
857  is to check the user has the "Web Registration" Permission.
858 **edit**
859  Determine whether the user has permission to edit this item. Base
860  behaviour is to check whether the user can edit this class. If we're
861  editing the "user" class, users are allowed to edit their own details -
862  unless they try to edit the "roles" property, which requires the
863  special Permission "Web Roles".
864 **new**
865  Determine whether the user has permission to create (or edit) this
866  item. Base behaviour is to check the user can edit this class. No
867  additional property checks are made. Additionally, new user items may
868  be created if the user has the "Web Registration" Permission.
869 **editCSV**
870  Determine whether the user has permission to edit this class. Base
871  behaviour is to check whether the user may edit this class.
872 **search**
873  Determine whether the user has permission to search this class. Base
874  behaviour is to check whether the user may view this class.
877 Special form variables
878 ----------------------
880 Item properties and their values are edited with html FORM
881 variables and their values. You can:
883 - Change the value of some property of the current item.
884 - Create a new item of any class, and edit the new item's
885   properties,
886 - Attach newly created items to a multilink property of the
887   current item.
888 - Remove items from a multilink property of the current item.
889 - Specify that some properties are required for the edit
890   operation to be successful.
892 In the following, <bracketed> values are variable, "@" may be
893 either ":" or "@", and other text "required" is fixed.
895 Most properties are specified as form variables:
897 ``<propname>``
898   property on the current context item
900 ``<designator>"@"<propname>``
901   property on the indicated item (for editing related information)
903 Designators name a specific item of a class.
905 ``<classname><N>``
906     Name an existing item of class <classname>.
908 ``<classname>"-"<N>``
909     Name the <N>th new item of class <classname>. If the form
910     submission is successful, a new item of <classname> is
911     created. Within the submitted form, a particular
912     designator of this form always refers to the same new
913     item.
915 Once we have determined the "propname", we look at it to see
916 if it's special:
918 ``@required``
919     The associated form value is a comma-separated list of
920     property names that must be specified when the form is
921     submitted for the edit operation to succeed.  
923     When the <designator> is missing, the properties are
924     for the current context item.  When <designator> is
925     present, they are for the item specified by
926     <designator>.
928     The "@required" specifier must come before any of the
929     properties it refers to are assigned in the form.
931 ``@remove@<propname>=id(s)`` or ``@add@<propname>=id(s)``
932     The "@add@" and "@remove@" edit actions apply only to
933     Multilink properties.  The form value must be a
934     comma-separate list of keys for the class specified by
935     the simple form variable.  The listed items are added
936     to (respectively, removed from) the specified
937     property.
939 ``@link@<propname>=<designator>``
940     If the edit action is "@link@", the simple form
941     variable must specify a Link or Multilink property.
942     The form value is a comma-separated list of
943     designators.  The item corresponding to each
944     designator is linked to the property given by simple
945     form variable.
947 None of the above (ie. just a simple form value)
948     The value of the form variable is converted
949     appropriately, depending on the type of the property.
951     For a Link('klass') property, the form value is a
952     single key for 'klass', where the key field is
953     specified in dbinit.py.  
955     For a Multilink('klass') property, the form value is a
956     comma-separated list of keys for 'klass', where the
957     key field is specified in dbinit.py.  
959     Note that for simple-form-variables specifiying Link
960     and Multilink properties, the linked-to class must
961     have a key field.
963     For a String() property specifying a filename, the
964     file named by the form value is uploaded. This means we
965     try to set additional properties "filename" and "type" (if
966     they are valid for the class).  Otherwise, the property
967     is set to the form value.
969     For Date(), Interval(), Boolean(), and Number()
970     properties, the form value is converted to the
971     appropriate
973 Any of the form variables may be prefixed with a classname or
974 designator.
976 Two special form values are supported for backwards compatibility:
978 @note
979     This is equivalent to::
981         @link@messages=msg-1
982         @msg-1@content=value
984     except that in addition, the "author" and "date" properties of
985     "msg-1" are set to the userid of the submitter, and the current
986     time, respectively.
988 @file
989     This is equivalent to::
991         @link@files=file-1
992         @file-1@content=value
994     The String content value is handled as described above for file
995     uploads.
997 If both the "@note" and "@file" form variables are
998 specified, the action::
1000         @link@msg-1@files=file-1
1002 is also performed.
1004 We also check that FileClass items have a "content" property with
1005 actual content, otherwise we remove them from all_props before
1006 returning.
1010 Default templates
1011 -----------------
1013 Most customisation of the web view can be done by modifying the
1014 templates in the tracker ``'html'`` directory. There are several types
1015 of files in there. The *minimal* template includes:
1017 **page.html**
1018   This template usually defines the overall look of your tracker. When
1019   you view an issue, it appears inside this template. When you view an
1020   index, it also appears inside this template. This template defines a
1021   macro called "icing" which is used by almost all other templates as a
1022   coating for their content, using its "content" slot. It also defines
1023   the "head_title" and "body_title" slots to allow setting of the page
1024   title.
1025 **home.html**
1026   the default page displayed when no other page is indicated by the user
1027 **home.classlist.html**
1028   a special version of the default page that lists the classes in the
1029   tracker
1030 **classname.item.html**
1031   displays an item of the *classname* class
1032 **classname.index.html**
1033   displays a list of *classname* items
1034 **classname.search.html**
1035   displays a search page for *classname* items
1036 **_generic.index.html**
1037   used to display a list of items where there is no
1038   ``*classname*.index`` available
1039 **_generic.help.html**
1040   used to display a "class help" page where there is no
1041   ``*classname*.help``
1042 **user.register.html**
1043   a special page just for the user class, that renders the registration
1044   page
1045 **style.css.html**
1046   a static file that is served up as-is
1048 The *classic* template has a number of additional templates.
1050 Note: Remember that you can create any template extension you want to,
1051 so if you just want to play around with the templating for new issues,
1052 you can copy the current "issue.item" template to "issue.test", and then
1053 access the test template using the "@template" URL argument::
1055    http://your.tracker.example/tracker/issue?@template=test
1057 and it won't affect your users using the "issue.item" template.
1060 How the templates work
1061 ----------------------
1064 Basic Templating Actions
1065 ~~~~~~~~~~~~~~~~~~~~~~~~
1067 Roundup's templates consist of special attributes on the HTML tags.
1068 These attributes form the Template Attribute Language, or TAL. The basic
1069 TAL commands are:
1071 **tal:define="variable expression; variable expression; ..."**
1072    Define a new variable that is local to this tag and its contents. For
1073    example::
1075       <html tal:define="title request/description">
1076        <head><title tal:content="title"></title></head>
1077       </html>
1079    In this example, the variable "title" is defined as the result of the
1080    expression "request/description". The "tal:content" command inside the
1081    <html> tag may then use the "title" variable.
1083 **tal:condition="expression"**
1084    Only keep this tag and its contents if the expression is true. For
1085    example::
1087      <p tal:condition="python:request.user.hasPermission('View', 'issue')">
1088       Display some issue information.
1089      </p>
1091    In the example, the <p> tag and its contents are only displayed if
1092    the user has the "View" permission for issues. We consider the number
1093    zero, a blank string, an empty list, and the built-in variable
1094    nothing to be false values. Nearly every other value is true,
1095    including non-zero numbers, and strings with anything in them (even
1096    spaces!).
1098 **tal:repeat="variable expression"**
1099    Repeat this tag and its contents for each element of the sequence
1100    that the expression returns, defining a new local variable and a
1101    special "repeat" variable for each element. For example::
1103      <tr tal:repeat="u user/list">
1104       <td tal:content="u/id"></td>
1105       <td tal:content="u/username"></td>
1106       <td tal:content="u/realname"></td>
1107      </tr>
1109    The example would iterate over the sequence of users returned by
1110    "user/list" and define the local variable "u" for each entry.
1112 **tal:replace="expression"**
1113    Replace this tag with the result of the expression. For example::
1115     <span tal:replace="request/user/realname" />
1117    The example would replace the <span> tag and its contents with the
1118    user's realname. If the user's realname was "Bruce", then the
1119    resultant output would be "Bruce".
1121 **tal:content="expression"**
1122    Replace the contents of this tag with the result of the expression.
1123    For example::
1125     <span tal:content="request/user/realname">user's name appears here
1126     </span>
1128    The example would replace the contents of the <span> tag with the
1129    user's realname. If the user's realname was "Bruce" then the
1130    resultant output would be "<span>Bruce</span>".
1132 **tal:attributes="attribute expression; attribute expression; ..."**
1133    Set attributes on this tag to the results of expressions. For
1134    example::
1136      <a tal:attributes="href string:user${request/user/id}">My Details</a>
1138    In the example, the "href" attribute of the <a> tag is set to the
1139    value of the "string:user${request/user/id}" expression, which will
1140    be something like "user123".
1142 **tal:omit-tag="expression"**
1143    Remove this tag (but not its contents) if the expression is true. For
1144    example::
1146       <span tal:omit-tag="python:1">Hello, world!</span>
1148    would result in output of::
1150       Hello, world!
1152 Note that the commands on a given tag are evaulated in the order above,
1153 so *define* comes before *condition*, and so on.
1155 Additionally, you may include tags such as <tal:block>, which are
1156 removed from output. Its content is kept, but the tag itself is not (so
1157 don't go using any "tal:attributes" commands on it). This is useful for
1158 making arbitrary blocks of HTML conditional or repeatable (very handy
1159 for repeating multiple table rows, which would othewise require an
1160 illegal tag placement to effect the repeat).
1163 Templating Expressions
1164 ~~~~~~~~~~~~~~~~~~~~~~
1166 The expressions you may use in the attribute values may be one of the
1167 following forms:
1169 **Path Expressions** - eg. ``item/status/checklist``
1170    These are object attribute / item accesses. Roughly speaking, the
1171    path ``item/status/checklist`` is broken into parts ``item``,
1172    ``status`` and ``checklist``. The ``item`` part is the root of the
1173    expression. We then look for a ``status`` attribute on ``item``, or
1174    failing that, a ``status`` item (as in ``item['status']``). If that
1175    fails, the path expression fails. When we get to the end, the object
1176    we're left with is evaluated to get a string - if it is a method, it
1177    is called; if it is an object, it is stringified. Path expressions
1178    may have an optional ``path:`` prefix, but they are the default
1179    expression type, so it's not necessary.
1181    If an expression evaluates to ``default``, then the expression is
1182    "cancelled" - whatever HTML already exists in the template will
1183    remain (tag content in the case of ``tal:content``, attributes in the
1184    case of ``tal:attributes``).
1186    If an expression evaluates to ``nothing`` then the target of the
1187    expression is removed (tag content in the case of ``tal:content``,
1188    attributes in the case of ``tal:attributes`` and the tag itself in
1189    the case of ``tal:replace``).
1191    If an element in the path may not exist, then you can use the ``|``
1192    operator in the expression to provide an alternative. So, the
1193    expression ``request/form/foo/value | default`` would simply leave
1194    the current HTML in place if the "foo" form variable doesn't exist.
1196    You may use the python function ``path``, as in
1197    ``path("item/status")``, to embed path expressions in Python
1198    expressions.
1200 **String Expressions** - eg. ``string:hello ${user/name}`` 
1201    These expressions are simple string interpolations - though they can
1202    be just plain strings with no interpolation if you want. The
1203    expression in the ``${ ... }`` is just a path expression as above.
1205 **Python Expressions** - eg. ``python: 1+1`` 
1206    These expressions give the full power of Python. All the "root level"
1207    variables are available, so ``python:item.status.checklist()`` would
1208    be equivalent to ``item/status/checklist``, assuming that
1209    ``checklist`` is a method.
1211 Modifiers:
1213 **structure** - eg. ``structure python:msg.content.plain(hyperlink=1)``
1214    The result of expressions are normally *escaped* to be safe for HTML
1215    display (all "<", ">" and "&" are turned into special entities). The
1216    ``structure`` expression modifier turns off this escaping - the
1217    result of the expression is now assumed to be HTML, which is passed
1218    to the web browser for rendering.
1220 **not:** - eg. ``not:python:1=1``
1221    This simply inverts the logical true/false value of another
1222    expression.
1225 Template Macros
1226 ~~~~~~~~~~~~~~~
1228 Macros are used in Roundup to save us from repeating the same common
1229 page stuctures over and over. The most common (and probably only) macro
1230 you'll use is the "icing" macro defined in the "page" template.
1232 Macros are generated and used inside your templates using special
1233 attributes similar to the `basic templating actions`_. In this case,
1234 though, the attributes belong to the Macro Expansion Template Attribute
1235 Language, or METAL. The macro commands are:
1237 **metal:define-macro="macro name"**
1238   Define that the tag and its contents are now a macro that may be
1239   inserted into other templates using the *use-macro* command. For
1240   example::
1242     <html metal:define-macro="page">
1243      ...
1244     </html>
1246   defines a macro called "page" using the ``<html>`` tag and its
1247   contents. Once defined, macros are stored on the template they're
1248   defined on in the ``macros`` attribute. You can access them later on
1249   through the ``templates`` variable, eg. the most common
1250   ``templates/page/macros/icing`` to access the "page" macro of the
1251   "page" template.
1253 **metal:use-macro="path expression"**
1254   Use a macro, which is identified by the path expression (see above).
1255   This will replace the current tag with the identified macro contents.
1256   For example::
1258    <tal:block metal:use-macro="templates/page/macros/icing">
1259     ...
1260    </tal:block>
1262    will replace the tag and its contents with the "page" macro of the
1263    "page" template.
1265 **metal:define-slot="slot name"** and **metal:fill-slot="slot name"**
1266   To define *dynamic* parts of the macro, you define "slots" which may
1267   be filled when the macro is used with a *use-macro* command. For
1268   example, the ``templates/page/macros/icing`` macro defines a slot like
1269   so::
1271     <title metal:define-slot="head_title">title goes here</title>
1273   In your *use-macro* command, you may now use a *fill-slot* command
1274   like this::
1276     <title metal:fill-slot="head_title">My Title</title>
1278   where the tag that fills the slot completely replaces the one defined
1279   as the slot in the macro.
1281 Note that you may not mix METAL and TAL commands on the same tag, but
1282 TAL commands may be used freely inside METAL-using tags (so your
1283 *fill-slots* tags may have all manner of TAL inside them).
1286 Information available to templates
1287 ----------------------------------
1289 Note: this is implemented by
1290 ``roundup.cgi.templating.RoundupPageTemplate``
1292 The following variables are available to templates.
1294 **context**
1295   The current context. This is either None, a `hyperdb class wrapper`_
1296   or a `hyperdb item wrapper`_
1297 **request**
1298   Includes information about the current request, including:
1299    - the current index information (``filterspec``, ``filter`` args,
1300      ``properties``, etc) parsed out of the form. 
1301    - methods for easy filterspec link generation
1302    - *user*, the current user item as an HTMLItem instance
1303    - *form*
1304      The current CGI form information as a mapping of form argument name
1305      to value
1306 **config**
1307   This variable holds all the values defined in the tracker config.py
1308   file (eg. TRACKER_NAME, etc.)
1309 **db**
1310   The current database, used to access arbitrary database items.
1311 **templates**
1312   Access to all the tracker templates by name. Used mainly in
1313   *use-macro* commands.
1314 **utils**
1315   This variable makes available some utility functions like batching.
1316 **nothing**
1317   This is a special variable - if an expression evaluates to this, then
1318   the tag (in the case of a ``tal:replace``), its contents (in the case
1319   of ``tal:content``) or some attributes (in the case of
1320   ``tal:attributes``) will not appear in the the output. So, for
1321   example::
1323     <span tal:attributes="class nothing">Hello, World!</span>
1325   would result in::
1327     <span>Hello, World!</span>
1329 **default**
1330   Also a special variable - if an expression evaluates to this, then the
1331   existing HTML in the template will not be replaced or removed, it will
1332   remain. So::
1334     <span tal:replace="default">Hello, World!</span>
1336   would result in::
1338     <span>Hello, World!</span>
1341 The context variable
1342 ~~~~~~~~~~~~~~~~~~~~
1344 The *context* variable is one of three things based on the current
1345 context (see `determining web context`_ for how we figure this out):
1347 1. if we're looking at a "home" page, then it's None
1348 2. if we're looking at a specific hyperdb class, it's a
1349    `hyperdb class wrapper`_.
1350 3. if we're looking at a specific hyperdb item, it's a
1351    `hyperdb item wrapper`_.
1353 If the context is not None, we can access the properties of the class or
1354 item. The only real difference between cases 2 and 3 above are:
1356 1. the properties may have a real value behind them, and this will
1357    appear if the property is displayed through ``context/property`` or
1358    ``context/property/field``.
1359 2. the context's "id" property will be a false value in the second case,
1360    but a real, or true value in the third. Thus we can determine whether
1361    we're looking at a real item from the hyperdb by testing
1362    "context/id".
1364 Hyperdb class wrapper
1365 :::::::::::::::::::::
1367 Note: this is implemented by the ``roundup.cgi.templating.HTMLClass``
1368 class.
1370 This wrapper object provides access to a hyperb class. It is used
1371 primarily in both index view and new item views, but it's also usable
1372 anywhere else that you wish to access information about a class, or the
1373 items of a class, when you don't have a specific item of that class in
1374 mind.
1376 We allow access to properties. There will be no "id" property. The value
1377 accessed through the property will be the current value of the same name
1378 from the CGI form.
1380 There are several methods available on these wrapper objects:
1382 =========== =============================================================
1383 Method      Description
1384 =========== =============================================================
1385 properties  return a `hyperdb property wrapper`_ for all of this class's
1386             properties.
1387 list        lists all of the active (not retired) items in the class.
1388 csv         return the items of this class as a chunk of CSV text.
1389 propnames   lists the names of the properties of this class.
1390 filter      lists of items from this class, filtered and sorted by the
1391             current *request* filterspec/filter/sort/group args
1392 classhelp   display a link to a javascript popup containing this class'
1393             "help" template.
1394 submit      generate a submit button (and action hidden element)
1395 renderWith  render this class with the given template.
1396 history     returns 'New node - no history' :)
1397 is_edit_ok  is the user allowed to Edit the current class?
1398 is_view_ok  is the user allowed to View the current class?
1399 =========== =============================================================
1401 Note that if you have a property of the same name as one of the above
1402 methods, you'll need to access it using a python "item access"
1403 expression. For example::
1405    python:context['list']
1407 will access the "list" property, rather than the list method.
1410 Hyperdb item wrapper
1411 ::::::::::::::::::::
1413 Note: this is implemented by the ``roundup.cgi.templating.HTMLItem``
1414 class.
1416 This wrapper object provides access to a hyperb item.
1418 We allow access to properties. There will be no "id" property. The value
1419 accessed through the property will be the current value of the same name
1420 from the CGI form.
1422 There are several methods available on these wrapper objects:
1424 =============== ========================================================
1425 Method          Description
1426 =============== ========================================================
1427 submit          generate a submit button (and action hidden element)
1428 journal         return the journal of the current item (**not
1429                 implemented**)
1430 history         render the journal of the current item as HTML
1431 renderQueryForm specific to the "query" class - render the search form
1432                 for the query
1433 hasPermission   specific to the "user" class - determine whether the
1434                 user has a Permission
1435 is_edit_ok      is the user allowed to Edit the current item?
1436 is_view_ok      is the user allowed to View the current item?
1437 =============== ========================================================
1439 Note that if you have a property of the same name as one of the above
1440 methods, you'll need to access it using a python "item access"
1441 expression. For example::
1443    python:context['journal']
1445 will access the "journal" property, rather than the journal method.
1448 Hyperdb property wrapper
1449 ::::::::::::::::::::::::
1451 Note: this is implemented by subclasses of the
1452 ``roundup.cgi.templating.HTMLProperty`` class (``HTMLStringProperty``,
1453 ``HTMLNumberProperty``, and so on).
1455 This wrapper object provides access to a single property of a class. Its
1456 value may be either:
1458 1. if accessed through a `hyperdb item wrapper`_, then it's a value from
1459    the hyperdb
1460 2. if access through a `hyperdb class wrapper`_, then it's a value from
1461    the CGI form
1464 The property wrapper has some useful attributes:
1466 =============== ========================================================
1467 Attribute       Description
1468 =============== ========================================================
1469 _name           the name of the property
1470 _value          the value of the property if any - this is the actual
1471                 value retrieved from the hyperdb for this property
1472 =============== ========================================================
1474 There are several methods available on these wrapper objects:
1476 ========= ================================================================
1477 Method    Description
1478 ========= ================================================================
1479 plain     render a "plain" representation of the property. This method
1480           may take two arguments:
1482           escape
1483            If true, escape the text so it is HTML safe (default: no). The
1484            reason this defaults to off is that text is usually escaped
1485            at a later stage by the TAL commands, unless the "structure"
1486            option is used in the template. The following ``tal:content``
1487            expressions are all equivalent::
1489             "structure python:msg.content.plain(escape=1)"
1490             "python:msg.content.plain()"
1491             "msg/content/plain"
1492             "msg/content"
1494            Usually you'll only want to use the escape option in a
1495            complex expression.
1497           hyperlink
1498            If true, turn URLs, email addresses and hyperdb item
1499            designators in the text into hyperlinks (default: no). Note
1500            that you'll need to use the "structure" TAL option if you
1501            want to use this ``tal:content`` expression::
1503             "structure python:msg.content.plain(hyperlink=1)"
1505            Note also that the text is automatically HTML-escaped before
1506            the hyperlinking transformation.
1508 field     render an appropriate form edit field for the property - for
1509           most types this is a text entry box, but for Booleans it's a
1510           tri-state yes/no/neither selection.
1511 stext     only on String properties - render the value of the property
1512           as StructuredText (requires the StructureText module to be
1513           installed separately)
1514 multiline only on String properties - render a multiline form edit
1515           field for the property
1516 email     only on String properties - render the value of the property
1517           as an obscured email address
1518 confirm   only on Password properties - render a second form edit field
1519           for the property, used for confirmation that the user typed
1520           the password correctly. Generates a field with name
1521           "name:confirm".
1522 now       only on Date properties - return the current date as a new
1523           property
1524 reldate   only on Date properties - render the interval between the date
1525           and now
1526 local     only on Date properties - return this date as a new property
1527           with some timezone offset
1528 pretty    only on Interval properties - render the interval in a pretty
1529           format (eg. "yesterday")
1530 menu      only on Link and Multilink properties - render a form select
1531           list for this property
1532 reverse   only on Multilink properties - produce a list of the linked
1533           items in reverse order
1534 ========= ================================================================
1537 The request variable
1538 ~~~~~~~~~~~~~~~~~~~~
1540 Note: this is implemented by the ``roundup.cgi.templating.HTMLRequest``
1541 class.
1543 The request variable is packed with information about the current
1544 request.
1546 .. taken from ``roundup.cgi.templating.HTMLRequest`` docstring
1548 =========== ============================================================
1549 Variable    Holds
1550 =========== ============================================================
1551 form        the CGI form as a cgi.FieldStorage
1552 env         the CGI environment variables
1553 base        the base URL for this tracker
1554 user        a HTMLUser instance for this user
1555 classname   the current classname (possibly None)
1556 template    the current template (suffix, also possibly None)
1557 form        the current CGI form variables in a FieldStorage
1558 =========== ============================================================
1560 **Index page specific variables (indexing arguments)**
1562 =========== ============================================================
1563 Variable    Holds
1564 =========== ============================================================
1565 columns     dictionary of the columns to display in an index page
1566 show        a convenience access to columns - request/show/colname will
1567             be true if the columns should be displayed, false otherwise
1568 sort        index sort column (direction, column name)
1569 group       index grouping property (direction, column name)
1570 filter      properties to filter the index on
1571 filterspec  values to filter the index on
1572 search_text text to perform a full-text search on for an index
1573 =========== ============================================================
1575 There are several methods available on the request variable:
1577 =============== ========================================================
1578 Method          Description
1579 =============== ========================================================
1580 description     render a description of the request - handle for the
1581                 page title
1582 indexargs_form  render the current index args as form elements
1583 indexargs_url   render the current index args as a URL
1584 base_javascript render some javascript that is used by other components
1585                 of the templating
1586 batch           run the current index args through a filter and return a
1587                 list of items (see `hyperdb item wrapper`_, and
1588                 `batching`_)
1589 =============== ========================================================
1591 The form variable
1592 :::::::::::::::::
1594 The form variable is a bit special because it's actually a python
1595 FieldStorage object. That means that you have two ways to access its
1596 contents. For example, to look up the CGI form value for the variable
1597 "name", use the path expression::
1599    request/form/name/value
1601 or the python expression::
1603    python:request.form['name'].value
1605 Note the "item" access used in the python case, and also note the
1606 explicit "value" attribute we have to access. That's because the form
1607 variables are stored as MiniFieldStorages. If there's more than one
1608 "name" value in the form, then the above will break since
1609 ``request/form/name`` is actually a *list* of MiniFieldStorages. So it's
1610 best to know beforehand what you're dealing with.
1613 The db variable
1614 ~~~~~~~~~~~~~~~
1616 Note: this is implemented by the ``roundup.cgi.templating.HTMLDatabase``
1617 class.
1619 Allows access to all hyperdb classes as attributes of this variable. If
1620 you want access to the "user" class, for example, you would use::
1622   db/user
1623   python:db.user
1625 The access results in a `hyperdb class wrapper`_.
1628 The templates variable
1629 ~~~~~~~~~~~~~~~~~~~~~~
1631 Note: this is implemented by the ``roundup.cgi.templating.Templates``
1632 class.
1634 This variable doesn't have any useful methods defined. It supports being
1635 used in expressions to access the templates, and consequently the
1636 template macros. You may access the templates using the following path
1637 expression::
1639    templates/name
1641 or the python expression::
1643    templates[name]
1645 where "name" is the name of the template you wish to access. The
1646 template has one useful attribute, namely "macros". To access a specific
1647 macro (called "macro_name"), use the path expression::
1649    templates/name/macros/macro_name
1651 or the python expression::
1653    templates[name].macros[macro_name]
1656 The utils variable
1657 ~~~~~~~~~~~~~~~~~~
1659 Note: this is implemented by the
1660 ``roundup.cgi.templating.TemplatingUtils`` class, but it may be extended
1661 as described below.
1663 =============== ========================================================
1664 Method          Description
1665 =============== ========================================================
1666 Batch           return a batch object using the supplied list
1667 =============== ========================================================
1669 You may add additional utility methods by writing them in your tracker
1670 ``interfaces.py`` module's ``TemplatingUtils`` class. See `adding a time
1671 log to your issues`_ for an example. The TemplatingUtils class itself
1672 will have a single attribute, ``client``, which may be used to access
1673 the ``client.db`` when you need to perform arbitrary database queries.
1675 Batching
1676 ::::::::
1678 Use Batch to turn a list of items, or item ids of a given class, into a
1679 series of batches. Its usage is::
1681     python:utils.Batch(sequence, size, start, end=0, orphan=0,
1682     overlap=0)
1684 or, to get the current index batch::
1686     request/batch
1688 The parameters are:
1690 ========= ==============================================================
1691 Parameter  Usage
1692 ========= ==============================================================
1693 sequence  a list of HTMLItems
1694 size      how big to make the sequence.
1695 start     where to start (0-indexed) in the sequence.
1696 end       where to end (0-indexed) in the sequence.
1697 orphan    if the next batch would contain less items than this value,
1698           then it is combined with this batch
1699 overlap   the number of items shared between adjacent batches
1700 ========= ==============================================================
1702 All of the parameters are assigned as attributes on the batch object. In
1703 addition, it has several more attributes:
1705 =============== ========================================================
1706 Attribute       Description
1707 =============== ========================================================
1708 start           indicates the start index of the batch. *Note: unlike
1709                 the argument, is a 1-based index (I know, lame)*
1710 first           indicates the start index of the batch *as a 0-based
1711                 index*
1712 length          the actual number of elements in the batch
1713 sequence_length the length of the original, unbatched, sequence.
1714 =============== ========================================================
1716 And several methods:
1718 =============== ========================================================
1719 Method          Description
1720 =============== ========================================================
1721 previous        returns a new Batch with the previous batch settings
1722 next            returns a new Batch with the next batch settings
1723 propchanged     detect if the named property changed on the current item
1724                 when compared to the last item
1725 =============== ========================================================
1727 An example of batching::
1729  <table class="otherinfo">
1730   <tr><th colspan="4" class="header">Existing Keywords</th></tr>
1731   <tr tal:define="keywords db/keyword/list"
1732       tal:repeat="start python:range(0, len(keywords), 4)">
1733    <td tal:define="batch python:utils.Batch(keywords, 4, start)"
1734        tal:repeat="keyword batch" tal:content="keyword/name">
1735        keyword here</td>
1736   </tr>
1737  </table>
1739 ... which will produce a table with four columns containing the items of
1740 the "keyword" class (well, their "name" anyway).
1742 Displaying Properties
1743 ---------------------
1745 Properties appear in the user interface in three contexts: in indices,
1746 in editors, and as search arguments. For each type of property, there
1747 are several display possibilities. For example, in an index view, a
1748 string property may just be printed as a plain string, but in an editor
1749 view, that property may be displayed in an editable field.
1752 Index Views
1753 -----------
1755 This is one of the class context views. It is also the default view for
1756 classes. The template used is "*classname*.index".
1759 Index View Specifiers
1760 ~~~~~~~~~~~~~~~~~~~~~
1762 An index view specifier (URL fragment) looks like this (whitespace has
1763 been added for clarity)::
1765      /issue?status=unread,in-progress,resolved&
1766             topic=security,ui&
1767             :group=+priority&
1768             :sort==activity&
1769             :filters=status,topic&
1770             :columns=title,status,fixer
1772 The index view is determined by two parts of the specifier: the layout
1773 part and the filter part. The layout part consists of the query
1774 parameters that begin with colons, and it determines the way that the
1775 properties of selected items are displayed. The filter part consists of
1776 all the other query parameters, and it determines the criteria by which
1777 items are selected for display. The filter part is interactively
1778 manipulated with the form widgets displayed in the filter section. The
1779 layout part is interactively manipulated by clicking on the column
1780 headings in the table.
1782 The filter part selects the union of the sets of items with values
1783 matching any specified Link properties and the intersection of the sets
1784 of items with values matching any specified Multilink properties.
1786 The example specifies an index of "issue" items. Only items with a
1787 "status" of either "unread" or "in-progress" or "resolved" are
1788 displayed, and only items with "topic" values including both "security"
1789 and "ui" are displayed. The items are grouped by priority, arranged in
1790 ascending order; and within groups, sorted by activity, arranged in
1791 descending order. The filter section shows filters for the "status" and
1792 "topic" properties, and the table includes columns for the "title",
1793 "status", and "fixer" properties.
1795 Searching Views
1796 ---------------
1798 Note: if you add a new column to the ``:columns`` form variable
1799       potentials then you will need to add the column to the appropriate
1800       `index views`_ template so that it is actually displayed.
1802 This is one of the class context views. The template used is typically
1803 "*classname*.search". The form on this page should have "search" as its
1804 ``@action`` variable. The "search" action:
1806 - sets up additional filtering, as well as performing indexed text
1807   searching
1808 - sets the ``:filter`` variable correctly
1809 - saves the query off if ``:query_name`` is set.
1811 The search page should lay out any fields that you wish to allow the
1812 user to search on. If your schema contains a large number of properties,
1813 you should be wary of making all of those properties available for
1814 searching, as this can cause confusion. If the additional properties are
1815 Strings, consider having their value indexed, and then they will be
1816 searchable using the full text indexed search. This is both faster, and
1817 more useful for the end user.
1819 The two special form values on search pages which are handled by the
1820 "search" action are:
1822 :search_text
1823   Text with which to perform a search of the text index. Results from
1824   that search will be used to limit the results of other filters (using
1825   an intersection operation)
1826 :query_name
1827   If supplied, the search parameters (including :search_text) will be
1828   saved off as a the query item and registered against the user's
1829   queries property. Note that the *classic* template schema has this
1830   ability, but the *minimal* template schema does not.
1833 Item Views
1834 ----------
1836 The basic view of a hyperdb item is provided by the "*classname*.item"
1837 template. It generally has three sections; an "editor", a "spool" and a
1838 "history" section.
1841 Editor Section
1842 ~~~~~~~~~~~~~~
1844 The editor section is used to manipulate the item - it may be a static
1845 display if the user doesn't have permission to edit the item.
1847 Here's an example of a basic editor template (this is the default
1848 "classic" template issue item edit form - from the "issue.item.html"
1849 template)::
1851  <table class="form">
1852  <tr>
1853   <th nowrap>Title</th>
1854   <td colspan="3" tal:content="structure python:context.title.field(size=60)">title</td>
1855  </tr>
1856  
1857  <tr>
1858   <th nowrap>Priority</th>
1859   <td tal:content="structure context/priority/menu">priority</td>
1860   <th nowrap>Status</th>
1861   <td tal:content="structure context/status/menu">status</td>
1862  </tr>
1863  
1864  <tr>
1865   <th nowrap>Superseder</th>
1866   <td>
1867    <span tal:replace="structure python:context.superseder.field(showid=1, size=20)" />
1868    <span tal:replace="structure python:db.issue.classhelp('id,title')" />
1869    <span tal:condition="context/superseder">
1870     <br>View: <span tal:replace="structure python:context.superseder.link(showid=1)" />
1871    </span>
1872   </td>
1873   <th nowrap>Nosy List</th>
1874   <td>
1875    <span tal:replace="structure context/nosy/field" />
1876    <span tal:replace="structure python:db.user.classhelp('username,realname,address,phone')" />
1877   </td>
1878  </tr>
1879  
1880  <tr>
1881   <th nowrap>Assigned To</th>
1882   <td tal:content="structure context/assignedto/menu">
1883    assignedto menu
1884   </td>
1885   <td>&nbsp;</td>
1886   <td>&nbsp;</td>
1887  </tr>
1888  
1889  <tr>
1890   <th nowrap>Change Note</th>
1891   <td colspan="3">
1892    <textarea name=":note" wrap="hard" rows="5" cols="60"></textarea>
1893   </td>
1894  </tr>
1895  
1896  <tr>
1897   <th nowrap>File</th>
1898   <td colspan="3"><input type="file" name=":file" size="40"></td>
1899  </tr>
1900  
1901  <tr>
1902   <td>&nbsp;</td>
1903   <td colspan="3" tal:content="structure context/submit">
1904    submit button will go here
1905   </td>
1906  </tr>
1907  </table>
1910 When a change is submitted, the system automatically generates a message
1911 describing the changed properties. As shown in the example, the editor
1912 template can use the ":note" and ":file" fields, which are added to the
1913 standard changenote message generated by Roundup.
1916 Form values
1917 :::::::::::
1919 We have a number of ways to pull properties out of the form in order to
1920 meet the various needs of:
1922 1. editing the current item (perhaps an issue item)
1923 2. editing information related to the current item (eg. messages or
1924    attached files)
1925 3. creating new information to be linked to the current item (eg. time
1926    spent on an issue)
1928 In the following, ``<bracketed>`` values are variable, ":" may be one of
1929 ":" or "@", and other text ("required") is fixed.
1931 Properties are specified as form variables:
1933 ``<propname>``
1934   property on the current context item
1936 ``<designator>:<propname>``
1937   property on the indicated item (for editing related information)
1939 ``<classname>-<N>:<propname>``
1940   property on the Nth new item of classname (generally for creating new
1941   items to attach to the current item)
1943 Once we have determined the "propname", we check to see if it is one of
1944 the special form values:
1946 ``@required``
1947   The named property values must be supplied or a ValueError will be
1948   raised.
1950 ``@remove@<propname>=id(s)``
1951   The ids will be removed from the multilink property.
1953 ``:add:<propname>=id(s)``
1954   The ids will be added to the multilink property.
1956 ``:link:<propname>=<designator>``
1957   Used to add a link to new items created during edit. These are
1958   collected and returned in ``all_links``. This will result in an
1959   additional linking operation (either Link set or Multilink append)
1960   after the edit/create is done using ``all_props`` in ``_editnodes``.
1961   The <propname> on the current item will be set/appended the id of the
1962   newly created item of class <designator> (where <designator> must be
1963   <classname>-<N>).
1965 Any of the form variables may be prefixed with a classname or
1966 designator.
1968 Two special form values are supported for backwards compatibility:
1970 ``:note``
1971   create a message (with content, author and date), linked to the
1972   context item. This is ALWAYS designated "msg-1".
1973 ``:file``
1974   create a file, attached to the current item and any message created by
1975   :note. This is ALWAYS designated "file-1".
1978 Spool Section
1979 ~~~~~~~~~~~~~
1981 The spool section lists related information like the messages and files
1982 of an issue.
1984 TODO
1987 History Section
1988 ~~~~~~~~~~~~~~~
1990 The final section displayed is the history of the item - its database
1991 journal. This is generally generated with the template::
1993  <tal:block tal:replace="structure context/history" />
1995 *To be done:*
1997 *The actual history entries of the item may be accessed for manual
1998 templating through the "journal" method of the item*::
2000  <tal:block tal:repeat="entry context/journal">
2001   a journal entry
2002  </tal:block>
2004 *where each journal entry is an HTMLJournalEntry.*
2006 Defining new web actions
2007 ------------------------
2009 You may define new actions to be triggered by the ``@action`` form
2010 variable. These are added to the tracker ``interfaces.py`` as methods on
2011 the ``Client`` class. 
2013 Adding action methods takes three steps; first you `define the new
2014 action method`_, then you `register the action method`_ with the cgi
2015 interface so it may be triggered by the ``@action`` form variable.
2016 Finally you `use the new action`_ in your HTML form.
2018 See "`setting up a "wizard" (or "druid") for controlled adding of
2019 issues`_" for an example.
2022 Define the new action method
2023 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
2025 The action methods have the following interface::
2027     def myActionMethod(self):
2028         ''' Perform some action. No return value is required.
2029         '''
2031 The *self* argument is an instance of your tracker ``instance.Client``
2032 class - thus it's mostly implemented by ``roundup.cgi.Client``. See the
2033 docstring of that class for details of what it can do.
2035 The method will typically check the ``self.form`` variable's contents.
2036 It may then:
2038 - add information to ``self.ok_message`` or ``self.error_message``
2039 - change the ``self.template`` variable to alter what the user will see
2040   next
2041 - raise Unauthorised, SendStaticFile, SendFile, NotFound or Redirect
2042   exceptions
2045 Register the action method
2046 ~~~~~~~~~~~~~~~~~~~~~~~~~~
2048 The method is now written, but isn't available to the user until you add
2049 it to the `instance.Client`` class ``actions`` variable, like so::
2051     actions = client.Class.actions + (
2052         ('myaction', 'myActionMethod'),
2053     )
2055 This maps the action name "myaction" to the action method we defined.
2058 Use the new action
2059 ~~~~~~~~~~~~~~~~~~
2061 In your HTML form, add a hidden form element like so::
2063   <input type="hidden" name="@action" value="myaction">
2065 where "myaction" is the name you registered in the previous step.
2068 Examples
2069 ========
2071 .. contents::
2072    :local:
2073    :depth: 1
2076 Adding a new field to the classic schema
2077 ----------------------------------------
2079 This example shows how to add a new constrained property (i.e. a
2080 selection of distinct values) to your tracker.
2083 Introduction
2084 ~~~~~~~~~~~~
2086 To make the classic schema of roundup useful as a TODO tracking system
2087 for a group of systems administrators, it needed an extra data field per
2088 issue: a category.
2090 This would let sysadmins quickly list all TODOs in their particular area
2091 of interest without having to do complex queries, and without relying on
2092 the spelling capabilities of other sysadmins (a losing proposition at
2093 best).
2096 Adding a field to the database
2097 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
2099 This is the easiest part of the change. The category would just be a
2100 plain string, nothing fancy. To change what is in the database you need
2101 to add some lines to the ``open()`` function in ``dbinit.py``. Under the
2102 comment::
2104     # add any additional database schema configuration here
2106 add::
2108     category = Class(db, "category", name=String())
2109     category.setkey("name")
2111 Here we are setting up a chunk of the database which we are calling
2112 "category". It contains a string, which we are refering to as "name" for
2113 lack of a more imaginative title. (Since "name" is one of the properties
2114 that Roundup looks for on items if you do not set a key for them, it's
2115 probably a good idea to stick with it for new classes if at all
2116 appropriate.) Then we are setting the key of this chunk of the database
2117 to be that "name". This is equivalent to an index for database types.
2118 This also means that there can only be one category with a given name.
2120 Adding the above lines allows us to create categories, but they're not
2121 tied to the issues that we are going to be creating. It's just a list of
2122 categories off on its own, which isn't much use. We need to link it in
2123 with the issues. To do that, find the lines in the ``open()`` function
2124 in ``dbinit.py`` which set up the "issue" class, and then add a link to
2125 the category::
2127     issue = IssueClass(db, "issue", ... ,
2128         category=Multilink("category"), ... )
2130 The ``Multilink()`` means that each issue can have many categories. If
2131 you were adding something with a one-to-one relationship to issues (such
2132 as the "assignedto" property), use ``Link()`` instead.
2134 That is all you need to do to change the schema. The rest of the effort
2135 is fiddling around so you can actually use the new category.
2138 Populating the new category class
2139 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
2141 If you haven't initialised the database with the roundup-admin
2142 "initialise" command, then you can add the following to the tracker
2143 ``dbinit.py`` in the ``init()`` function under the comment::
2145     # add any additional database create steps here - but only if you
2146     # haven't initialised the database with the admin "initialise" command
2148 Add::
2150      category = db.getclass('category')
2151      category.create(name="scipy", order="1")
2152      category.create(name="chaco", order="2")
2153      category.create(name="weave", order="3")
2155 If the database has already been initalised, then you need to use the
2156 ``roundup-admin`` tool::
2158      % roundup-admin -i <tracker home>
2159      Roundup <version> ready for input.
2160      Type "help" for help.
2161      roundup> create category name=scipy order=1
2162      1
2163      roundup> create category name=chaco order=1
2164      2
2165      roundup> create category name=weave order=1
2166      3
2167      roundup> exit...
2168      There are unsaved changes. Commit them (y/N)? y
2170 TODO: explain why order=1 in each case. Also, does key get set to "name"
2171 automatically when added via roundup-admin?
2174 Setting up security on the new objects
2175 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
2177 By default only the admin user can look at and change objects. This
2178 doesn't suit us, as we want any user to be able to create new categories
2179 as required, and obviously everyone needs to be able to view the
2180 categories of issues for it to be useful.
2182 We therefore need to change the security of the category objects. This
2183 is also done in the ``open()`` function of ``dbinit.py``.
2185 There are currently two loops which set up permissions and then assign
2186 them to various roles. Simply add the new "category" to both lists::
2188     # new permissions for this schema
2189     for cl in 'issue', 'file', 'msg', 'user', 'category':
2190         db.security.addPermission(name="Edit", klass=cl,
2191             description="User is allowed to edit "+cl)
2192         db.security.addPermission(name="View", klass=cl,
2193             description="User is allowed to access "+cl)
2195     # Assign the access and edit permissions for issue, file and message
2196     # to regular users now
2197     for cl in 'issue', 'file', 'msg', 'category':
2198         p = db.security.getPermission('View', cl)
2199         db.security.addPermissionToRole('User', p)
2200         p = db.security.getPermission('Edit', cl)
2201         db.security.addPermissionToRole('User', p)
2203 So you are in effect doing the following (with 'cl' substituted by its
2204 value)::
2206     db.security.addPermission(name="Edit", klass='category',
2207         description="User is allowed to edit "+'category')
2208     db.security.addPermission(name="View", klass='category',
2209         description="User is allowed to access "+'category')
2211 which is creating two permission types; that of editing and viewing
2212 "category" objects respectively. Then the following lines assign those
2213 new permissions to the "User" role, so that normal users can view and
2214 edit "category" objects::
2216     p = db.security.getPermission('View', 'category')
2217     db.security.addPermissionToRole('User', p)
2219     p = db.security.getPermission('Edit', 'category')
2220     db.security.addPermissionToRole('User', p)
2222 This is all the work that needs to be done for the database. It will
2223 store categories, and let users view and edit them. Now on to the
2224 interface stuff.
2227 Changing the web left hand frame
2228 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
2230 We need to give the users the ability to create new categories, and the
2231 place to put the link to this functionality is in the left hand function
2232 bar, under the "Issues" area. The file that defines how this area looks
2233 is ``html/page``, which is what we are going to be editing next.
2235 If you look at this file you can see that it contains a lot of
2236 "classblock" sections which are chunks of HTML that will be included or
2237 excluded in the output depending on whether the condition in the
2238 classblock is met. Under the end of the classblock for issue is where we
2239 are going to add the category code::
2241   <p class="classblock"
2242      tal:condition="python:request.user.hasPermission('View', 'category')">
2243    <b>Categories</b><br>
2244    <a tal:condition="python:request.user.hasPermission('Edit', 'category')"
2245       href="category?@template=item">New Category<br></a>
2246   </p>
2248 The first two lines is the classblock definition, which sets up a
2249 condition that only users who have "View" permission for the "category"
2250 object will have this section included in their output. Next comes a
2251 plain "Categories" header in bold. Everyone who can view categories will
2252 get that.
2254 Next comes the link to the editing area of categories. This link will
2255 only appear if the condition - that the user has "Edit" permissions for
2256 the "category" objects - is matched. If they do have permission then
2257 they will get a link to another page which will let the user add new
2258 categories.
2260 Note that if you have permission to *view* but not to *edit* categories,
2261 then all you will see is a "Categories" header with nothing underneath
2262 it. This is obviously not very good interface design, but will do for
2263 now. I just claim that it is so I can add more links in this section
2264 later on. However to fix the problem you could change the condition in
2265 the classblock statement, so that only users with "Edit" permission
2266 would see the "Categories" stuff.
2269 Setting up a page to edit categories
2270 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
2272 We defined code in the previous section which let users with the
2273 appropriate permissions see a link to a page which would let them edit
2274 conditions. Now we have to write that page.
2276 The link was for the *item* template of the *category* object. This
2277 translates into Roundup looking for a file called ``category.item.html``
2278 in the ``html`` tracker directory. This is the file that we are going to
2279 write now.
2281 First we add an info tag in a comment which doesn't affect the outcome
2282 of the code at all, but is useful for debugging. If you load a page in a
2283 browser and look at the page source, you can see which sections come
2284 from which files by looking for these comments::
2286     <!-- category.item -->
2288 Next we need to add in the METAL macro stuff so we get the normal page
2289 trappings::
2291  <tal:block metal:use-macro="templates/page/macros/icing">
2292   <title metal:fill-slot="head_title">Category editing</title>
2293   <td class="page-header-top" metal:fill-slot="body_title">
2294    <h2>Category editing</h2>
2295   </td>
2296   <td class="content" metal:fill-slot="content">
2298 Next we need to setup up a standard HTML form, which is the whole
2299 purpose of this file. We link to some handy javascript which sends the
2300 form through only once. This is to stop users hitting the send button
2301 multiple times when they are impatient and thus having the form sent
2302 multiple times::
2304     <form method="POST" onSubmit="return submit_once()"
2305           enctype="multipart/form-data">
2307 Next we define some code which sets up the minimum list of fields that
2308 we require the user to enter. There will be only one field - "name" - so
2309 they better put something in it, otherwise the whole form is pointless::
2311     <input type="hidden" name="@required" value="name">
2313 To get everything to line up properly we will put everything in a table,
2314 and put a nice big header on it so the user has an idea what is
2315 happening::
2317     <table class="form">
2318      <tr><th class="header" colspan="2">Category</th></tr>
2320 Next, we need the field into which the user is going to enter the new
2321 category. The "context.name.field(size=60)" bit tells Roundup to
2322 generate a normal HTML field of size 60, and the contents of that field
2323 will be the "name" variable of the current context (which is
2324 "category"). The upshot of this is that when the user types something in
2325 to the form, a new category will be created with that name::
2327     <tr>
2328      <th nowrap>Name</th>
2329      <td tal:content="structure python:context.name.field(size=60)">
2330      name</td>
2331     </tr>
2333 Then a submit button so that the user can submit the new category::
2335     <tr>
2336      <td>&nbsp;</td>
2337      <td colspan="3" tal:content="structure context/submit">
2338       submit button will go here
2339      </td>
2340     </tr>
2342 Finally we finish off the tags we used at the start to do the METAL
2343 stuff::
2345   </td>
2346  </tal:block>
2348 So putting it all together, and closing the table and form we get::
2350  <!-- category.item -->
2351  <tal:block metal:use-macro="templates/page/macros/icing">
2352   <title metal:fill-slot="head_title">Category editing</title>
2353   <td class="page-header-top" metal:fill-slot="body_title">
2354    <h2>Category editing</h2>
2355   </td>
2356   <td class="content" metal:fill-slot="content">
2357    <form method="POST" onSubmit="return submit_once()"
2358          enctype="multipart/form-data">
2360     <input type="hidden" name="@required" value="name">
2362     <table class="form">
2363      <tr><th class="header" colspan="2">Category</th></tr>
2365      <tr>
2366       <th nowrap>Name</th>
2367       <td tal:content="structure python:context.name.field(size=60)">
2368       name</td>
2369      </tr>
2371      <tr>
2372       <td>&nbsp;</td>
2373       <td colspan="3" tal:content="structure context/submit">
2374        submit button will go here
2375       </td>
2376      </tr>
2377     </table>
2378    </form>
2379   </td>
2380  </tal:block>
2382 This is quite a lot to just ask the user one simple question, but there
2383 is a lot of setup for basically one line (the form line) to do its work.
2384 To add another field to "category" would involve one more line (well,
2385 maybe a few extra to get the formatting correct).
2388 Adding the category to the issue
2389 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
2391 We now have the ability to create issues to our heart's content, but
2392 that is pointless unless we can assign categories to issues.  Just like
2393 the ``html/category.item.html`` file was used to define how to add a new
2394 category, the ``html/issue.item.html`` is used to define how a new issue
2395 is created.
2397 Just like ``category.issue.html`` this file defines a form which has a
2398 table to lay things out. It doesn't matter where in the table we add new
2399 stuff, it is entirely up to your sense of aesthetics::
2401    <th nowrap>Category</th>
2402    <td><span tal:replace="structure context/category/field" />
2403        <span tal:replace="structure db/category/classhelp" />
2404    </td>
2406 First, we define a nice header so that the user knows what the next
2407 section is, then the middle line does what we are most interested in.
2408 This ``context/category/field`` gets replaced by a field which contains
2409 the category in the current context (the current context being the new
2410 issue).
2412 The classhelp lines generate a link (labelled "list") to a popup window
2413 which contains the list of currently known categories.
2416 Searching on categories
2417 ~~~~~~~~~~~~~~~~~~~~~~~
2419 We can add categories, and create issues with categories. The next
2420 obvious thing that we would like to be able to do, would be to search
2421 for issues based on their category, so that, for example, anyone working
2422 on the web server could look at all issues in the category "Web".
2424 If you look for "Search Issues" in the 'html/page.html' file, you will
2425 find that it looks something like 
2426 ``<a href="issue?@template=search">Search Issues</a>``. This shows us
2427 that when you click on "Search Issues" it will be looking for a
2428 ``issue.search.html`` file to display. So that is the file that we will
2429 change.
2431 This file should begin to look familiar, by now. It is a simple HTML
2432 form using a table to define structure. You can add the new category
2433 search code anywhere you like within that form::
2435     <tr>
2436      <th>Category:</th>
2437      <td>
2438       <select name="category">
2439        <option value="">don't care</option>
2440        <option value="">------------</option>
2441        <option tal:repeat="s db/category/list"
2442                tal:attributes="value s/name"
2443                tal:content="s/name">category to filter on</option>
2444       </select>
2445      </td>
2446      <td><input type="checkbox" name=":columns" value="category"
2447                 checked></td>
2448      <td><input type="radio" name=":sort" value="category"></td>
2449      <td><input type="radio" name=":group" value="category"></td>
2450     </tr>
2452 Most of this is straightforward to anyone who knows HTML. It is just
2453 setting up a select list followed by a checkbox and a couple of radio
2454 buttons. 
2456 The ``tal:repeat`` part repeats the tag for every item in the "category"
2457 table and sets "s" to each category in turn.
2459 The ``tal:attributes`` part is setting up the ``value=`` part of the
2460 option tag to be the name part of "s", which is the current category in
2461 the loop.
2463 The ``tal:content`` part is setting the contents of the option tag to be
2464 the name part of "s" again. For objects more complex than category,
2465 obviously you would put an id in the value, and the descriptive part in
2466 the content; but for categories they are the same.
2469 Adding category to the default view
2470 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
2472 We can now add categories, add issues with categories, and search for
2473 issues based on categories. This is everything that we need to do;
2474 however, there is some more icing that we would like. I think the
2475 category of an issue is important enough that it should be displayed by
2476 default when listing all the issues.
2478 Unfortunately, this is a bit less obvious than the previous steps. The
2479 code defining how the issues look is in ``html/issue.index.html``. This
2480 is a large table with a form down at the bottom for redisplaying and so
2481 forth. 
2483 Firstly we need to add an appropriate header to the start of the table::
2485     <th tal:condition="request/show/category">Category</th>
2487 The *condition* part of this statement is to avoid displaying the
2488 Category column if the user has selected not to see it.
2490 The rest of the table is a loop which will go through every issue that
2491 matches the display criteria. The loop variable is "i" - which means
2492 that every issue gets assigned to "i" in turn.
2494 The new part of code to display the category will look like this::
2496     <td tal:condition="request/show/category"
2497         tal:content="i/category"></td>
2499 The condition is the same as above: only display the condition when the
2500 user hasn't asked for it to be hidden. The next part is to set the
2501 content of the cell to be the category part of "i" - the current issue.
2503 Finally we have to edit ``html/page.html`` again. This time, we need to
2504 tell it that when the user clicks on "Unasigned Issues" or "All Issues",
2505 the category column should be included in the resulting list. If you
2506 scroll down the page file, you can see the links with lots of options.
2507 The option that we are interested in is the ``:columns=`` one which
2508 tells roundup which fields of the issue to display. Simply add
2509 "category" to that list and it all should work.
2512 Adding in state transition control
2513 ----------------------------------
2515 Sometimes tracker admins want to control the states that users may move
2516 issues to. You can do this by following these steps:
2518 1. make "status" a required variable. This is achieved by adding the
2519    following to the top of the form in the ``issue.item.html``
2520    template::
2522      <input type="hidden" name="@required" value="status">
2524    this will force users to select a status.
2526 2. add a Multilink property to the status class::
2528      stat = Class(db, "status", ... , transitions=Multilink('status'),
2529                   ...)
2531    and then edit the statuses already created, either:
2533    a. through the web using the class list -> status class editor, or
2534    b. using the roundup-admin "set" command.
2536 3. add an auditor module ``checktransition.py`` in your tracker's
2537    ``detectors`` directory, for example::
2539      def checktransition(db, cl, nodeid, newvalues):
2540          ''' Check that the desired transition is valid for the "status"
2541              property.
2542          '''
2543          if not newvalues.has_key('status'):
2544              return
2545          current = cl.get(nodeid, 'status')
2546          new = newvalues['status']
2547          if new == current:
2548              return
2549          ok = db.status.get(current, 'transitions')
2550          if new not in ok:
2551              raise ValueError, 'Status not allowed to move from "%s" to "%s"'%(
2552                  db.status.get(current, 'name'), db.status.get(new, 'name'))
2554      def init(db):
2555          db.issue.audit('set', checktransition)
2557 4. in the ``issue.item.html`` template, change the status editing bit
2558    from::
2560     <th nowrap>Status</th>
2561     <td tal:content="structure context/status/menu">status</td>
2563    to::
2565     <th nowrap>Status</th>
2566     <td>
2567      <select tal:condition="context/id" name="status">
2568       <tal:block tal:define="ok context/status/transitions"
2569                  tal:repeat="state db/status/list">
2570        <option tal:condition="python:state.id in ok"
2571                tal:attributes="
2572                     value state/id;
2573                     selected python:state.id == context.status.id"
2574                tal:content="state/name"></option>
2575       </tal:block>
2576      </select>
2577      <tal:block tal:condition="not:context/id"
2578                 tal:replace="structure context/status/menu" />
2579     </td>
2581    which displays only the allowed status to transition to.
2584 Displaying only message summaries in the issue display
2585 ------------------------------------------------------
2587 Alter the issue.item template section for messages to::
2589  <table class="messages" tal:condition="context/messages">
2590   <tr><th colspan="5" class="header">Messages</th></tr>
2591   <tr tal:repeat="msg context/messages">
2592    <td><a tal:attributes="href string:msg${msg/id}"
2593           tal:content="string:msg${msg/id}"></a></td>
2594    <td tal:content="msg/author">author</td>
2595    <td nowrap tal:content="msg/date/pretty">date</td>
2596    <td tal:content="msg/summary">summary</td>
2597    <td>
2598     <a tal:attributes="href string:?@remove@messages=${msg/id}&@action=edit">
2599     remove</a>
2600    </td>
2601   </tr>
2602  </table>
2604 Restricting the list of users that are assignable to a task
2605 -----------------------------------------------------------
2607 1. In your tracker's "dbinit.py", create a new Role, say "Developer"::
2609      db.security.addRole(name='Developer', description='A developer')
2611 2. Just after that, create a new Permission, say "Fixer", specific to
2612    "issue"::
2614      p = db.security.addPermission(name='Fixer', klass='issue',
2615          description='User is allowed to be assigned to fix issues')
2617 3. Then assign the new Permission to your "Developer" Role::
2619      db.security.addPermissionToRole('Developer', p)
2621 4. In the issue item edit page ("html/issue.item.html" in your tracker
2622    directory), use the new Permission in restricting the "assignedto"
2623    list::
2625     <select name="assignedto">
2626      <option value="-1">- no selection -</option>
2627      <tal:block tal:repeat="user db/user/list">
2628      <option tal:condition="python:user.hasPermission(
2629                                 'Fixer', context._classname)"
2630              tal:attributes="
2631                 value user/id;
2632                 selected python:user.id == context.assignedto"
2633              tal:content="user/realname"></option>
2634      </tal:block>
2635     </select>
2637 For extra security, you may wish to setup an auditor to enforce the
2638 Permission requirement (install this as "assignedtoFixer.py" in your
2639 tracker "detectors" directory)::
2641   def assignedtoMustBeFixer(db, cl, nodeid, newvalues):
2642       ''' Ensure the assignedto value in newvalues is a used with the
2643           Fixer Permission
2644       '''
2645       if not newvalues.has_key('assignedto'):
2646           # don't care
2647           return
2648   
2649       # get the userid
2650       userid = newvalues['assignedto']
2651       if not db.security.hasPermission('Fixer', userid, cl.classname):
2652           raise ValueError, 'You do not have permission to edit %s'%cl.classname
2654   def init(db):
2655       db.issue.audit('set', assignedtoMustBeFixer)
2656       db.issue.audit('create', assignedtoMustBeFixer)
2658 So now, if an edit action attempts to set "assignedto" to a user that
2659 doesn't have the "Fixer" Permission, the error will be raised.
2662 Setting up a "wizard" (or "druid") for controlled adding of issues
2663 ------------------------------------------------------------------
2665 1. Set up the page templates you wish to use for data input. My wizard
2666    is going to be a two-step process: first figuring out what category
2667    of issue the user is submitting, and then getting details specific to
2668    that category. The first page includes a table of help, explaining
2669    what the category names mean, and then the core of the form::
2671     <form method="POST" onSubmit="return submit_once()"
2672           enctype="multipart/form-data">
2673       <input type="hidden" name="@template" value="add_page1">
2674       <input type="hidden" name="@action" value="page1submit">
2676       <strong>Category:</strong>
2677       <tal:block tal:replace="structure context/category/menu" />
2678       <input type="submit" value="Continue">
2679     </form>
2681    The next page has the usual issue entry information, with the
2682    addition of the following form fragments::
2684     <form method="POST" onSubmit="return submit_once()"
2685           enctype="multipart/form-data"
2686           tal:condition="context/is_edit_ok"
2687           tal:define="cat request/form/category/value">
2689       <input type="hidden" name="@template" value="add_page2">
2690       <input type="hidden" name="@required" value="title">
2691       <input type="hidden" name="category" tal:attributes="value cat">
2692        .
2693        .
2694        .
2695     </form>
2697    Note that later in the form, I test the value of "cat" include form
2698    elements that are appropriate. For example::
2700     <tal:block tal:condition="python:cat in '6 10 13 14 15 16 17'.split()">
2701      <tr>
2702       <th nowrap>Operating System</th>
2703       <td tal:content="structure context/os/field"></td>
2704      </tr>
2705      <tr>
2706       <th nowrap>Web Browser</th>
2707       <td tal:content="structure context/browser/field"></td>
2708      </tr>
2709     </tal:block>
2711    ... the above section will only be displayed if the category is one
2712    of 6, 10, 13, 14, 15, 16 or 17.
2714 3. Determine what actions need to be taken between the pages - these are
2715    usually to validate user choices and determine what page is next. Now
2716    encode those actions in methods on the ``interfaces.Client`` class
2717    and insert hooks to those actions in the "actions" attribute on that
2718    class, like so::
2720     actions = client.Client.actions + (
2721         ('page1_submit', 'page1SubmitAction'),
2722     )
2724     def page1SubmitAction(self):
2725         ''' Verify that the user has selected a category, and then move
2726             on to page 2.
2727         '''
2728         category = self.form['category'].value
2729         if category == '-1':
2730             self.error_message.append('You must select a category of report')
2731             return
2732         # everything's ok, move on to the next page
2733         self.template = 'add_page2'
2735 4. Use the usual "new" action as the ``@action`` on the final page, and
2736    you're done (the standard context/submit method can do this for you).
2739 Using an external password validation source
2740 --------------------------------------------
2742 We have a centrally-managed password changing system for our users. This
2743 results in a UN*X passwd-style file that we use for verification of
2744 users. Entries in the file consist of ``name:password`` where the
2745 password is encrypted using the standard UN*X ``crypt()`` function (see
2746 the ``crypt`` module in your Python distribution). An example entry
2747 would be::
2749     admin:aamrgyQfDFSHw
2751 Each user of Roundup must still have their information stored in the
2752 Roundup database - we just use the passwd file to check their password.
2753 To do this, we add the following code to our ``Client`` class in the
2754 tracker home ``interfaces.py`` module::
2756     def verifyPassword(self, userid, password):
2757         # get the user's username
2758         username = self.db.user.get(userid, 'username')
2760         # the passwords are stored in the "passwd.txt" file in the
2761         # tracker home
2762         file = os.path.join(self.db.config.TRACKER_HOME, 'passwd.txt')
2764         # see if we can find a match
2765         for ent in [line.strip().split(':') for line in
2766                                             open(file).readlines()]:
2767             if ent[0] == username:
2768                 return crypt.crypt(password, ent[1][:2]) == ent[1]
2770         # user doesn't exist in the file
2771         return 0
2773 What this does is look through the file, line by line, looking for a
2774 name that matches.
2776 We also remove the redundant password fields from the ``user.item``
2777 template.
2780 Adding a "vacation" flag to users for stopping nosy messages
2781 ------------------------------------------------------------
2783 When users go on vacation and set up vacation email bouncing, you'll
2784 start to see a lot of messages come back through Roundup "Fred is on
2785 vacation". Not very useful, and relatively easy to stop.
2787 1. add a "vacation" flag to your users::
2789          user = Class(db, "user",
2790                     username=String(),   password=Password(),
2791                     address=String(),    realname=String(),
2792                     phone=String(),      organisation=String(),
2793                     alternate_addresses=String(),
2794                     roles=String(), queries=Multilink("query"),
2795                     vacation=Boolean())
2797 2. So that users may edit the vacation flags, add something like the
2798    following to your ``user.item`` template::
2800      <tr>
2801       <th>On Vacation</th> 
2802       <td tal:content="structure context/vacation/field">vacation</td> 
2803      </tr> 
2805 3. edit your detector ``nosyreactor.py`` so that the ``nosyreaction()``
2806    consists of::
2808     def nosyreaction(db, cl, nodeid, oldvalues):
2809         # send a copy of all new messages to the nosy list
2810         for msgid in determineNewMessages(cl, nodeid, oldvalues):
2811             try:
2812                 users = db.user
2813                 messages = db.msg
2815                 # figure the recipient ids
2816                 sendto = []
2817                 r = {}
2818                 recipients = messages.get(msgid, 'recipients')
2819                 for recipid in messages.get(msgid, 'recipients'):
2820                     r[recipid] = 1
2822                 # figure the author's id, and indicate they've received
2823                 # the message
2824                 authid = messages.get(msgid, 'author')
2826                 # possibly send the message to the author, as long as
2827                 # they aren't anonymous
2828                 if (db.config.MESSAGES_TO_AUTHOR == 'yes' and
2829                         users.get(authid, 'username') != 'anonymous'):
2830                     sendto.append(authid)
2831                 r[authid] = 1
2833                 # now figure the nosy people who weren't recipients
2834                 nosy = cl.get(nodeid, 'nosy')
2835                 for nosyid in nosy:
2836                     # Don't send nosy mail to the anonymous user (that
2837                     # user shouldn't appear in the nosy list, but just
2838                     # in case they do...)
2839                     if users.get(nosyid, 'username') == 'anonymous':
2840                         continue
2841                     # make sure they haven't seen the message already
2842                     if not r.has_key(nosyid):
2843                         # send it to them
2844                         sendto.append(nosyid)
2845                         recipients.append(nosyid)
2847                 # generate a change note
2848                 if oldvalues:
2849                     note = cl.generateChangeNote(nodeid, oldvalues)
2850                 else:
2851                     note = cl.generateCreateNote(nodeid)
2853                 # we have new recipients
2854                 if sendto:
2855                     # filter out the people on vacation
2856                     sendto = [i for i in sendto 
2857                               if not users.get(i, 'vacation', 0)]
2859                     # map userids to addresses
2860                     sendto = [users.get(i, 'address') for i in sendto]
2862                     # update the message's recipients list
2863                     messages.set(msgid, recipients=recipients)
2865                     # send the message
2866                     cl.send_message(nodeid, msgid, note, sendto)
2867             except roundupdb.MessageSendError, message:
2868                 raise roundupdb.DetectorError, message
2870    Note that this is the standard nosy reaction code, with the small
2871    addition of::
2873     # filter out the people on vacation
2874     sendto = [i for i in sendto if not users.get(i, 'vacation', 0)]
2876    which filters out the users that have the vacation flag set to true.
2879 Adding a time log to your issues
2880 --------------------------------
2882 We want to log the dates and amount of time spent working on issues, and
2883 be able to give a summary of the total time spent on a particular issue.
2885 1. Add a new class to your tracker ``dbinit.py``::
2887     # storage for time logging
2888     timelog = Class(db, "timelog", period=Interval())
2890    Note that we automatically get the date of the time log entry
2891    creation through the standard property "creation".
2893 2. Link to the new class from your issue class (again, in
2894    ``dbinit.py``)::
2896     issue = IssueClass(db, "issue", 
2897                     assignedto=Link("user"), topic=Multilink("keyword"),
2898                     priority=Link("priority"), status=Link("status"),
2899                     times=Multilink("timelog"))
2901    the "times" property is the new link to the "timelog" class.
2903 3. We'll need to let people add in times to the issue, so in the web
2904    interface we'll have a new entry field. This is a special field
2905    because unlike the other fields in the issue.item template, it
2906    affects a different item (a timelog item) and not the template's
2907    item, an issue. We have a special syntax for form fields that affect
2908    items other than the template default item (see the cgi 
2909    documentation on `special form variables`_). In particular, we add a
2910    field to capture a new timelog item's perdiod::
2912     <tr> 
2913      <th nowrap>Time Log</th> 
2914      <td colspan=3><input type="text" name="timelog-1@period" /> 
2915       <br />(enter as '3y 1m 4d 2:40:02' or parts thereof) 
2916      </td> 
2917     </tr> 
2918          
2919    and another hidden field that links that new timelog item (new
2920    because it's marked as having id "-1") to the issue item. It looks
2921    like this::
2923      <input type="hidden" name="@link@times" value="timelog-1" />
2925    On submission, the "-1" timelog item will be created and assigned a
2926    real item id. The "times" property of the issue will have the new id
2927    added to it.
2929 4. We want to display a total of the time log times that have been
2930    accumulated for an issue. To do this, we'll need to actually write
2931    some Python code, since it's beyond the scope of PageTemplates to
2932    perform such calculations. We do this by adding a method to the
2933    TemplatingUtils class in our tracker ``interfaces.py`` module::
2935     class TemplatingUtils:
2936         ''' Methods implemented on this class will be available to HTML
2937             templates through the 'utils' variable.
2938         '''
2939         def totalTimeSpent(self, times):
2940             ''' Call me with a list of timelog items (which have an
2941                 Interval "period" property)
2942             '''
2943             total = Interval('')
2944             for time in times:
2945                 total += time.period._value
2946             return total
2948    Replace the ``pass`` line as we did in step 4 above with the Client
2949    class. As indicated in the docstrings, we will be able to access the
2950    ``totalTimeSpent`` method via the ``utils`` variable in our
2951    templates.
2953 5. Display the time log for an issue::
2955      <table class="otherinfo" tal:condition="context/times">
2956       <tr><th colspan="3" class="header">Time Log
2957        <tal:block
2958             tal:replace="python:utils.totalTimeSpent(context.times)" />
2959       </th></tr>
2960       <tr><th>Date</th><th>Period</th><th>Logged By</th></tr>
2961       <tr tal:repeat="time context/times">
2962        <td tal:content="time/creation"></td>
2963        <td tal:content="time/period"></td>
2964        <td tal:content="time/creator"></td>
2965       </tr>
2966      </table>
2968    I put this just above the Messages log in my issue display. Note our
2969    use of the ``totalTimeSpent`` method which will total up the times
2970    for the issue and return a new Interval. That will be automatically
2971    displayed in the template as text like "+ 1y 2:40" (1 year, 2 hours
2972    and 40 minutes).
2974 8. If you're using a persistent web server - roundup-server or
2975    mod_python for example - then you'll need to restart that to pick up
2976    the code changes. When that's done, you'll be able to use the new
2977    time logging interface.
2979 Using a UN*X passwd file as the user database
2980 ---------------------------------------------
2982 On some systems the primary store of users is the UN*X passwd file. It
2983 holds information on users such as their username, real name, password
2984 and primary user group.
2986 Roundup can use this store as its primary source of user information,
2987 but it needs additional information too - email address(es), roundup
2988 Roles, vacation flags, roundup hyperdb item ids, etc. Also, "retired"
2989 users must still exist in the user database, unlike some passwd files in
2990 which the users are removed when they no longer have access to a system.
2992 To make use of the passwd file, we therefore synchronise between the two
2993 user stores. We also use the passwd file to validate the user logins, as
2994 described in the previous example, `using an external password
2995 validation source`_. We keep the users lists in sync using a fairly
2996 simple script that runs once a day, or several times an hour if more
2997 immediate access is needed. In short, it:
2999 1. parses the passwd file, finding usernames, passwords and real names,
3000 2. compares that list to the current roundup user list:
3002    a. entries no longer in the passwd file are *retired*
3003    b. entries with mismatching real names are *updated*
3004    c. entries only exist in the passwd file are *created*
3006 3. send an email to administrators to let them know what's been done.
3008 The retiring and updating are simple operations, requiring only a call
3009 to ``retire()`` or ``set()``. The creation operation requires more
3010 information though - the user's email address and their roundup Roles.
3011 We're going to assume that the user's email address is the same as their
3012 login name, so we just append the domain name to that. The Roles are
3013 determined using the passwd group identifier - mapping their UN*X group
3014 to an appropriate set of Roles.
3016 The script to perform all this, broken up into its main components, is
3017 as follows. Firstly, we import the necessary modules and open the
3018 tracker we're to work on::
3020     import sys, os, smtplib
3021     from roundup import instance, date
3023     # open the tracker
3024     tracker_home = sys.argv[1]
3025     tracker = instance.open(tracker_home)
3027 Next we read in the *passwd* file from the tracker home::
3029     # read in the users
3030     file = os.path.join(tracker_home, 'users.passwd')
3031     users = [x.strip().split(':') for x in open(file).readlines()]
3033 Handle special users (those to ignore in the file, and those who don't
3034 appear in the file)::
3036     # users to not keep ever, pre-load with the users I know aren't
3037     # "real" users
3038     ignore = ['ekmmon', 'bfast', 'csrmail']
3040     # users to keep - pre-load with the roundup-specific users
3041     keep = ['comment_pool', 'network_pool', 'admin', 'dev-team',
3042             'cs_pool', 'anonymous', 'system_pool', 'automated']
3044 Now we map the UN*X group numbers to the Roles that users should have::
3046     roles = {
3047      '501': 'User,Tech',  # tech
3048      '502': 'User',       # finance
3049      '503': 'User,CSR',   # customer service reps
3050      '504': 'User',       # sales
3051      '505': 'User',       # marketing
3052     }
3054 Now we do all the work. Note that the body of the script (where we have
3055 the tracker database open) is wrapped in a ``try`` / ``finally`` clause,
3056 so that we always close the database cleanly when we're finished. So, we
3057 now do all the work::
3059     # open the database
3060     db = tracker.open('admin')
3061     try:
3062         # store away messages to send to the tracker admins
3063         msg = []
3065         # loop over the users list read in from the passwd file
3066         for user,passw,uid,gid,real,home,shell in users:
3067             if user in ignore:
3068                 # this user shouldn't appear in our tracker
3069                 continue
3070             keep.append(user)
3071             try:
3072                 # see if the user exists in the tracker
3073                 uid = db.user.lookup(user)
3075                 # yes, they do - now check the real name for correctness
3076                 if real != db.user.get(uid, 'realname'):
3077                     db.user.set(uid, realname=real)
3078                     msg.append('FIX %s - %s'%(user, real))
3079             except KeyError:
3080                 # nope, the user doesn't exist
3081                 db.user.create(username=user, realname=real,
3082                     address='%s@ekit-inc.com'%user, roles=roles[gid])
3083                 msg.append('ADD %s - %s (%s)'%(user, real, roles[gid]))
3085         # now check that all the users in the tracker are also in our
3086         # "keep" list - retire those who aren't
3087         for uid in db.user.list():
3088             user = db.user.get(uid, 'username')
3089             if user not in keep:
3090                 db.user.retire(uid)
3091                 msg.append('RET %s'%user)
3093         # if we did work, then send email to the tracker admins
3094         if msg:
3095             # create the email
3096             msg = '''Subject: %s user database maintenance
3098             %s
3099             '''%(db.config.TRACKER_NAME, '\n'.join(msg))
3101             # send the email
3102             smtp = smtplib.SMTP(db.config.MAILHOST)
3103             addr = db.config.ADMIN_EMAIL
3104             smtp.sendmail(addr, addr, msg)
3106         # now we're done - commit the changes
3107         db.commit()
3108     finally:
3109         # always close the database cleanly
3110         db.close()
3112 And that's it!
3115 Enabling display of either message summaries or the entire messages
3116 -------------------------------------------------------------------
3118 This is pretty simple - all we need to do is copy the code from the
3119 example `displaying only message summaries in the issue display`_ into
3120 our template alongside the summary display, and then introduce a switch
3121 that shows either one or the other. We'll use a new form variable,
3122 ``@whole_messages`` to achieve this::
3124  <table class="messages" tal:condition="context/messages">
3125   <tal:block tal:condition="not:request/form/@whole_messages/value | python:0">
3126    <tr><th colspan="3" class="header">Messages</th>
3127        <th colspan="2" class="header">
3128          <a href="?@whole_messages=yes">show entire messages</a>
3129        </th>
3130    </tr>
3131    <tr tal:repeat="msg context/messages">
3132     <td><a tal:attributes="href string:msg${msg/id}"
3133            tal:content="string:msg${msg/id}"></a></td>
3134     <td tal:content="msg/author">author</td>
3135     <td nowrap tal:content="msg/date/pretty">date</td>
3136     <td tal:content="msg/summary">summary</td>
3137     <td>
3138      <a tal:attributes="href string:?@remove@messages=${msg/id}&@action=edit">remove</a>
3139     </td>
3140    </tr>
3141   </tal:block>
3143   <tal:block tal:condition="request/form/@whole_messages/value | python:0">
3144    <tr><th colspan="2" class="header">Messages</th>
3145        <th class="header">
3146          <a href="?@whole_messages=">show only summaries</a>
3147        </th>
3148    </tr>
3149    <tal:block tal:repeat="msg context/messages">
3150     <tr>
3151      <th tal:content="msg/author">author</th>
3152      <th nowrap tal:content="msg/date/pretty">date</th>
3153      <th style="text-align: right">
3154       (<a tal:attributes="href string:?@remove@messages=${msg/id}&@action=edit">remove</a>)
3155      </th>
3156     </tr>
3157     <tr><td colspan="3" tal:content="msg/content"></td></tr>
3158    </tal:block>
3159   </tal:block>
3160  </table>
3163 Blocking issues that depend on other issues
3164 -------------------------------------------
3166 We needed the ability to mark certain issues as "blockers" - that is,
3167 they can't be resolved until another issue (the blocker) they rely on is
3168 resolved. To achieve this:
3170 1. Create a new property on the issue Class,
3171    ``blockers=Multilink("issue")``. Edit your tracker's dbinit.py file.
3172    Where the "issue" class is defined, something like::
3174     issue = IssueClass(db, "issue", 
3175                     assignedto=Link("user"), topic=Multilink("keyword"),
3176                     priority=Link("priority"), status=Link("status"))
3178    add the blockers entry like so::
3180     issue = IssueClass(db, "issue", 
3181                     blockers=Multilink("issue"),
3182                     assignedto=Link("user"), topic=Multilink("keyword"),
3183                     priority=Link("priority"), status=Link("status"))
3185 2. Add the new "blockers" property to the issue.item edit page, using
3186    something like::
3188     <th nowrap>Waiting On</th>
3189     <td>
3190      <span tal:replace="structure python:context.blockers.field(showid=1,
3191                                   size=20)" />
3192      <span tal:replace="structure python:db.issue.classhelp('id,title')" />
3193      <span tal:condition="context/blockers"
3194            tal:repeat="blk context/blockers">
3195       <br>View: <a tal:attributes="href string:issue${blk/id}"
3196                    tal:content="blk/id"></a>
3197      </span>
3199    You'll need to fiddle with your item page layout to find an
3200    appropriate place to put it - I'll leave that fun part up to you.
3201    Just make sure it appears in the first table, possibly somewhere near
3202    the "superseders" field.
3204 3. Create a new detector module (attached) which enforces the rules:
3206    - issues may not be resolved if they have blockers
3207    - when a blocker is resolved, it's removed from issues it blocks
3209    The contents of the detector should be something like this::
3211     def blockresolution(db, cl, nodeid, newvalues):
3212         ''' If the issue has blockers, don't allow it to be resolved.
3213         '''
3214         if nodeid is None:
3215             blockers = []
3216         else:
3217             blockers = cl.get(nodeid, 'blockers')
3218         blockers = newvalues.get('blockers', blockers)
3220         # don't do anything if there's no blockers or the status hasn't
3221         # changed
3222         if not blockers or not newvalues.has_key('status'):
3223             return
3225         # get the resolved state ID
3226         resolved_id = db.status.lookup('resolved')
3228         # format the info
3229         u = db.config.TRACKER_WEB
3230         s = ', '.join(['<a href="%sissue%s">%s</a>'%(
3231                         u,id,id) for id in blockers])
3232         if len(blockers) == 1:
3233             s = 'issue %s is'%s
3234         else:
3235             s = 'issues %s are'%s
3237         # ok, see if we're trying to resolve
3238         if newvalues['status'] == resolved_id:
3239             raise ValueError, "This issue can't be resolved until %s resolved."%s
3241     def resolveblockers(db, cl, nodeid, newvalues):
3242         ''' When we resolve an issue that's a blocker, remove it from the
3243             blockers list of the issue(s) it blocks.
3244         '''
3245         if not newvalues.has_key('status'):
3246             return
3248         # get the resolved state ID
3249         resolved_id = db.status.lookup('resolved')
3251         # interesting?
3252         if newvalues['status'] != resolved_id:
3253             return
3255         # yes - find all the blocked issues, if any, and remove me from
3256         # their blockers list
3257         issues = cl.find(blockers=nodeid)
3258         for issueid in issues:
3259             blockers = cl.get(issueid, 'blockers')
3260             if nodeid in blockers:
3261                 blockers.remove(nodeid)
3262                 cl.set(issueid, blockers=blockers)
3265     def init(db):
3266         # might, in an obscure situation, happen in a create
3267         db.issue.audit('create', blockresolution)
3268         db.issue.audit('set', blockresolution)
3270         # can only happen on a set
3271         db.issue.react('set', resolveblockers)
3273    Put the above code in a file called "blockers.py" in your tracker's
3274    "detectors" directory.
3276 4. Finally, and this is an optional step, modify the tracker web page
3277    URLs so they filter out issues with any blockers. You do this by
3278    adding an additional filter on "blockers" for the value "-1". For
3279    example, the existing "Show All" link in the "page" template (in the
3280    tracker's "html" directory) looks like this::
3282      <a href="issue?:sort=-activity&:group=priority&:filter=status&:columns=id,activity,title,creator,assignedto,status&status=-1,1,2,3,4,5,6,7">Show All</a><br>
3284    modify it to add the "blockers" info to the URL (note, both the
3285    ":filter" *and* "blockers" values must be specified)::
3287      <a href="issue?:sort=-activity&:group=priority&:filter=status,blockers&blockers=-1&:columns=id,activity,title,creator,assignedto,status&status=-1,1,2,3,4,5,6,7">Show All</a><br>
3289 That's it. You should now be able to set blockers on your issues. Note
3290 that if you want to know whether an issue has any other issues dependent
3291 on it (i.e. it's in their blockers list) you can look at the journal
3292 history at the bottom of the issue page - look for a "link" event to
3293 another issue's "blockers" property.
3296 -------------------
3298 Back to `Table of Contents`_
3300 .. _`Table of Contents`: index.html
3301 .. _`design documentation`: design.html