ReleaseNotes

   1                              SysDB Release Notes
   2                             =====================
   3
   4   The release notes contain noteworthy changes in each System DataBase (SysDB)
   5   release, with a summary of the most important changes at the top. A complete
   6   and very detailed list of changes can be obtained from the Git logs for each
   7   release.
   8
   9  Compatibility Note:
  10  ~~~~~~~~~~~~~~~~~~~
  11
  12   All pre 1.0 development snapshots are not considered stable yet. That is,
  13   all interfaces, including the plugin API, the network protocol, or the query
  14   language, may change in an incompatible way at any time. All changes are
  15   documented here.
  16
  17  About SysDB:
  18  ~~~~~~~~~~~~
  19   “System DataBase” (SysDB) is a multi-backend system management and inventory
  20   collection service. It stores system and inventory information about
  21   hardware and software systems. This information is (continuously) collected
  22   from various configurable backends (inventory services, monitoring services,
  23   etc.) and stored in a graph-like hierarchy of generic objects. The store may
  24   be queried through a generic interface independent of the active backends.
  25   Object names are canonicalized before they are added to the store to ensure
  26   a consistent view of your infrastructure.
  27
  28   <https://sysdb.io/>
  29
  30 Version 0.5.0, Release Date: 2014-10-06
  31 ---------------------------------------
  32
  33   This release focuses on simplifications and more flexibility in the frontend
  34   and the query language. Most of those changes are not backward-compatible
  35   but easy client implementations.
  36
  37    * sysdb:
  38      - Include priority when printing log messages.
  39      - Fixed handling of empty queries.
  40    * store:
  41      - When serializing the entire store (LIST command), return an array of
  42        host objects (rather than wrapping it into another object).
  43      - Fixed JSON format of time-series data.
  44      - Fixed error checks of invalid compare expressions and reject them.
  45      - Fixed lookups by back-end name.
  46      - Added support for comparing attributes with different types by
  47        comparing their string values.
  48    * frontend:
  49      - Clarified details about asynchronous messages and authentication
  50        options and made client implementation more robust.
  51      - Introduced a new message type encoding the JSON serialized response of
  52        a query and its data type.
  53      - Include the priority in log messages.
  54      - Include object types in FETCH, LIST, and LOOKUP messages.
  55      - Added support for including services and metrics in LIST responses and
  56        skip hosts without the respective children.
  57    * query language:
  58      - Added support for services and metrics to LIST command.
  59      - Changed syntax for attribute lookup to 'attributes[<name>]'.
  60      - Changed syntax for accessing queryable fields to '.<field>'.
  61    * utils:
  62      - strbuf: Improved memory management.
  63
  64 Version 0.4.0, Release Date: 2014-09-01
  65 ---------------------------------------
  66
  67   This release features support for metrics and transparent access to a
  68   backend's time-series data. Some backward-incompatible changes were applied
  69   to some query commands for more consistency.
  70
  71    * build system:
  72      - Added checks for format strings and arguments.
  73      - Changed configure option for collectd::unixsock to
  74        --enable-collectd-unixsock.
  75    * core:
  76      - Added support for “metric” objects which may be assigned to a host.
  77      - Introduced support for handling time-series data: added new data
  78        structures describing time-series data and a new type of plugins called
  79        “time-series fetchers” which are used to access time-series
  80        information.
  81    * store:
  82      - Fixed a memory leak.
  83      - Apply (very) simple optimizations to lookup expressions.
  84      - Added support for metrics and their “data-stores” (describing how to
  85        access the actual data referenced by a metric).
  86      - Added support for querying time-series data through the newly
  87        introduced “time-series fetcher” plugins.
  88    * frontend:
  89      - Fixed a bug that might have caused reading too much data from the
  90        connection buffer in certain situations.
  91    * query language:
  92      - The ‘MATCHING’ clause is now optional in ‘LOOKUP’ queries.
  93      - The ‘LIST’ and ‘FETCH’ commands support ‘FILTER’ clauses as well.
  94      - ‘LIST’ / ‘FETCH’ were changed to ‘LIST hosts’ / ‘FETCH host’.
  95      - Added the ‘TIMESERIES’ command to query arbitrary time-series which
  96        fetches time-series data from a backend's data-store for a given period
  97        of time.
  98      - Added support for date/time values.
  99      - Added support for single quotes in string values: two adjacent single
 100        quotes may be used to specify a single quote.
 101    * documentation:
 102      - Documented the frontend protocol in frontend/proto.h.
 103      - Documented changes to the query language and new / updated plugins.
 104      - Documented all supported data types.
 105
 106   Backends:
 107    * collectd::unixsock:
 108      - The plugin now uses metrics in place of services.
 109      - New config options ‘TimeseriesBackend’ and ‘TimeseriesBaseURL’ to
 110        specify access to time-series, currently limited to ‘rrdtool’ and
 111        ‘rrdcached’ access.
 112
 113   Plugins:
 114    * timeseries::rrdtool:
 115      - New plugin adding support to fetch time-series from local RRD files.
 116      - Supports flushing of values in RRDCacheD.
 117
 118 Version 0.3.0, Release Date: 2014-08-01
 119 ---------------------------------------
 120
 121   This release includes major enhancements and new features in the SysDB store
 122   which is the core of the database. Most notably, complex expressions are now
 123   supported when looking up information and filters may be used to preselect
 124   the information to be returned. Some backward-incompatible changes were
 125   introduced in the query language to avoid potentially confusing semantics.
 126
 127    * sysdb: Fixed non-interactive mode when using libedit.
 128    * core:
 129      - Fixed weird behavior when collector callbacks were registered without
 130        any plugin context information (as it would, e.g., happen when using
 131        LoadPlugin instead of LoadBackend in sysdbd).
 132    * store:
 133      - Introduced service attributes -- similar to host attributes but
 134        assigned to a service object.
 135      - Don't log “value too old” messages if an updated object uses the same
 136        timestamp as the old object.
 137      - Switched from linked-lists to AVL trees for storing all object types to
 138        reduce lookup times from O(n) to O(log n).
 139      - Added infrastructure for handling and evaluating arithmetic
 140        expressions and filters (see also the changes to the query language
 141        below).
 142      - Export various fields describing base attributes of all stored object
 143        types: last_update, age, interval, and backend. These fields may be
 144        used when querying the store.
 145    * frontend: Include new service attributes in JSON output.
 146    * query language:
 147      - Added support for ‘IS NULL’ attribute checks matching on non-existent
 148        attributes.
 149      - Changed ‘LOOKUP ... WHERE’ queries to ‘LOOKUP ... MATCHING’ to avoid
 150        confusion with SQL semantics.
 151      - Switched from ‘<obj>.name’ to ‘<obj>’ in MATCHING clauses, thus, no
 152        longer shadowing attributes called “name”.
 153      - Added support for arithmetic expressions in places that used simple
 154        data values before. Arithmetic expressions support addition,
 155        subtraction, multiplication, division, modulo, and concatenation
 156        operations. The expressions may be based on constant values or
 157        queryable fields of the stored objects (specified as ‘:last_update’,
 158        ‘:age’, ‘:interval’, and ‘:backend’).
 159      - Added ‘FILTER’ support to ‘LOOKUP’ queries. Filters are conditional
 160        expressions which may optionally be used to limit the query and the
 161        result to object (of any type) matching the filter condition.
 162      - Added support to specify date and time values.
 163    * utils:
 164      - avltree: Added an AVL tree (self-balancing binary tree) implementation.
 165    * documentation: Added documentation for the new query language features.
 166    * testing: Run all unit tests through valgrind by default (if available).
 167
 168   Backends:
 169    * collectd::unixsock:
 170      - Added support for spaces in identifiers.
 171      - Store plugin identifier (host, plugin, plugin_instance, type,
 172        type_instance) as service attributes.
 173
 174 Version 0.2.0, Release Date: 2014-07-02
 175 ---------------------------------------
 176
 177   This is another development snapshot of SysDB. The main focus of this
 178   release is on stabilizing existing features and extending the query
 179   infrastructure to support all attribute types and further operators.
 180
 181    * build system: Fixed linking of sysdbd to include *all* necessary object
 182      files. This bug caused some plugins to be un-loadable.
 183    * sysdbd: Fixed shutdown process in case of errors.
 184    * sysdb: Fixed a bug causing some server replies to be ignored when exiting
 185      from the client.
 186    * core:
 187      - Always log to the standard output stream if no user-provided logging
 188        callbacks had been specified. Previously this was disabled after
 189        enabling logging to clients in the frontend.
 190      - Simplified plugin naming information and determine configuration
 191        callback names automatically to ensure better consistency.
 192    * store:
 193      - Simplified internal data management.
 194      - Store the list of backends along with each stored object which provide
 195        the respective object.
 196    * frontend:
 197      - Simplified and improved the internal architecture matching / looking up
 198        objects.
 199      - Fixed parser to correctly reject invalid object types.
 200      - Automatically create the base directory of a listening UNIX socket.
 201    * query language: Added support for numeric constants and added operators
 202      for less and greater than or equal attribute comparison.
 203    * documentation: Added missing files to the distribution tarball.
 204
 205   Plugins:
 206    * syslog: Don't log debug messages to syslog.
 207
 208 Version 0.1.0, Release Date: 2014-06-01
 209 ---------------------------------------
 210
 211   This is the initial release of SysDB. It provides the following core
 212   features:
 213
 214    * sysdb: A terminal-based, interactive client program. Supports
 215      line-editing and history based on libreadline or libedit and uses an
 216      asynchronous, event-driven architecture to handle user input and server
 217      replies simultaneously.
 218    * sysdbd: The database backend service configurable through a configuration
 219      file. The daemon supports online reconfiguration.
 220    * core: Flexible, multi-threaded core architecture providing a configurable
 221      plugin infrastructure for querying external data-sources and extending
 222      core functionality. The following plugin types are supported:
 223      - data collection
 224      - hostname canonicalization
 225      - logging
 226    * store: Central, in-memory object store managing host and service objects
 227      and their attributes. Host names may be canonicalized through respective
 228      plugins. Each object is automatically attributed with last update and
 229      interval information using nano-seconds resolution. Attributes may have
 230      various types (integer, decimal, string, date-time, binary).
 231    * frontend: The frontend handling client connections uses a multi-threaded,
 232      asynchronous, event-driven architecture capable of handling multiple
 233      listen addresses.
 234    * query language: The store may be queried using the ‘LIST’, ‘LOOKUP’, and
 235      ‘FETCH’ commands returning JSON formatted objects.
 236    * utils: A rich set of abstract data-types and utility functions for
 237      internal use:
 238      - generic channels for asynchronous, multi-threaded I/O
 239      - DBI wrapper to ease common database access operations
 240      - thread-aware error handling and reporting
 241      - doubly linked-lists
 242      - dynamic sized memory buffers supporting formatted strings and binary
 243        data
 244      - UNIX socket client implementation
 245    * documentation: Full documentation for the tools, all plugins, and the
 246      query language provided as manpages and HTML pages.
 247    * testing: Unit and integration tests exist for most parts except plugins
 248      covering 77% of all functions. Valgrind and Clang's address sanitzer are
 249      used to detect memory leaks and programming errors.
 250
 251   The following plugins are shipped with this version of SysDB:
 252
 253   Backends:
 254    * collectd::unixsock: Query collectd through its ‘unixsock’ interface
 255    * mk-livestatus: Query arbitrary (monitoring) systems using the Check_MK
 256      Livestatus interface.
 257    * puppet::store-configs: Query Puppet through its “stored configuration”
 258      database.
 259
 260   Plugins:
 261    * cname::dns: Canonicalize hostnames by querying DNS information.
 262    * syslog: Send log messages to the system log service.
 263