tokkee.org

postgresql plugin: Added support for custom queries.

The user may now define and use custom queries to collect data. A query is
defined by specifying the SQL query to execute and a definition of the data
type of each result column:

  <Query magic>
    Query "SELECT magic FROM wizard;"
    Column gauge magic
  </Query>

The "Column" configuration option specifies the type name and optional type
instance: Column <type> [<type_instance>]. The number and order of the
"Column" option has to match the columns of the query result.

A query is activated by adding the configuration option "Query <name>" to the
appropriate "<Database>" configuration blocks. A query may be used multiple
times.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

postgresql plugin: Split off memory management into dedicated functions.

Allocation and freeing of c_psql_database_t objects is now handled by the new
functions. This increases readability of the code.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/collectd.conf.in: Add the onewire plugin.

README: Added the `onewire' plugin.

Merge branch 'master' of git://git.verplant.org/collectd

Merge branch 'ff/owfs'

collectd.conf(5): inversed -> inverted

collectd.conf(5): Documented the `onewire' plugin.

onewire plugin: Add a plugin to read onewire sensors.

This plugin allows to read _temperature_ sensors connected over a
onewire bus using the `owcapi' library from the `owfs' project. Other
sensors can be added easily, but without hardware to test this it's
kind of hard to be sure it all works.

ToDo's: Document the plugin, make the `Alias' configuration option work.

Merge branch 'collectd-4.4'

Conflicts:

src/snmp.c

ChangeLog: Updated after the merge.

Merge branch 'collectd-4.3' into collectd-4.4

Bumped version to 4.4.2; Updated ChangeLog.

src/Makefile: Pass AM_CPPFLAGS to all plugins setting custom CPPFLAGS.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

configfile.c: Fixed a typo.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

collectd.conf(5): Documented the support for wrapping lines.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

liboconfig/scanner.l: Added support for \r\n line endings.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

liboconfig/scanner.l: Added support for wrapping lines.

Lines may now be wrapped by using "\" as the last character before the
newline. This allows long lines to be split into multiple lines. This also
applies to quoted strings, which are, however, treated special in that
whitespace at the beginning of the following lines will be ignored. This
allows for nicely indenting the wrapped lines.

The following example:

  Foo a very very very long list of options \
      that does not fit on one line
  Bar "a very very very long string \
      which does not fit on one line"

... is equivalent to:

  Foo a very very very long list of options that does not fit on one line
  Bar "a very very very long string which does not fit on one line"

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

ipmi plugin: Fix a typo: sstrerror_r -> sstrerror.

snmp plugin: More format string fixes.

ntpd plugin: Use the standard types `uint8_t' etc. instead of `u_char' etc.

vserver plugin: Use `readdir_r' instead of `readdir'.

`readdir' is not thread safe, so use the (more thread safe) `readdir_r'.
Also, don't use the non-standard `d_type' member of the `dirent'
structure - it's not portable.

I'm aware that this plugin is very Linux specific and Linux most likely
will never use another C library than the GNU libc, but using this
member prevents me from compiling with the most restrictive `strict'
settings..

src/{collectd.h,perl.c}: Poison sprintf after perl.h has been included.

snmp plugin: Fix two format strings.

snmp plugin: Parse strings according to the data source type.

Some broken SNMP implementations returns numbers as a string, e. g. a
temperature could would be returned as "19.2 C". This change uses the
data source type, i. e. `counter' or `gauge' to convert that string into
an integer or a floating point number using strtoll or strtod. In case
of an error (string-pointer is NULL or no conversion could take place)
either zero or NAN is returned.

src/collectd.h: Don't include <pth.h>.

We don't use it, we don't check for it. Why on earth is it still in there..?

Merge branch 'collectd-4.4'

Conflicts:

configure.in

Merge branch 'collectd-4.3' into collectd-4.4

Conflicts:

src/ntpd.c

configure.in: Use pkg-config to detect the upsclient library.

The libupsclient-config script is gone in newer versions, so we use pkg-config
instead.

ntpd plugin: Fix two format strings.

contrib/collection3: Add an basic, extensible, modular graphing front-end.

qmail plugin: Use `readdir_r' instead of `readdir'.

Merge branch 'collectd-4.4'

Conflicts:

src/apache.c
src/apcups.c
src/apple_sensors.c
src/battery.c
src/cpu.c
src/cpufreq.c
src/df.c
src/disk.c
src/dns.c
src/email.c
src/entropy.c
src/hddtemp.c
src/interface.c
src/ipvs.c
src/irq.c
src/load.c
src/mbmon.c
src/memcached.c
src/memory.c
src/multimeter.c
src/mysql.c
src/netlink.c
src/network.c
src/nfs.c
src/nginx.c
src/ntpd.c
src/nut.c
src/ping.c
src/processes.c
src/rrdtool.c
src/serial.c
src/snmp.c
src/swap.c
src/tape.c
src/tcpconns.c
src/users.c
src/utils_cmd_putval.c
src/vserver.c
src/wireless.c
src/xmms.c

email plugin: Don't print `pthread_t'.

It may be a struct, so printing it is not portable.

Merge branch 'collectd-4.3' into collectd-4.4

contrib/collection.cgi: Added basic support for "postgresql" statistics.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

postgresql plugin: Added a plugin to collect PostgreSQL database statistics.

This plugin collects active server connections, transaction numbers, block IO
and table row manipulations of PostgreSQL databases. For this purpose it keeps
persistent connections to all configured databases. The statistics are
collected from PostgreSQL's "statistics collector" subsystem.

Currently, statistics are collected from the pg_stat_database,
pg_stat_user_tables and pg_statio_user_tables views. The following new types
have been introduced: pg_blks, pg_n_tup_c, pg_n_tup_g, pg_numbackends, pg_scan
and pg_xact. The type names are basically the same as the column names in the
queried views to keep things consistent. For the number of tuples, counter and
gauge values exist, so the type names have been prefixed with "_c" and "_g"
respectively.

Sample plugin configuration:

  <Plugin postgresql>
    <Database foo>
      Host "hostname"
      Port "5432"
      User "username"
      Password "secret"
      SSLMode "prefer"
      KRBSrvName "kerberos_service_name"
    </Database>
    <Database bar>
      Service "service_name"
    </Database>
  </Plugin>

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/utils_complain: Changed c_release() into a macro.

While the c_complain*() functions are usually used in error conditions only,
c_release() is usually used whenever things went right (which should be the
more common case ;-)). In order to minimize the overhead in the latter case,
c_release() has been changed into a macro which checks if the complaint
actually has to be released and calls c_do_release() in that case. This
function then takes care of reporting the release-message (this is the
original implementation of c_release()). So, we remove the overhead of a
function call in the usual case, i.e. when we don't have to report any
messages.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/plugin.c: Initialize plugins before checking if read callbacks are available.

plugin_init_all() checks if any read callbacks are available before starting
the read threads. A few plugins register their read callback from their
init callback though. By initializing the plugins before that the read
threads are still started correctly if all plugins register the read
callback in the init callback.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

qmail plugin: Don't recurse into ".", ".." and other directories beginning with a dot.

Also use PATH_MAX instead of 4096.

rrdtool plugin: Use a hack to case the `argv' pointers in a portable way.

Build system: Added the qmail plugin.

qmail plugin: Various cleanups and bugfixes.

qmail plugin: Added a plugin to count messages in qmail queues.

Hello.
Here is my first collectd plugin.
It shows the two values of qmail queues, messages and todo.
The latter should be zero in normal cases. I included it because it
may help diagnose problems.
Maybe a config parameter could be added for it.

It supports a parameter for the Qmail base directory:

<Plugin qmail_queue>
       QmailDir "/var/qmail"
</Plugin>

Feel free to modify it if you need.
Alessandro

src/{exec,types_list,utils_cache}.c: Fix format strings.

ipmi plugin: s/sstrerror_r/sstrerror/.

ChangeLog: Recoded to UTF-8.

processes plugin: Use read_file_contents().

src/processes.c: use read_file_contents()

Signed-off-by: Michał Mirosław <mirq-linux@rere.qmqm.pl>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/common.c: Move read_file_contents() to here.

src/common.c: move read_file_contents() from thermal plugin

Signed-off-by: Michał Mirosław <mirq-linux@rere.qmqm.pl>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

battery plugin: Use walk_directory().

src/battery.c: use walk_directory()

Signed-off-by: Michał Mirosław <mirq-linux@rere.qmqm.pl>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/common.c: Move walk_directory() to here.

src/common.c: Move walk_directory() from thermal plugin

Signed-off-by: Michał Mirosław <mirq-linux@rere.qmqm.pl>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

email plugin: Don't unlink the socket file on startup.

Usually, collectd runs as user root, thus making it an unsafe operation to
unconditionally remove the file even though one should be able to assume
that it "belongs" to collectd.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

collectd.conf(5), collectd.conf: Added the thermal plugin.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/common.c: Not enough memory is an error, not a debug message!

src/Makefile.am: Define HAS_BOOL when building the perl plugin.

This works around a bug in Perl, which despite C99 defining the "bool" type
defines its own version of that type unless HAS_BOOL is defined... :-/

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

Use -Wall -Werror (AM_CFLAGS) when building any module.

A few plugins have to set custom CFLAGS. When using "<plugin>_la_CFLAGS =",
$(AM_CFLAGS) will no longer be used when compiling <plugin> as that resets the
CFLAGS to the empty string. So, in that case, we have to explicitly add
$(AM_CFLAGS) to the custom CFLAGS of that plugin.

After doing so, a couple of problems have been identified which have been
fixed in this patch as well. That includes a possible SEGFAULT in the snmp
plugin which was missing an argument to WARNING().

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

configure: Include libesmtp in the summary output.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

contrib/examples/: Be more verbose about how to handle types.

As suggested by Wolfgang Kroener.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

Merge branch 'master' of /var/lib/git/collectd

Conflicts:

src/email.c

src/common.c: Add end-of-line characters to strsplit()

This fixes plugins that use it to break lines read using fgets()
and forget that "\n" is left at the buffer's end. At least
battery and wireless plugins is affected.

Signed-off-by: Michał Mirosław <mirq-linux@rere.qmqm.pl>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

email plugin: Fix a format string.

src/collectd.conf.in: Fix the NotificationExec example.

src/plugin.c: Add assertions to detect if two linked lists are the same.

This will catch errors as just fixed in the exec plugin in the future.

exec plugin: Set notify->meta to NULL before copying the list.

Otherwise we will run into a nasty endless loop.

exec plugin: Added support for notification meta information.

src/plugin.[ch]: Implement `plugin_notification_meta_copy'.

The exec plugin copies the notifications before creating threads, so we need to
be able to copy the meta data to a second notification.

src/utils_threashold.c: Add meta data to the notifications.

The min/max warning/failure values, the current value and name of the
data source are now included in the meta data part of the notification.

src/plugin.[ch]: Use different functions instead of a void pointer.

src/plugin.[ch]: Add `notification meta data' to notification_t.

The plan is to have arbitrary values attached to notifications that user
defined actions can use to get machine parseable values for building
own notification strings or the like.

For example, the threshold checking stuff will (in the near future) add
the current (offending) value as well as the threshold values themselves
to the notification, so that notifying plugins don't need to parse the
(freely formatted) notification string to get that information.

Build system: Check for and include <stdbool.h>.

email plugin: Cast a `size_t' to `unsigned long' to make format checking happy.

Merge branch 'master' of /var/lib/git/collectd

thermal plugin: Updated the submit function to the new infrastructure.

src/thermal.c: Changed file encoding from ISO-8859-2 to UTF-8.

thermal plugin: Linux ACPI thermal zone plugin

Hello Florian,

On Wed, Jun 11, 2008 at 02:19:14PM +0200, Florian Forster wrote:
> On Mon, Jun 09, 2008 at 08:33:23PM +0200, Michał Mirosław wrote:
> > Here's temperature monitoring plugin using Linux ACPI thermal zone
> > data from /sys/class/thermal/ or /proc/acpi/thermal_zone/.
> thank you very much for your patch :)
> I have a few (minor) requests for changes though ;)
[cut]

I updated the patch basing on your suggestions. You probably can use
the 'walk_directory()' function in other plugins. And it would be
useful to have some standard functions to use in config callback
like boolean entry parser or common ignorelist entry names/parser.
I could send a patch for some cleanups if nobody is working on that,
yet.

Best Regards,
Michał Mirosław

ACPI thermal zone plugin for collectd 4.4.1

Here's temperature monitoring plugin using Linux ACPI thermal zone
data from /sys/class/thermal/ or /proc/acpi/thermal_zone/. Since
this is the same source of data, only first directory found is used.

Plugin configuration:

<Plugin thermal>
ForceUseProcfs true # default is false (prefer new sysfs interface)
        Device "THRM" # default: no selection (include all devices found)
IgnoreSelected true # default is false
</Plugin>

Signed-off-by: Michał Mirosław <mirq-linux@rere.qmqm.pl>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/utils_dns.c: Fix version information for __NAMESER >= 19961001.

Thanks to Oleg for reporting this.
Resolves: #22

Replace all occurrences of `strcpy' with `sstrncpy', again.

This changes all files that are new in 4.4.

Merge branch 'collectd-4.3' into collectd-4.4

src/collectd.h: Use `#pragma GCC poison' to disable evil functions.

libvirt plugin: Replace `strcat' with `strncat'.

Replace all occurrences of `strcpy' with `sstrncpy'.

nginx plugin: Use `strtok_r' instead of `strtok'.

Merge branch 'collectd-4.4'

Merge branch 'collectd-4.3' into collectd-4.4

rrdtool plugin: Put files to the front of the update queue when receiving a flush callback.

wireless plugins: Interpret noise/power values >100 as (dBm + 256).

Hi list,

I currently develop an embedded statistics application and web interface
for OpenWrt Kamikaze based on Collectd and RRDTool.

While working with the wireless plugin I noticed some incompatibilities
with different drivers, namely the Broadcom proprietary driver and madwifi.

  /proc/net/wireless on Broadcom:

   Inter-| sta-|   Quality        |   Discarded packets               | Missed | WE
    face | tus | link level noise |  nwid  crypt   frag  retry   misc | beacon | 18
      wl0: 0000    2.  179.  163.       0      0   8040    723      0        0

  With the Broadcom proprietary driver you get the actual signal and noise
  dbm units by substracting 255 from the values in /proc:

   level: 179 - 255 = -76 dBm
   noise: 163 - 255 = -92 dBm

  /proc/net/wireless on Atheros SoC:

   Inter-| sta-|   Quality        |   Discarded packets               | Missed | WE
    face | tus | link level noise |  nwid  crypt   frag  retry   misc | beacon | 22
     ath0: 0004   21.  -73.  -94.   21841      0      0      0      0        0

  Madwifi writes the actual dBm values into /proc.

So we have (at least for now) three possible types of values:

   ( x > 0.0   && x <= 100.0 ) current implementation: x is in percent (?)

   ( x > 100.0 && x <= 255.0 ) broadcom: range intersects with percents but
values below 100.0 (100.0 - 255.0 = -155.0 dBm)
are somewhat unlikely to occur

   ( x < 0.0 ) atheros: value is already in dBm

A patch which implements the two additional possibilities in collectd's wireless
plugin can be found in the OpenWrt Trac:

https://dev.openwrt.org/browser/packages/utils/collectd/patches/200-wireless-compat.patch

The patch was made against v4.4.0 of collectd but should work with v4.4.1 too.
It would be nice to have this in the next release or so :)

Greetings,
JoW

disk plugin: Use correct name under Linux 2.4

Hello everybody.

I have noticed that disk graphs are displayed by collection.cgi as
disk (71687000) instead of the correct disk name on 2.4.x linux
kernels.
The problem seems caused by the fact that the position of disk name of
/proc/partitions (used in 2.4 kernels) differs from /proc/diskstats
(used in 2.6 kernels).

I include as attachment a patch that seems to fix this problem.
I have tested it on 2.4.20 (REDHAT 9) and 2.6.24.4 (Debian Sid) systems.

Thanks a lot for Collectd. It is a _very_ useful program.

Alessandro

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

network plugin: Don't blindly re-initialize everything in the init callback.

Under Solaris the init functions are called every time the kstat chain
is updated. Since, among other things, send_buffer_fill was set to zero
here, the plugin ``forgot'' about values.

Thank you very much to Eric LeBlanc for debugging this issue.

README: Added the "notify_email" plugin and "libesmtp".

Also, the list of libraries in the "Prerequisites" has been sorted
alphabetically.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

Renamed the desktop_notification plugin in README and collectd.conf as well.

Also, reordered collectd.conf to restore alphabetical sorting.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/collectd.h: Try even harder to determine endianess.

NexentaStor 1.0.2 doesn't have <endian.h>, for example :/

src/plugin.h: Use __attribute__((format)) for plugin_log.

All __attribute__'s will be automatically set to /**/ when not using the
GNU CC via a macro in src/collectd.h. This way this should be portable.

notify_desktop plugin: Renamed the desktop_notification plugin.

This way it's more consistent with the notify_email plugin.

notify_email plugin: Renamed some configuration options.

SMTPHost    -> SMTPServer
SMTPFrom    -> From
SMTPSubject -> Subject
EmailTo     -> Recipient

notify_email plugin: Renamed the `emails' variable to `recipients'.

This is much easier to understand.

notify_email plugin: Some minor code cleanup.

notify_email plugin: Replace all sprintf's with ssnprintf's.

Some other buffer handling has been improved, too.

notify_email plugin: Add plugin to send notifications via email.

Hello, Collectd.

I wrote a new plugin - notify_email.

This plugin will notify you when threshold conditions are met - one email per
one threshold notify. Email can be sent more then one recipient. Plugin does
this by initiating SMTP session to specified SMTP server (it can also do SMTP
AUTH if needed).

Plugin uses libesmtp library.

Please note:
  1. SMTPFrom value sometimes is checked by SMTP server - you
     can get failure from SMTP server if you are using not-existent
     email.

  2. SMTPSubject can contain two '%s' - first for severity and
     second for hostname.

  3. Hostname used in SMTP connection - is hostname_g, hostname
     that is used for all collectd host identification. If it cannot
     be resolved by internet DNS - you can expect problems when sending
     emails.

Patch and new file are included as attach.

Merge branch 'collectd-4.4'

Bumped version to 4.4.1; Updated ChangeLog.