tokkee.org

src/utils_cache.[ch]: Added the `uc_check_timeout' function.

This function is called before the read plugins. It checks if values are
missing, i. e. have not been reported for longer than twice their ``interval''.
In this case a notification is created, though this is probably not the final
behavior.
This code is highly experimental.

Merge branch 'master' of octo@verplant.org:/var/lib/git/collectd

src/utils_llist.[ch]: Changed the semantic so module doesn't copy the `key'.

Whilst looking at my implementation of the plugins we've discussed which are
now using dual avl trees, I saw that the utils_llist module would be a more
efficient substitute for the second avl tree. However, it would need to know
its size and would preferably not duplicate and own the key for each item.
Here's a patch which does this. These changes might make it easier for future
plugins to use the linked list for similar purposes, similar to the way the avl
tree does not impose any lifetime on its keys.

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/plugin.[ch]: Removed the complain functions.

iptables plugin: Removed the `complain' stuff.

apcups plugin: Removed the `complain' stuff.

cpu plugin: Removed the `complain' stuff.

disk plugin: Removed the `complain' stuff.

Merge branch 'ps/reuse'

contrib/network-proxy.py: Added a simply (unicast) proxy for collectd traffic.

ntpd plugin: Added the `ReverseLookups' option to disable reverse lookups.

Thanks to Simon Richter for pointing this out.

Merge branch 'ps/reuse'

network plugin: Fix setsockopt for SO_REUSEADDR since value of loop variable changed

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

Merge branch 'ps/reuse'

examples/MyPlugin.pm: Updated for new version of the perl plugin.

 * use Collectd.pm and removed "Collectd::" prefix
 * pass callbacks by name to plugin_register()

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

Unmarked the perl plugin to be experimental.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

collectd-perl(5): Replaced "BUGS" with "CAVEATS" section.

The bugs section is no longer relevant, however, the users should be warned
about some (mostly Perl ithread specific) limitations.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

perl plugin: Fixed a memory leak in pplugin_register_data_set().

The data set definition is copied by plugin_register_data_set() (in plugin.c)
and thus should be freed after it has been passed on to the plugin module.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

collectdmon: Added SIGHUP handler to restart collectd.

This might be useful for init scripts and the like to restart the collectd
process only.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

collectdmon(1): Added manpage for collectdmon.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

collectdmon: Added a small daemon monitoring collectd.

This is a small "wrapper" daemon which starts and monitors the collectd
daemon. If collectd terminates it will automatically be restarted, unless
collectdmon was told to shut it down.

Current features:

 * restarting the daemon
 * logging to syslog
 * detection of quickly, repeatedly respawning processes
   (similar to SysV init)

collectdmon is similar to mysqld_safe.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

network plugin: Set SO_REUSEADDR on socket so multiple listeners can share port

This patch allows other programs to bind same port and process data from clients
not interfering with master collectd server.

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/utils_avltree.h: Improved the documentation.

The `key' argument is not copied and freed automatically. This was
insufficiently documented in the documentation..

logfile plugin: Default to $localstatedir/log/collectd.log instead of STDOUT.

Imho STDOUT is only a useful default during debugging (which should be by far
the less common case ;-). In any other case it might just "pollute" the
messages printed by e.g. the init script.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

collectd.conf(5): Fixed some typos.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

perl plugin: Made global variables available to Perl plugins.

The "let's become magical" commit.

Each global variable (currently hostname_g and interval_g) will be exported by
introducing an equally named Perl variable. Perl's concept of "magic" is used
to create a read/write interface to the C variables (think of the variables as
being tied). This way any changes to the C variables will be immediately
accessible from the Perl plugin and vice versa.

perl plugin: Improved some error messages.

perl plugin: Shut down an ithread if the embedding pthread terminates.

Each ithread object is registered as thread specific data along with a
destructor function. If the embedding pthread terminates the destructor is
called which takes care of cleanly shutting down the appropriate Perl
interpreter and freeing any related resources.

perl plugin: Fixed error in ithread shutdown loop.

Using the sfree() macro, the loop variable was accidentally set to NULL at the
end of the loop, causing the loop to terminate after the first iteration.

perl plugin: Execute END blocks in main thread only.

Each END block is executed during perl_destruct() which happens once for each
ithread. As the number of ithreads are in no way related to any Perl plugins
this is not what we want. Now, each END block is only executed when the main
threads terminates (which happens after any other Perl thread has been shut
down).

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/Makefile.am: Add installation directory defines to AM_CPPFLAGS.

Those definitions used to be available when compiling collectd itself only.
However, they should be available to the plugins as well - else, different
paths would be used within different parts of collectd.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

collectd-perl(5): Suggest the usage of -f when enabling the Perl debugger.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

Collectd.pm: Improved error handling of failed callbacks.

If call_by_name() failed, it will be handled the same way as if the callback
returned "false". The $@ variable may now be used by plugins as well to
describe errors in greater detail.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

collectd-perl(5): Updated documenation of plugin_register().

Document the usage of names instead of references to identify callbacks.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

Collectd.pm: Use threads::shared to share @plugins between threads.

The list of plugins has to be common to all threads to be able to (un)register
callbacks after initialization. As threads::shared is not able to share
references to subroutines the callbacks now have to be identified by their
name. Collectd::call_by_name() is used to execute the callbacks.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

perl plugin: Removed newline from debugging output.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

perl plugin: Removed logging calls from call_by_name().

The function might be called from a logging callback resulting in an infinite
loop. Instead the error message is now saved in $@.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

perl plugin: Added Collectd::call_by_name().

This XSUB passes on a function call to a subroutine identified by its name
passed through $Collectd::cb_name. Collectd::call_by_name does not touch the
stack (unless in case of an error), thus any arguments and return values are
kept in place.

This function is meant to be used inside Collectd.pm only.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

Collectd.pm: Removed an unused variable.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

README: Added libperl to the list of dependencies.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

Collectd.pm: Check for ithread support.

Abort if perl has been compiled without ithread support (i.e.
$Config{'useithreads'} is not defined).

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

perl plugin: Added debugging output to display the ithread behavior.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

bindings/Makefile.am: perl/Makefile depends on config.status.

Any configuration changes should be forwarded to the perl bindings. This patch
will cause perl/Makefile to be recreated after a rerun of the configure
script.

Signed-off-by: Sebastian Harl <sh@tokkee.org>

perl plugin: Added basic multi-threading support.

This patch maps each C thread, which accesses the perl plugin, to an
interpreter based Perl thread. The implementation has been inspired by Perl's
ithreads introduced in version 5.6.0 and should be compatible (as in: can be
used side-by-side) with it. You can use threads::shared to share data
structures between threads of either implementation.

Signed-off-by: Sebastian Harl <sh@tokkee.org>

perl plugin: Use PERL_NO_GET_CONTEXT.

All Perl_* API functions have been replaced with their unprefixed
counterparts. The currently used Perl interpreter is passed along to each
function requiring access to it. This removes the need to access the global
variable keeping the pointer to the Perl interpreter in most cases but the
entry points into the plugin (i.e. the callbacks registered with collectd).

This prepares the plugin to efficiently support multiple interpreters.

Signed-off-by: Sebastian Harl <sh@tokkee.org>

configure, perl plugin: Check for ithreads support.

Disable the perl plugin if Perl does not support ithreads (introduced in Perl
5.6). The configure script will check, if USE_ITHREADS has been defined. Also,
the perl plugin won't build if it has not been defined.

Signed-off-by: Sebastian Harl <sh@tokkee.org>

Merge branch 'ff/fqdn'

collectd: The new `FQDNLookup' option controls whether or not the FQDN should be used.

So far the hostname as returned by `gethostname(2)' was used. This is not
practical for large setups.

To stay backwards compatible the option is disabled by default, but the sample
config file includes a line which sets this option so that (new) default
installations will have it enabled.

csv plugin: Add the possibility to store rates of counter DSes.

collectd.conf(5): Renamed the `libvirtstats' plugin to `libvirt'.

Also formatting and formulations have been changed a little.

libvirt plugin: Renamed the `libvirtstats' plugin to `libvirt'.

Merge branch 'collectd-4.2'

Conflicts:

src/types.db

Bumped version to 4.2.1; Updated ChangeLog.

Merge branch 'collectd-4.1' into collectd-4.2

Conflicts:

ChangeLog
contrib/PerlLib/Collectd.pm
version-gen.sh

Bumped version to 4.1.4; Updated ChangeLog

configure.in: Improved the detection of libxml2 and libvirt.

libvirtstats plugin: Fix typos and other mistakes.

I didn't find them before because I couldn't compile the plugin without the
library at hand.

configure.in: Change the libvirt detection so it works with my non-standard path.

libvirtstats plugin: Minor cleanups.

contrib/collection.cgi: Fix the types related to the processes plugin.

contrib/collection.cgi: Fix the ps_rss graph.

contrib/collection.cgi: Add some missing types and labels.

src/Makefile.am: Fix "make dist" to include utils_threshold.h

Hello,

Attached is a trivial Makefile patch so that when using "make dist", you
actually get the src/utils_threshold.h file, which is needed to successfully
build.

Signed-off-by: Chris Lalancette <clalance@redhat.com>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

libvirtstats plugin: Add the `HostnameFormat' option.

This is something I missed out of the previous patch: I want a way to log
guests using their UUID instead of their name (more useful for us because of
the migration and other issues outlined before).

This adds:

   <Plugin libvirtstats>
     HostnameFormat "uuid"
   </Plugin>

to let us do that. You can do other things as well such as:

   HostnameFormat "name uuid"

to get "foo:1234-1234-1234-1234" as the hostname.

Rich.

Merge branch 'rj/libvirtstats'

Conflicts:

AUTHORS

configure.in: Fixed spaces followed by tabs and trailing whitespaces.

libvirtstats plugin: Added a plugin to collect virtual host statistics.

  - rebased to git
  - includes updates to the manpage
  - ignorelist code now fixed
  - removed debugging messages

Attached is a plugin allowing collectd to use libvirt to collect CPU, disk and
network statistics for domains.

Usage

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

uuid plugin: Add a plugin which sets the hostname to an UUID.

Florian Forster wrote:
> Just out of curiosity: Why don't hostnames work for you?

For guests there's the question of what we put in the hostname field. The
previous plugin (libvirtstats) puts the guest's name in this field, but there
are some problems with this:

   physicalserver1 <--- (hostname of physical server)
     |
      \--- database <--- (name of guest)
      \--- web

   physicalserver2
     |
      \--- database
      \--- web

   coldbackupserver
     |
     (no guests)

Guest names aren't really unique. Different physical servers may have guests
with overlapping names as in the example above. Also guest names aren't fixed.
Xen in particular renames guests at will. For example if a guest is about to
migrate then Xen renames the guest as 'migrating-foo' and if the guest is about
to shutdown Xen renames it as 'Zombie-foo'. The administrator of the physical
server can also rename guests.

While you're migrating you'll have an intermediate situation like this:

   physicalserver1
     |
      \--- migrating-database
      \--- migrating-web     |
                             | migration
   coldbackupserver          |
     |                       V
      \--- database
      \--- web

During live migrations the old instance ('migrating-foo') is still running.

The UUID is unique across physical servers, and is copied by migration and
preserved across shutdowns so if you care about which guest your stats "really"
came from then only the UUID tells you this.

Guests also have a hostname which is separate from the guest's name (the
guest's name is stored in the hypervisor, the hostname is stored inside the
guest's kernel). However it's not feasible to access the guest's hostname from
the hypervisor since this would involve some sort of snooping into the guest
kernel. The guest might be running Windows or FreeBSD etc. The only feasible
way to get this is to run an instance of collectd inside each guest, but then
the uuid plugin will also work in this scenario and can get the UUID since it
is exposed inside the guest either through an emulated BIOS or in
/sys/hypervisor/uuid.

Rich.

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

Merge branch 'collectd-4.1' into collectd-4.2

Conflicts:

contrib/README
src/snmp.c
src/types.db

snmp plugin: Don't try to free the request PDU - it segfaults for some reason.

According to other code I've seen this is never done by anyone else, so this
must mean that the snmp library takes care of this somehow. Man, I love well
documented libraries!

snmp plugin: Be even more eager to free PDU structures.

snmp plugin: (Hopefully) fix a memory leak.

contrib/snmp-data.conf: Added even more UPS stuff.

contrib/fedora/collectd.spec: Updated for version 4.2.0

exec plugin: Allow arguments to be passed to the executed scripts.

Untested! Also, you can use the new config option `NagiosExec' to execute
Nagios scripts. The not yet implemented `NotificationExec' is supposed to
dispatch notifications to executables.

exec plugin: Set PID of failed programs back to zero.

Otherwise the program will not be executed ever again after it failed once.

exec plugin: Added markers to fold methods in vim.

contrib/exec-munin.px: Added a simple Perl script which makes it possible to use Munin plugins in collectd.

The script has an embedded POD documentation.

src/utils_threshold.c: Added creation of a notification.

src/utils_threshold.[ch]: Added `ut_check_threshold' to check values against the configures thesholds.

This function is called from `plugin_dispatch_values' and prints a warning when
the values is outside of the configured threshold.

Merge branch 'pull/collectd-4.1' into collectd-4.1

tcpconns plugin: Done complain when reading one of the files fails.

This should remove an error message on non-IPv6-enabled hosts..

src/configfile.c: Handle the `<Threshold>' block correctly.

I. e. pass it to `ut_config'.

src/utils_threshold.[ch]: Added the header file and initialize the AVL tree.

contrib/snmp-data.conf: Added some more RMSes and UPS stuff.

Merge branch 'collectd-4.2'

Merge branch 'collectd-4.1' into collectd-4.2

Conflicts:

src/collectd-snmp.pod

types.db: Fix a typo: s/humitidy/humidity/

types.db: Ordered the entries alphabetically and added `voltage_threshold'.

rrdtool plugin: Wait for the ``queue thread'' to exit _after_ signaling it to exit..

collectd-snmp(5): Fix typos.

src/utils_threshold.c: Added configuration code for threshold values.

The new module `utils_threshold' is supposed to check values and create and
dispatch a notification when the value is not within the threshold.

So far the code is only able to parse a configuration - and even that is
untested so far. It compiles, though ;)

src/utils_cache.c: Initialize the mutex correctly.

src/plugin.[ch]: Added a notification type and auxiliary functions.

src/utils_cache.c: Detect when a counter wraps around

and calculate the difference correctly.

collectd.conf: Added nginx module.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/utils_cache.[ch]: Added a global cache for all values that are dispatched.

The cache translates counter values to gauge values using the last counter
value available. This can then be used to check against threshold values, as
we'll need to do for monitoring functionality.

Right now the cache doesn't do much: It sits there and caches the values, but
is not yet ever queried. The already implemented (but so far unused) function
`uc_get_rate' returns an array of gauge_t values.

The longterm goal is to have the network, rrdtool and unixsock plugins use this
cache, too. This will require some `plugin specific' data with appropriate
control structures and, which is likely the hardest part, some clever locking
for all that.

perl plugin: Set $0 to "collectd".

perl_parse() has to set it to "-e" which is not very meaningful. It would
be even nicer to set it to argv[0] but this is not available from inside
the plugin.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

collectd.h: Removed legacy definition of operation modes.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

plugin.h: Make DEBUG() a noop when compiling without debugging support.

This saves a couple of useless calls to plugin_log() which the compiler
does not detect and remove itself.

A couple of DEBUG()'s in the apcups, hddtemp, mbmon and ntpd plugins have
been upgraded to INFO()'s. All of them provide error messages of failed
system / libc calls which should be available to the user somehow.
Besides, they use a local string buffer which generates an "unused
variable" warning if DEBUG() expands to a noop.

Signed-off-by: Sebastian Harl <sh@tokkee.org>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>