tokkee.org

unixsock plugin: Fix a (well hidden) race condition.

Within the client handling thread, fdopen is called twice on the file
descriptor passed to the thread. Later those file handles are closed like:

  fclose (fhin);
  fclose (fhout);

This is a race condition, because the first call to fclose will close the file
descriptor. The second call to fclose will try the same. Usually, it would fail
silently and all is well. On a busy machine, however, another thread may just
have opened a file or accepted a socket. In that case an arbitrary file
descriptor is closed. If the file descriptor is opened yet again fast enough,
data may even end up in a totally wrong location.

As a work-around the file descriptor is not dup'ed so each fdopen operates on
its own file descriptor. As an alternative the "r+" mode and a single file
handle may be suitable, too.

Many thanks to Sven Trenkel for pointing me into the right directioin :)

libiptc: Comment out two unused static functions.

Thanks to Sven Trenkel for noticing.

processes plugin: Fix handling of Linux 2.4.

Hi Florian et al

Thanks for the reply, but we detect a minor bug in the previous patch
due to kernel 2.4

The correct patch is attached. The bug is related with kernels 2.4,
where task/ directory do not exists and ps_read_task return -1, which is
catched and raise an error (breaking the ps_read_process function), so a
NaN is dispatched istead of values (number of process:1, number of
threads :1).

Sorry for the inconvenience :(

Regards,
  Andres

Signed-off-by: Florian Forster <octo@leeloo.lan.home.verplant.org>

perl plugin: Declare the “environ” variable.

processes plugin: Case argument of “isdigit” to int.

On some platforms passing a char there causes problems :/

processes plugin: Remove unnecessary call of realloc(3).

Hi Florian (et al)

> you're right, the (re-)allocation of the memory can probably be avoided
> if the function is turned into one with the following prototype:
> -- 8< --
>  static int *ps_read_tasks (int pid,
>     unsigned long *ret_num_proc,
>     unsigned long *ret_num_lwp);
> -- >8 --

Mmm, why not something like: "static int ps_read_task(pid)"?
This returns the number of task for pid passed as argument.
(AFAIK the function only return the number ot threads), why
we need the ret_num_proc and the ret_num_lwp parameters?

My proposal is attached (code is always cleaner than explanations :P)

Regards,
  Andres

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

Build system: Check for “libiptc/libip6tc.h” and “linux/netfilter/x_tables.h”, too.

Apparently “linux/netfilter/x_tables.h” is not available with older
kernels which leads to build fails there:
-- 8< --
 In file included from libiptc.c:47,
                  from libip4tc.c:136:
 xtables.h:24:38: linux/netfilter/x_tables.h: No such file or directory
-- >8 --

src/owniptc/Makefile.am: Don't search KERNEL_DIR for headers.

The iptc library is currenly only enabled, if the required headers where
found without “-I${KERNEL_DIR}”. Adding it to the CFLAGS when building
the shipped version of libiptc just breaks things, for example on
“collectd-master-amd64-linux-2.6”:
  Linux hotdamn 2.6.9-42.ELsmp #1 SMP Tue Aug 15 10:35:26 BST 2006 x86_64 x86_64 x86_64 GNU/Linux

README: Document the “--with-libiptc=shipped” option.

Build system: Further improve libiptc handling.

Only check for “iptc_handle_t” and “ip6tc_handle_t” if using a
system-wide version of libiptc. If we use the shipped version, we *know*
it provides these types.

Build system: Improve detection of the iptc library.

When checking for the iptc headers and data types, the configure script
added the kernel directory to the CFLAGS. Later, when actually building
the iptables plugin, the CFLAGS were left untouched.

At least on Debian, the “real” kernel headers are not required – the
libc versions in /usr/include/linux are sufficient. The usage of
KERNEL_DIR has therefore been removed from the iptc checks.

In addition, an directory specified by “--with-libiptc=/path” is no
longer added to the global CFLAGS but rather to the iptables specific
CPPFLAGS.

Hopefully this resolved build problems on various platforms.

contrib/collection3: skip host dirs without read access.

This patch prevents get_files_from_directory() from
failing when DataDir contains directories which we
don't have access to.

An example would be "lost+found" directories, on
ext2/ext3 filesystems, which belong to root and have
0700 filemode.

Signed-off-by: Marc Fournier <marc.fournier@camptocamp.com>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

contrib/collection3: “Invokations” → “Invocations”.

D'oh!

contrib/collection3: Add a vertical label to the “java_memory” type.

contrib/collection3: Added the “invokations” type.

contrib/collection3: Use “{plugin_inst}/{type_inst}” for “{instance}”

… if both are present. Otherwise, use just the one that is available.

contrib/collection3: Add support for the “threads” and “total_requests” types.

exec plugin: Clear the signal block mask before calling exec(2).

exec plugin: Avoid a warning when freeing meta data.

contrib/collection3: Suppress warnings about non-existent classes.

configure.in: Make it possible to force the shipped version of libiptc.

You can force the shipped version of libiptc using:
  --with-libiptc=shipped

Apparently enough systems include broken versions of that library :/

configure.in: Quote $CFLAGS when assigning to another variable.

Bumped version to 4.7.3; Updated ChangeLog.

Merge branch 'collectd-4.6' into collectd-4.7

Conflicts:
ChangeLog
version-gen.sh

Bump version to 4.6.5.

collection3: Added some more metrics.

Fixed the year of the first three entries.

They say it was 2004, but in fact they were released in 2005.

ChangeLog: Add entries for release 4.6.5.

powerdns plugin: Use the “ipt_packets” type rather than “io_packets”.

“io_packets”, as the name suggests, requires incoming *and* outgoing
packets. The infrastructure of the powerdns plugin uses only value lists
with one data source though.

Thanks to Luke for noticing!

contrib/collectd_unix_sock.rb: Ruby class which abstracts the plain text protocol.

Used to talk to the unixsock plugin.

Signed-off-by: Florian Forster <octo@leeloo.lan.home.verplant.org>

Merged branch 'sh/collectd-4.6' into sh/collectd-4.7.

Conflicts:
src/iptables.c

To resolve the conflict, the changes to the iptables plugin have been updated
to support ip6tc as well.

iptables plugin: Support the new libiptc API.

When libiptc has been officially made available as a shared library, the API
and ABI have been changed slightly. By checking for the existance of a type
that has been removed in that course, configure now checks which version is
available. This is quite error prone (the type might be re-introduced any
time), so this should be improved some time - currently, I do not have an idea
how to do so, though :-/

configure: Replaced src/libiptc/ with src/owniptc/.

Merge branch 'collectd-4.6' into collectd-4.7

Conflicts:
configure.in
src/iptables.c

src/owniptc: Moved the “src/libiptc” directory to “src/owniptc” to avoid build issues.

If there is a system-wide version of this library available, the “-I.”
argument (added automatically by automake :() will lead to the shipped
header files being used. Later, the binary is linked with the
system-wide library, which leads to severe problems when API/ABI
incompatibilities have been introduced in other versions.

mysql plugin: Improve the `mysql_ping' warning.

network plugin: Move the gcrypt initialization into “network_init”.

network plugin: Fix initialization of the gcrypt library.

Subject: Ohhhh jeeee, libgcrypt 1.4.1 + collectd 4.7.2

On Monday 31 August 2009 09:03:37 Sebastian Harl wrote:
> Hrm … from a quick look at the libcrypt documentation I suppose we need
> to call gcry_control() using the 'GCRYCTL_INIT_SECMEM' command to
> explicitly initialize the secure memory. Sounds like this was required
> in libgcrypt 1.4.1 but is handled automatically in later versions.
>

also looks like there's some special initialization necessary for threads. I
doubt that this is handled by the new default behavior in 1.4.4. Don't know
that it's truly necessary if the network plugin is the only plugin using
gcrypt.

Here's a patch that works for me with 1.4.1.
I followed an example for pthread initialization and  initialized gcry to 32k,
only since that's apparently the default that's used in 1.4.3. I did it in
network.c's module_register function. Kind of an abuse, I know.

Luke Heberling

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

contrib/collection3: Allow numbers in type names.

When converting the on-disk type name to the displayed name,
do not strip numbers out.

Signed-off-by: Florian Forster <octo@leeloo.lan.home.verplant.org>

contrib/collection3: GenericStacked: Use stacking by default.

contrib/collection3: Option to turn stacking off in GenericStacking

CDEFs are not stacked and AREAs are not added when "Stacking" is set to off.

Signed-off-by: Florian Forster <octo@leeloo.lan.home.verplant.org>

src/plugin.c: unregister_read: llist_search may return NULL.

Handle these cases gracefully.

contrib/collection.cgi: Fix spam_check graph for email plugin.

Corrects DS name to fix email plugin's spam_check graph.

Signed-off-by: Brad Fritz <brad@fewerhassles.com>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

collection3: Add a module for the “java_memory” type.

collection3: Add the possibility to scale generic graphs.

contrib/cussh.pl: Add synopsis for specific commands.

You can now do
  HELP FLUSH
to get information about the FLUSH command.

contrib/cussh.pl: Fix a typo in the `FLUSH' command.

README: liboping is no longer shipped.

contrib/collection3: Common.pm: Sort identifiers by filename.

df plugin: Check ignorelists before stat'ing the filesystem.

 → See also: http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=542859

powerdns plugin: Fix handling of the “LocalSocket” config option.

 → See also: http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=535787

powerdns plugin: Set a timeout for the datagram socket.

 → See also: http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=535787

Merge branch 'collectd-4.6' into collectd-4.7

Conflicts:
src/apache.c

Plugins using libcurl: Enable the ‘CURLOPT_FOLLOWLOCATION’ option.

This hopefully fixes Debian#541953.

Removed remaining traces of the "main" chain.

The chains are called "PreCache" and "PostCache" now.

java plugin: Fix configuration with multiple blocks.

The number of children was not updated.

java plugin: Wait with the configuration until the daemon has forked.

Passing the configuration to Java-based plugins requires the JVM to be
active and running. However, the JVM starts some threads that are lost
when the daemon forks to the background.

This patch changes the behavior of the Java plugin to copy the
configuration blocks found to a local variable and run the configuration
of the Java-based plugins from the `init' callback, because it is
invoked after the daemon has forked to the background.

Merge branch 'collectd-4.6' into collectd-4.7

contrib/fedora/init.d-collectd: Fix condrestart.

on upgrade collectd is not restarted
https://bugzilla.redhat.com/show_bug.cgi?id=516273

Signed-off-by: Alan Pevec <apevec@redhat.com>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/utils_cache.c: Update GETVAL output when missing state.

Hi

I think that I've found a bug when use unixsock plugin. The problem is
releate with missing state, when no value is received by daemon for a
while in the cache is marked as MISSING, but the last value is still
showing even when machine is not reporting in a GETVAL and LISTVAL
commands. Some utlities like collectd-nagios does not work correctly,
and report an OKAY value when host is not reporting from a long time.

I attach a patch with check the state value of an cache entry in
uc_get_names and in uc_get_rate_by_name. This patch works for me, but
it's not very tested yet, and I not very sure about if it's a good way
to check the problem. The patch is tested on 4.7.2 release version.

BTW a GETSTATE command will be an useful feature too :P

Regards,
  Andres

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/utils_cache.c: Update GETVAL output when missing state.

Hi

I think that I've found a bug when use unixsock plugin. The problem is
releate with missing state, when no value is received by daemon for a
while in the cache is marked as MISSING, but the last value is still
showing even when machine is not reporting in a GETVAL and LISTVAL
commands. Some utlities like collectd-nagios does not work correctly,
and report an OKAY value when host is not reporting from a long time.

I attach a patch with check the state value of an cache entry in
uc_get_names and in uc_get_rate_by_name. This patch works for me, but
it's not very tested yet, and I not very sure about if it's a good way
to check the problem. The patch is tested on 4.7.2 release version.

BTW a GETSTATE command will be an useful feature too :P

Regards,
  Andres

Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/plugin.c: Make `plugin_unregister_read' functional again.

libvirt plugin: Further improve the connection handling.

Use the complaint mechanism for failed connection attempts and handle multiple
`Connection' configuration options like other options in other plugins (i. e.
later options overwrite earlier settings of the same name).

libvirt plugin: Re-connect to libvirtd if connecting fails.

https://bugzilla.redhat.com/show_bug.cgi?id=480997

Signed-off-by: Alan Pevec <apevec@redhat.com>
Signed-off-by: Florian Forster <octo@huhu.verplant.org>

src/meta_data.c: Fix a typo.

collectd.conf(5): Fix two minor typos.

network plugin: Fix an incorrectly used configuration variable.

The `CacheFlush' option was assigned to the `TTL' variable. Ouch.

Version 4.6 and earlier are not effected.

Merge remote branch 'tokkee/sh/collectd-4.6' into collectd-4.6

contrib/collection3: Don't use SI prefix for number of processes

I, at least, don't normally measure processes in "milliprocesses".

Signed-off-by: Florian Forster <octo@leeloo.lan.home.verplant.org>

collection3/etc/collection.conf: Reencoded in UTF-8.

Depending on the locale settings, RRDtool might fail to handle "special
characters" correctly. Using UTF-8 is a way to work around that issue.

Thanks to Daniel Danner for reporting and testing this.

src/utils_cache.c: Make really sure to free the right cache entry.

Make sure we do not try to free a (possibly some random) cache entry after
removing it from the AVL tree. Potentially, this might have caused invalid
free()s in some rare situations.

src/collectd.conf.in: Fix a typo.

ChangeLog: Fix a typo.

ChangeLog: Fix a typo.

Bumped version to 4.7.2; Updated ChangeLog.

Merge branch 'collectd-4.6' into collectd-4.7

Conflicts:
ChangeLog
version-gen.sh

Bumped version to 4.6.4; Updated ChangeLog.

Merge branch 'collectd-4.6' into collectd-4.7

Conflicts:

src/memcached.c

src/configfile.c: Warn if an unexpected block is found.

If the `snmp' plugin isn't loaded (but a configuration exists), no
warning is printed because there are only blocks in the SNMP
configuration..

build.sh, version-gen.sh: Remove bashisms.

Thanks to Peter Bray for pointing them out.

src/utils_cache.c: `ce' *is* written to in `c_avl_remove'.

Therefore we should definitely free it.

src/utils_cache.c: uc_check_timeout: Don't free a `ce' from the previous iteration.

This may habe been a cause of the reported assertion failure, too.

src/utils_cache.c: Add a missing `continue'.

tokkee on IRC & I think we found a bug with utils_cache.c. The uc_check_timeout
function is missing a continue after the "uninteresting" service check, that
causes a key to be null.

This probably caused an assertion failure in cache_compare as reported by
Mariusz.

cpu plugin: Fix a typo.

memcached plugin: Pass `ai_hints' to `getaddrinfo'.

Merge branch 'collectd-4.6' into collectd-4.7

bindings/java/Makefile.am: Fully support $DESTDIR.

src/Makefile: Link the ping plugin against libm.

The plugin now uses sqrt() which is provided by the math lib.

collectd2html.pl: Added --recursive command line option.

This option may be used to recursively scan the specified directory for RRD
files. This way, the script works reasonably well with collectd 4.

Thanks to 'ABL <abl@xxx.lt>' for providing an initial patch in Debian bug
 #482185.

collectd2html.pl: Allow for --imgformat to be passed to rrdtool.

This was reported as Debian bug #482185.

Signed-off-by: Sebastian Harl <sh@tokkee.org>

gmond plugin: Use `strtoull' to parse counter values.

Instead of `strtoll'.

src/common.c: More reliable error reporting in `parse_values'.

configure.in: Add -rpath to JAVA_LDFLAGS.

Merge branch 'collectd-4.6' into collectd-4.7

src/utils_cache.c: Try to improve code readability.

Unfortunately, there is quite some magic going on there :/

src/utils_cache.c: Fix OKAY notifications for missing values.

src/Makefile.am: Link the `sensors' plugin against libsensors.

This regression was introduced in 451d75ba.

dns plugin: Improve debug message.

libcollectdclient/client.c: Made sstrerror() static.

This is a private helper function only.

Bumped version to 4.7.1; Updated ChangeLog.