tokkee.org

csnmp_read_table: Change GETNEXT request behaviour (+ bugfix 235)

This patch changes the snmp GETNEXT request behaviour implemented in snmp.c.

The old implementation requested all OIDs using GETNEXT requests until all OIDs
left their own subtree. In cases were trees in a Data template are much longer
than other trees the shorter subtrees were re-requested over and over again.

The new implementation will only request OIDs that did not already leave their
subtrees (see the oid_todo_list implementation for details). This renders the
function csnmp_check_res_left_subtree useless as the oid_todo_list keeps track
if all OIDs have finished.

During tests against Cat6500 (CatOS/IOS) as well as Nexus5k (NX-OS) it looks as
though GETNEXT requests (when requesting multiple OIDs like all 14 dot3Stats
errors from Etherlike-MIB) can take about 5-10ms (CatOS 30ms) longer if they wrap
to the next OID.

This does not sound much but when collecting data for the Etherlike-MIB (that only
has entries for physical interfaces) with a collectd "Instance" variable in IF-MIB
(that has entries for all physical as well as pseudo [SVIs, VLANs, ...] interfaces)
this can make a notable difference (e.g. for core routers that have all SVIs and
VLANs but only some switches attached):

IOS-Core-Router   ifName                 550 entries
                  dot3StatsFCSErrors      70 entries
                                        ------------
                                         480 entries * 10ms =  4.8s overhead

CatOS-Access-Sw.  ifName                 840 entries
                  dot3StatsFCSErrors     490 entries
                                        ------------
                                         350 entries * 30ms = 10.5s overhead

After refactoring csnmp_read_table "Instance" and "Value" OIDs are now handled
consistently (so no pointer-forward foo needed). It doesn't change any logic
and data structures, though - so there should not be any impact to other
functions.

The refactored code also fixes GitHub bugs #235 and #258. This bug is due to
reusing the status variable in following code section which might lead to errors
if the subtrees are of different length:

1436    /* Calculate the current suffix. This is later used to check that the
1437     * suffix is increasing. This also checks if we left the subtree */
1438    status = csnmp_oid_suffix (&suffix, &vb_name, data->values + i);

Signed-off-by: Florian Forster <octo@collectd.org>

configure.in: Yet another attempt at fixing the mess that is AC_LANG_PROGRAM().

configure.in: Quote AC_LANG_PROGRAM and remove AC_INCLUDES_DEFAULT.

The latter isn't expanded anymore when quoted. There's no easy way
around this :\

Merge branch 'collectd-4.10' into collectd-5.1

Conflicts:
src/curl_json.c

curl_xml plugin: Check for a curl_easy_perform() error first

The value of CURLINFO_RESPONSE_CODE isn't valid otherwise.
Also, use the symbolic name CURLE_OK in all plugins where
appropriate.

Change-Id: I17ae9c7eea393ee4641296b5484c93809a662dd9
Signed-off-by: Florian Forster <octo@collectd.org>

Fix memory leaks when plugin gets no results

Signed-off-by: Florian Forster <octo@collectd.org>

exec plugin: Fix a copy'n'paste mistake in a comment.

Thanks to Robert Riches Jr for the hint.

Add upstart configuration file for Ubuntu, Debian and RedHat distros

Signed-off-by: Florian Forster <octo@collectd.org>

curl_json plugin: Call yajl_complete_parse() / yajl_parse_complete() only once.

The cURL callback may be called several times, so we need to call the
complete() function after perform() returns.

Add protection from infinite redirect loops to curl-using plugins

Signed-off-by: Florian Forster <octo@collectd.org>

curl_xml plugin: Fix potential dereference of NULL pointer.

I managed to get collectd to segfault in a couple of places while
playing with it a bit. The first is in the curl_xml module when the
XPATH expression doesn't quite match the input. The crash occurs on line
407 when instance_node->nodeTab[0] is dereferenced. At this point, all
members of instance_node are 0, so dereferencing the array isn't a good
idea. This patch fixes the problem, although I'm not sure if this
particular case actually deserves its own error message.

Signed-off-by: Florian Forster <octo@collectd.org>

src/plugin.c: Initialize "next_read" field of read callbacks.

Fixes Github issue #230.

Merge branch 'collectd-4.10' into collectd-5.1

Conflicts:
src/curl_json.c

curl's numeric options are always at minimum long, never int

This can affect portability to some architectures.

Signed-off-by: Florian Forster <octo@collectd.org>

cpu plugin: Remove broken debug message.

The message was uninformative and did cast a pointer to an int,
resulting in a compile error.

Bumped version to 5.1.2; Updated ChangeLog.

Added "tar-pax" (bugfix for long filenames with make distcheck)

Signed-off-by: Florian Forster <octo@collectd.org>

src/Makefile.am: Fix "make distcheck".

protoc-c has a weird handling of files not in the CWD: They have to be
specified with the "-I" option _and_ you need to specify the full path
to the file.

make distcheck : perllocal.pod was missing. Fixed

Signed-off-by: Florian Forster <octo@collectd.org>

Fix make distcheck (against release 5.1.1)

Signed-off-by: Florian Forster <octo@collectd.org>

logfile plugin: Make "do_close" a boolean.

If the file isn't closed such as when logging to stdout or stderr the file must be flushed for it to get out of the IO buffers right away.

Signed-off-by: Florian Forster <octo@collectd.org>

src/utils_dns.c: Improve ordering of includes.

sys, followed by net, followed by netinet, followed by arpa
that should be the most logical order

Signed-off-by: Florian Forster <octo@collectd.org>

write_graphite plugin: Remove two more redundant error messages.

The failing functions already print an error message; don't spam the logs
by duplicating this.

Further fixes Github issue #236.

src/utils_complain.[ch]: Fix the complaint mechanism after the sub-second change.

write_graphite: Use the complain mechanism to report connection errors.

Fixes Github issue #236. Thanks to @pyr for reporting it!

Merge branch 'collectd-4.10' into collectd-5.1

dbi plugin: Replace cdbi_config_set_string() with cf_util_get_string().

Fixed a small typo in the ethstat plugin

Signed-off-by: Florian Forster <octo@collectd.org>

ethstat plugin: Fix the map lookup.

Previously, a pointer into the configuration structure was used to look
up the mappings. Because the configuration structure is freed or
otherwise modified, this does not work as intended (and may actually
lead to a segmentation fault when unlucky).

For completeness sake, a shutdown callback was added to free the used
memory on exit.

Fixes Github issue 224.

src/types.db: Remove the maximum value from "timeleft".

zfs_arc plugin: Fix the type used for mutex misses.

Thanks to Yves Mettier for pointing this out!

Updating data source for collectd v5, see https://collectd.org/wiki/index.php/V4_to_v5_migration_guide

Signed-off-by: Florian Forster <octo@collectd.org>

varnish plugin: Make sure the argument passed to VSM_n_Arg() is not NULL.

Fixes Github issue 202.

Merge branch 'collectd-5.0' into collectd-5.1

Merge branch 'collectd-4.10' into collectd-5.0

src/network.c: Fix the build on FreeBSD.

<gcrypt.h> accepts a definition called GCRYPT_NO_DEPRECATED to disable
deprecated functionality. Unfortunately, this definition is not
sufficient to suppress all warnings. However, FreeBSD's version of
libgcrypt has been fixed to properly remove all deprecated features.

Signed-off-by: Florian Forster <octo@collectd.org>

Bump version to 5.1.1; Update ChangeLog.

Merge branch 'collectd-5.0' into collectd-5.1

Conflicts:
ChangeLog
version-gen.sh

Bump version to 5.0.5; Update ChangeLog.

Merge branch 'collectd-4.10' into collectd-5.0

Conflicts:
ChangeLog
src/pyvalues.c
version-gen.sh

Update version-gen.sh.

Bump version to 4.10.8; Update ChangeLog.

ping plugin: Don't abort the "ping_thread" when ping_send() fails.

This may happen when the network is down. If the thread fails, the read
callback will indicate an error and the exponential back-off will start.
This is not optimal for this scenario, since you usually want to have
ping stats from right when the network is back up.

Fixes Github issue #171.

ping plugin: Refactor "ping_thread": Move iteration over hosts into a function.

1) Cleans up one configure.ac error AC_LINK_IFELSE requires AC_LANG_PROGRAM (or something similar) to get the setup right.
2) Fix for maintaier-clean so that you can run the autoreconf build script multiple times.
3) Clean up the generated man pages when running cleanup.

Signed-off-by: Florian Forster <octo@collectd.org>

collectd-python.conf(5): fix register_* argument description

Signed-off-by: Florian Forster <octo@collectd.org>

collectd-python.conf(5): change phrasing of function descriptions

Signed-off-by: Florian Forster <octo@collectd.org>

collectd-python.conf(5): change phrasing of minimum required version

Signed-off-by: Florian Forster <octo@collectd.org>

collectd-python.conf(5): fix trivial spelling mistakes

Signed-off-by: Florian Forster <octo@collectd.org>

collectd-python.conf(5): capitalize Python

Signed-off-by: Florian Forster <octo@collectd.org>

collection3: Remove duplicate definition of contains_invalid_chars().

Thanks to Jonathan Amiez for pointing this out!

Fixes Github issue #160.

network.c: call gcry_check_version() as required by library.

Signed-off-by: Florian Forster <octo@collectd.org>

Merge remote-tracking branch 'trenkel/collectd-4.10' into collectd-4.10

Change the libnetlink function used to query link statistics to match iproute2's behavior and thus not trip on the kernel's new parsing of optional attributes for RTM_GETLINK.

Signed-off-by: Florian Forster <octo@collectd.org>

Merge branch 'collectd-5.0' into collectd-5.1

Merge branch 'collectd-4.10' into collectd-5.0

Conflicts:
src/utils_db_query.c
src/utils_db_query.h

disk plugin: Multiply the average read/write latency with the interval.

The counter/derive will later be divided by the interval, resulting in too
small rates (for interval > 1.0).

Should fix issue #150. Thanks to Manuel Sanmartin for identifying this problem!

python: Fix memory leaks.

network.c: workaround for broken OSX compilers issuing false warnings

Signed-off-by: Florian Forster <octo@collectd.org>

Merge remote-tracking branch 'origin/collectd-5.1' into collectd-5.1

src/utils_db_query.[ch]: Remove duplicate "const" modifier.

Merge branch 'collectd-5.0' into collectd-5.1

Conflicts:
src/snmp.c

Merge branch 'collectd-4.10' into collectd-5.0

Conflicts:
src/snmp.c

Merge branch 'ff/snmp' into collectd-4.10

src/utils_avltree.c: Fix an off-by-one error in c_avl_insert().

When inserting the first node in the tree, the size is not incremented.
This causes c_avl_size() to return one element too little.

Thanks to Yves Mettier for debugging this!

snmp plugin: Fix incorrect comparison in csnmp_oid_compare().

snmp plugin: Check the return value of csnmp_oid_suffix().

Also fix an issue where the complete OID is compared with only the suffix.

Thanks to Mark Juric to test the changes and point out these problems.

Issue: #131

The commit 3bda88e8b425f43644e303e6957e38ae59c1bc83 change the shell from sh to bash.
To fix the configure script generation error: remove the echo whith \c used in sh.

Note: bash is not installed in AIX by default.
Signed-off-by: Florian Forster <octo@collectd.org>

snmp plugin: Fix iterating over tables without an instance configuration.

Also should fix incorrect handling of instance values; the first one would
be skipped.

configure: Only set the Perl interpreter if the argument is a file.

This fixes Github issue #137.

Fixed bugs that prevented to "make distcheck"

Fixes Github issue #132.

Signed-off-by: Florian Forster <octo@collectd.org>

Merge branch 'collectd-5.0' into collectd-5.1

Merge branch 'collectd-4.10' into collectd-5.0

Conflicts:
src/utils_db_query.c
src/zfs_arc.c

Fix for Solaris when setting ip-opt multicast-loop (must be a char, not int).
General logging additions for tracking down the problem.

Signed-off-by: Florian Forster <octo@collectd.org>

Multithreading fix: localize unneeded global variable

ethstat plugin: Initialize realloc'ated memory.

The last element in "interfaces" is not guaranteed to be zeroed, resulting in a
segfault when cf_util_get_string() tries to free the "pointer".

Thanks to Mark T. Voelker for reporting and analyzing this bug!
This should fix Github issue #133.

ethstat plugin: Fix off-by-one error.

This hopefully fixes Github issue #135.

snmp plugin: Improve subtree matching.

Some MIBs use subtrees with an unusual OID naming schema. For example,
some network hardware encodes the MAC address in the last six parts of
the OID. Previously, the code only checked the last part of the OID
("sub-id") and assumed this was increasing. This assumption is not true
in such naming schemas and is not required by SNMP. This patch fixes
this behavior by comparing the entire "OID suffix".

This hopefully fixes Github issue #131.

snmp plugin: Expand tabs.

snmp plugin: Rename a couple of confusing variables.

"head" and "tail" are way better names, I hope.

snmp plugin: Improve some comments.

libs varnish & varnishcompat are NOT needed. "pkg-config --libs varnishapi" output only libvarnishapi as well

Signed-off-by: Florian Forster <octo@collectd.org>

bindings/Makefile: perl: Use INSTALL_BASE rather than PREFIX.

Some versions of Perl / ExtUtils::MakeMaker will else abort with an error
message explaining INSTALL_BASE and PREFIX may not be used both. However, I
don't know where the other definition comes from.

Signed-off-by: Florian Forster <octo@collectd.org>

configure: Don't add -liptc to the global LIBS setting.

AC_SEARCH_LIBS() would do that, so save and restore LIBS when calling that
macro.

Signed-off-by: Florian Forster <octo@collectd.org>

configure: Use AC_INCLUDES_DEFAULT when checking any libkvm stuff.

kvm.h requires sys/types.h to be included. Using AC_INCLUDES_DEFAULT will
hopefully make sure that we're save for a bit ;-)

Signed-off-by: Florian Forster <octo@collectd.org>

curl_xml plugin: Mark read-only strings as const.

fix Host config being ignored

Change-Id: I8a109818d8a821e2f3e0660fbb6ba1843279fcc2
Signed-off-by: Florian Forster <octo@collectd.org>

apcups plugin: Retry sending the "status" command.

If that fails more than twice in the first 10 iterations, gracefully shut
down the socket in all future iterations.

This should fix Github issue #15.

apcups plugin: Add function net_shutdown().

apcups plugin: Make sure the socket is closed on errors.

src/utils_db_query.c: Use the right field when checking for size.

Revert "swap plugin: Add the "ReportBytes" option."

This reverts commit 25fd1667c186eb871a4b66f9866d6446e41f1bc2.

swap plugin: Add the "ReportBytes" option.

When enabled, swap I/O is reported in bytes, not pages. Only valid for Linux.

This should fix Github issue #10.

exec plugin: Really remove STDERR from the select() set.

select(2) is actually using a variable called "copy", which we didn't set in
this case.

Fixes Github issue #12. Thanks to Tetsuya Kawaguchi for reporting this problem.

configure.in: Make sure sa_familiy_t is defined when checking rtnl_dump_filter().

netlink plugin: Check for the number of arguments to 'rtnl_dump_filter'.

In recent versions of iproute2, 'rtnl_dump_filter' expects three rather than
five arguments.

This should fix Github issue #7.

Signed-off-by: Florian Forster <octo@collectd.org>

Fixed collectd's unixsock read interrupted by SIGCHLD's.

Signed-off-by: Florian Forster <octo@collectd.org>

Fixed various collectd memory leaks.

Once I understood what's going on I tried to keep the changes to a minimum.

Signed-off-by: Florian Forster <octo@collectd.org>

Merge branch 'ff/kstat' into collectd-4.10