tokkee.org

snmp plugin: Some coding style fixes.

* Rename "oid_todo_list" to "oid_list_todo".
* Rename "j" to "oid_list_todo_num".
* Fix indentation.
* Declare variables at beginning of block.

csnmp_read_table: Change GETNEXT request behaviour (+ bugfix 235)

This patch changes the snmp GETNEXT request behaviour implemented in snmp.c.

The old implementation requested all OIDs using GETNEXT requests until all OIDs
left their own subtree. In cases were trees in a Data template are much longer
than other trees the shorter subtrees were re-requested over and over again.

The new implementation will only request OIDs that did not already leave their
subtrees (see the oid_todo_list implementation for details). This renders the
function csnmp_check_res_left_subtree useless as the oid_todo_list keeps track
if all OIDs have finished.

During tests against Cat6500 (CatOS/IOS) as well as Nexus5k (NX-OS) it looks as
though GETNEXT requests (when requesting multiple OIDs like all 14 dot3Stats
errors from Etherlike-MIB) can take about 5-10ms (CatOS 30ms) longer if they wrap
to the next OID.

This does not sound much but when collecting data for the Etherlike-MIB (that only
has entries for physical interfaces) with a collectd "Instance" variable in IF-MIB
(that has entries for all physical as well as pseudo [SVIs, VLANs, ...] interfaces)
this can make a notable difference (e.g. for core routers that have all SVIs and
VLANs but only some switches attached):

IOS-Core-Router   ifName                 550 entries
                  dot3StatsFCSErrors      70 entries
                                        ------------
                                         480 entries * 10ms =  4.8s overhead

CatOS-Access-Sw.  ifName                 840 entries
                  dot3StatsFCSErrors     490 entries
                                        ------------
                                         350 entries * 30ms = 10.5s overhead

After refactoring csnmp_read_table "Instance" and "Value" OIDs are now handled
consistently (so no pointer-forward foo needed). It doesn't change any logic
and data structures, though - so there should not be any impact to other
functions.

The refactored code also fixes GitHub bugs #235 and #258. This bug is due to
reusing the status variable in following code section which might lead to errors
if the subtrees are of different length:

1436    /* Calculate the current suffix. This is later used to check that the
1437     * suffix is increasing. This also checks if we left the subtree */
1438    status = csnmp_oid_suffix (&suffix, &vb_name, data->values + i);

Signed-off-by: Florian Forster <octo@collectd.org>

configure.in: Yet another attempt at fixing the mess that is AC_LANG_PROGRAM().

thermal plugin: set the hostname

Signed-off-by: Markus Knetschke <markus.knetschke@gmail.com>
Signed-off-by: Florian Forster <octo@collectd.org>

thermal plugin: fixed value submitting

Signed-off-by: Markus Knetschke <markus.knetschke@gmail.com>
Signed-off-by: Florian Forster <octo@collectd.org>

Allow parsing plugin_instance in parse_option().

isalnum() is not enough to catch the underscore.

Signed-off-by: Florian Forster <octo@collectd.org>

mysql plugin: Call mysql_init() only once.

Apparently, if you call it with a structure allocated by mysql_init()
itself, it leaks memory. Thanks to Yves Mettier for pointing this out!

Fixes Github issue #274.

configure.in: Fix quoting of AC_LANG_PROGRAM().

Autoconf 2.68 complains about that and aborts building the configure
script. *sigh*

rrdtool plugin: Use cdrand_range() for the random variation.

src/utils_random.[ch]: Provide thread-safe random numbers.

write_mongodb plugin: Add authentication options.

Fixes Github issue #282.

Increase MAX_NUMDISKS

On large systems (particularly ZFS systems using large JBODs), it's
quite possible to have more than 256 disks.

Signed-off-by: Florian Forster <octo@collectd.org>

respect riemann's terminology

Signed-off-by: Florian Forster <octo@collectd.org>

Get rid of a compiler warning with gcc 4.6.3

...a futile warning that nevertheless kills the build thanks
to -Werror: "variable 'status' set but not used"

Signed-off-by: Florian Forster <octo@collectd.org>

curl_xml plugin: Fixed typo in documentation

Signed-off-by: Florian Forster <octo@collectd.org>

Merge branch 'collectd-5.2'

Conflicts:
configure.in

Merge branch 'collectd-5.1' into collectd-5.2

Merge branch 'kn/snort'

src/plugin.c: Assert that "data_sets" is non-NULL.

Otherwise we might run into an assertion in the AVL tree. This can be
triggered e.g. when calling plugin_get_ds() from within a config
callback.

tail_csv plugin: Implement the "TimeFrom" option.

tail_csv plugin: Rename the "Index" option to "ValueFrom".

tail_csv plugin: Some bug fixes.

* Query types in the init-phase rather than the config-phase. The
  types.db is not guaranteed to be available at that time.
* Make sure the "Instance" option in the <File /> blocks is optional.

Merge branch 'jw/libvirt'

tail_csv plugin: Rename "Instance" blocks to "File".

This way the syntax of tail_csv's configuration is closer to that of the
csv plugin.

tail_csv plugin: Rename the "snort" plugin to "tail_csv".

It's actually much more generic than just Snort, so give it an
appropriately generic name.

configure.in: Quote AC_LANG_PROGRAM and remove AC_INCLUDES_DEFAULT.

The latter isn't expanded anymore when quoted. There's no easy way
around this :\

Added instance type "total"

Reports memory allocation in bytes, not kilobytes.

Applied the suggested changes.

uuid plugin: Improve parsing of the dmidecode output.

The entire business of dividing by sizeof(char) only made the code
unreadable, because by specification sizeof(char) evaluates to 1. The
defines were expanded and the parsing is now less sensitive to
formatting changes in the dmidecode output. Module global variables have
been moved to the top.

Fixes Github issue #267 in the process.

Merge remote branch 'origin/master'

curl_xml plugin: Change the "Namespace" config option …

… to expect two strings: prefix and URL separately. This way the parsing
is done in the config parser and we don't have to interpret special
characters in a string.

src/filter_chain.c: Fixed typos in error messages

Signed-off-by: Florian Forster <octo@collectd.org>

Fix automatic link flags with libgcrypt 1.5.0

AM_PATH_LIBGCRYPT from libgcrypt 1.5.0 sets the variables
LIBGCRYPT_CPPFLAGS and LIBGCRYPT_LIBS with their proper
values, not GCRYPT_CPPFLAGS and GCRYPT_LIBS.

Signed-off-by: Florian Forster <octo@collectd.org>

curl_xml plugin: Added support for XML namespaces

Signed-off-by: Florian Forster <octo@collectd.org>

curl_xml plugin: Allow XML element nodes to be selected for text

This is a pretty basic use case, namely to select text within an XML
element, instead of just attribute values.

Signed-off-by: Florian Forster <octo@collectd.org>

curl* plugins: Added support for POST and arbitrary headers

These plugins can now be used for things like SOAP or XML-RPC calls.

Signed-off-by: Florian Forster <octo@collectd.org>

Merge branch 'collectd-5.2'

Conflicts:
src/plugin.c

Merge branch 'collectd-5.1' into collectd-5.2

Merge branch 'collectd-4.10' into collectd-5.1

Conflicts:
src/curl_json.c

curl_xml plugin: Check for a curl_easy_perform() error first

The value of CURLINFO_RESPONSE_CODE isn't valid otherwise.
Also, use the symbolic name CURLE_OK in all plugins where
appropriate.

Change-Id: I17ae9c7eea393ee4641296b5484c93809a662dd9
Signed-off-by: Florian Forster <octo@collectd.org>

snort plugin: Replace the mmap() code with the tail-code from collectd.

This makes following along a file more I/O friendly, I hope. Also, we
don't need to do quite as much buffer processing because lines are
already split for us. Also, in the unlikely case that Snort is writing
the stats file more often than collectd reads it, this will pick up all
intermediate values.

configure.in: Update for autoconf 2.68.

Merge branch 'ff/rrd-async'

collectd.conf(5): Improve documentation of CreateFilesAsync.

Fix memory leaks when plugin gets no results

Signed-off-by: Florian Forster <octo@collectd.org>

AUTHORS, README: Add Kris and the snort plugin.

collectd.conf(5): Add information about the snort plugin.

snort plugin: Free md->instance in snort_metric_definition_destroy().

rrdtool and rrdcached plugins: Don't update the file if ...

... it is being created asynchronously.

src/plugin.c: Assure rf->rf_next_read is initialized.

Otherwise read callbacks will be called twice on startup, causing all
sorts of trouble.

src/utils_rrdcreate.c: Lock files to be created.

This works around an issue where RRDtool crashes due to two threads
trying to create the same file at the same time. This shouldn't happen
in normal operation, but an attacker could cause this, e.g. with
specially crafted network packets.

src/utils_rrdcreate.c: Add folding markers.

src/utils_rrdcreate.c: Free allocated memory in all error handling cases.

rrdtool, rrdcached plugin: Whitespace fix.

src/utils_rrdcreate.[ch]: Implement the srrd_create_async() function.

This new functionality, which is also exported by the rrdtool and
rrdcached plguins, allows to create new RRD files in the background.
This avoid blocking write threads on the RRD creation, when hundreds of
files need to be created.

See also Github issues #243 and #244.

libvirt: Added support for memory allocation

exec plugin: Fix a copy'n'paste mistake in a comment.

Thanks to Robert Riches Jr for the hint.

Add upstart configuration file for Ubuntu, Debian and RedHat distros

Signed-off-by: Florian Forster <octo@collectd.org>

Merge branch 'mf/redhat' into collectd-5.2

Fixes Github issue #220.

snort plugin: Implement the "Instance" config option.

snort plugin: Assert that the configured "type" has only one data source.

Also uses the utility function from configfile.h to read the metric
definition's name.

snort plugin: Split the snort_read() function.

snort_read() handles the file opening / mmap part of the process.
snort_read_buffer() parses the buffer, splits the last line and calls
the submit function. This way cleaning up the FD and memory mapping is
easier in case of an error when parsing the file.

snort plugin: Improve error handling.

This prevents file descriptors and memory from leaking if something goes
wrong, e.g. the last line in the file is a comment.

snort plugin: Replace strsep() (a BSD extension).

snort plugin: Add a bounady check when reading from the metrics array.

Also renamed "count" to "metrics_num" to make it clear that the two
relate to one another.

curl_json plugin: Call yajl_complete_parse() / yajl_parse_complete() only once.

The cURL callback may be called several times, so we need to call the
complete() function after perform() returns.

Updated configuration directives.
--

Requested changes committed.

Requested changes applied.

--

snort plugin added

src/plugin.c: Use cdtime_t to calculate the sleep intervals.

Since it's easier to do calculations with cdtime_t than struct timespec,
the code becomes easier to read and maintain.

Add protection from infinite redirect loops to curl-using plugins

Signed-off-by: Florian Forster <octo@collectd.org>

Fix a NULL pointer dereference during shutdown

Signed-off-by: Florian Forster <octo@collectd.org>

curl_xml plugin: Fix potential dereference of NULL pointer.

I managed to get collectd to segfault in a couple of places while
playing with it a bit. The first is in the curl_xml module when the
XPATH expression doesn't quite match the input. The crash occurs on line
407 when instance_node->nodeTab[0] is dereferenced. At this point, all
members of instance_node are 0, so dereferencing the array isn't a good
idea. This patch fixes the problem, although I'm not sure if this
particular case actually deserves its own error message.

Signed-off-by: Florian Forster <octo@collectd.org>

src/plugin.c: Initialize "next_read" field of read callbacks.

Fixes Github issue #230.

src/Makefile.am: Only add path to lcc_features.h to binaries linked against libcollectdclient.

Allow out-of-tree builds

The generated header file lcc_features.h and collectd.h cause problems
otherwise.

Signed-off-by: Florian Forster <octo@collectd.org>

src/Makefile.am: Fix compilation of the riemann.proto file.

Merge branch 'collectd-5.2'

Merge branch 'collectd-5.1' into collectd-5.2

Merge branch 'collectd-4.10' into collectd-5.1

Conflicts:
src/curl_json.c

curl's numeric options are always at minimum long, never int

This can affect portability to some architectures.

Signed-off-by: Florian Forster <octo@collectd.org>

postgresql plugin: Fix cast (was breaking aliasing rules).

postgresql.c: In function 'c_psql_flush':
postgresql.c:974: warning: dereferencing type-punned pointer will break strict-aliasing rules

pf plugin: Fix checking for <net/pfvar.h>.

The header is not self-contained, so we need to include appropriate
headers in the configure check as well.

pf plugin: Define {F,S}CNT_NAMES.

Apparently they are only defined in the pfctl sources, not in the
system's header files for some reason.

pf plugin: Fix a typo.

s/status/state/g

cpu plugin: Remove broken debug message.

The message was uninformative and did cast a pointer to an int,
resulting in a compile error.

Merge remote-tracking branch 'github/collectd-5.2' into collectd-5.2

ChangeLog: Fix typo.

ChangeLog: Fixed version number for 5.2.1 ;-)

src/utils_tail.c: Remove multiple newlines at EOL.

Merge remote-tracking branch 'github-tokkee/sh/netapp'

Merge remote-tracking branch 'github-tokkee/sh/postgresql'

write_graphite plugin: Change <Carbon> blocks to <Node> blocks.

Many other write plugins, e.g. write_{mongodb,redis,riemann} use the
<Node "name"> syntax. This adds code to handle this syntax as well.

While the documentation doesn't mention it, the old <Carbon> syntax
(without a name) is still supported for backwards compatibility.

postgresql plugin: If a query fails, try to reconnect immediately.

Else, we would unnecessarily skip one iteration even when being able to
reconnect right away.

postgresql plugin: Don't do any SQL query when checking the connection.

First of all, this is not needed -- PQstatus() will correctly determine a
failed connection without that. Secondly, the "SELECT 42" that was used before
does not work, e.g. when querying PgBouncer (thanks to renchap for reporting
this on IRC!).

Updated ChangeLog.

Merge remote-tracking branch 'origin/collectd-5.2' into collectd-5.2

Bumped version to 5.2.1; Updated ChangeLog.