tokkee.org

statsd histogram to support more than 1 second

Summary:
Problem: Collectd/Statsd supports configurable percentiles for timers but it limits the value to be 1 to 1000ms. If the timer value is more than 1000ms, it uses for min, max, average,... and drops it for percentile computation.

Solution: Added support for increasing bin width when the value is above histogram's range.

Test Plan: Tested by sending metrics within range and out-of-range (ie above 1000 ms)

Reviewers: skhajamo, shalstea

Reviewed By: skhajamo

CC: arcyd
Differential Revision: https://all.phab.dev.bloomberg.com/D156454

Merge branch 'collectd-5.3' into collectd-5.4

Conflicts:
src/write_graphite.c

Merge branch 'collectd-4.10' into collectd-5.3

Revert "Let snmp_synch_response deal with PDU freeing"

This reverts commit 9d6f72e5054cfbb183585991fefcf119259d71c4.

The proper fix to this issue is in the collectd-4.10 branch. See also
79e90bba.

Revert "Let snmp_synch_response deal with PDU freeing"

This reverts commit e767dc103a142e1c57800f06a9c384f21a48aef5.

The proper fix to this issue is in the collectd-4.10 branch. See also
79e90bba.

snmp: avoid freeing req under normal operation

Equivalent patch to 79e90bba5, to avoid issue #804 introduced while
fixing #610.

Let snmp_synch_response deal with PDU freeing

When reading from tables, upon errors the PDUs sent are already
freed by snmp_synch_response since they are right after
snmp_send is called.

This commit syncs collectd's approach with other occurences of
snmp_synch_response calls.

There might be a few corner cases where we leak PDUs, but it
is unclear how to check for those since we would need to
have an indication that snmp_send was never called, which
as far as I can tell is not possible.

The potential for failure in snmp_send is rather low and will
be easily spotted though, since when crafting invalid PDUs
snmp send will constantly fail and since valid configurations
can never leak memory.

This fixes #804

Let snmp_synch_response deal with PDU freeing

When reading from tables, upon errors the PDUs sent are already
freed by snmp_synch_response since they are right after
snmp_send is called.

This commit syncs collectd's approach with other occurences of
snmp_synch_response calls.

There might be a few corner cases where we leak PDUs, but it
is unclear how to check for those since we would need to
have an indication that snmp_send was never called, which
as far as I can tell is not possible.

The potential for failure in snmp_send is rather low and will
be easily spotted though, since when crafting invalid PDUs
snmp send will constantly fail and since valid configurations
can never leak memory.

This fixes #804

Merge pull request #796 from mfournier/write_redis-colon-mistake

write_redis: re-add colon dropped in b7984797 + manpage

Link aggregation.so to libm.so

Conflicts:
src/Makefile.am

Merge pull request #765 from tokkee/sh/write-err

Use the complain mechanism to report write failures.

network: don't enable gcrypt thread callbacks when gcrypt recent enough

From `gcrypt.h`:

> NOTE: Since Libgcrypt 1.6 the thread callbacks are not anymore used.
> However we keep it to allow for some source code compatibility if used
> in the standard way.

Otherwise, we get a deprecation warning which is turned into an error:

```
  CC       libcollectdclient_la-network_buffer.lo
../../../src/libcollectdclient/network_buffer.c:58:15: error: 'gcry_thread_cbs' is deprecated (declared at /usr/include/gcrypt.h:213) [-Werror=deprecated-declarations]
 GCRY_THREAD_OPTION_PTHREAD_IMPL;
```

Fixes: #632

add write_redis to manpage

write_redis: re-add colon dropped in b7984797

When running f3706b0b87, the following command gets sent to redis:
  "ZADD" "collectd/hostname/entropy/entropy" "1415487432.000000" "1415487432:932"
Meaning the value actually stored, and later returned by redis is:
"<timstamp>:<value>".

b7984797 accidentally dropped the comma separating the timestamp and the
value, which leads the plugin to store a somewhat confusing value in
redis:
  "ZADD" "collectd/hostname/entropy/entropy" "1415487432.000000" "1415487432932"

redhat initscript: add timeout when stopping the daemon

This mitigates the risk of having 2 daemons running simultaneously
during a short period, on restart.

The debian package's initscript does the same thing, using the same
timeout value.

Merge pull request #764 from tokkee/sh/collectd-5.3

write_graphite plugin: Improved error reporting when connecting to the server.

fix grammar in plugin loading error message

"cause for this problem are" => "cause for this problem is"

logfile: avoid total silence in case of a misconfiguration

Basically the same patch that was applied to syslog.c in 84c38056

correct typo in error message

Syslog: if we can't find the loglevel specified by the configuration string default to 'info' and warn about the unknown configuration option. no way to make syslog totaly silent anymore.

curl_json: fix the array access implemented in f1e1e37e

In the avl-tree we store two different structs, cj_key_t for the value
we search, c_avl_tree_t for sub-nodes.
The old version does assume when it will find a key, and when a tree,
which doesn't have to be right in all cases.
Therefore we utilize the magic to revalidate this cast.
Being able to tell tree from key, we now can also implement array access
on the right most node of the tree-path.

Use the complain mechanism to report write failures.

This ensures that we don't spam the log for each submitted value. Instead, an
exponential backup is used to report permanent errors starting at one message
per second.

write_graphite plugin: Improved error reporting when connecting to the server.

statsd: clarify/simplify documentation & example

Added documentation for StatsD module per added functionality in issue #403.

Bit shift right by 8 to get return code from exit status

Pull-Request: #741
Signed-off-by: Florian Forster <octo@collectd.org>

cpu plugin: Remove temperature code for Mac OS X.

This code would throw an error for some systems, because the temperature
couldn't be read. Since the plugin still works in general, this was very
confusing to users. Becaus the temperature, even when read sucessfully, was
never dispatched, remove the code entirely. We might want to add this back to
the apple_sensors plugin eventually.

Fixes: #22

swap plugin: Make "cached" optional under Linux.

This is the smallest possible fix for OpenVZ, where cached is not available.
master has a more complete fix which should be used going forward.

Fixes: #733

Fix typo in if caluse

Fixes #729

Signed-off-by: Florian Forster <octo@collectd.org>

Merge branch 'collectd-5.3' into collectd-5.4

src/common.c: Fix strstripnewline().

Because the length of the string was decremented too late, the function
would actually overwrite the trailing null byte instead of the newline.

RPM specfile: enable lvm plugin on RHEL7

Merge branch 'collectd-5.3' into collectd-5.4

Conflicts:
contrib/redhat/collectd.spec

RPM specfile: enable netlink plugin on RHEL > 5

RPM specfile: fix bogus dates

modern rpmbuild versions appear to be more strict on this point.

RPM specfile: support for RHEL7

RPM specfile: add missing %files section for modbus plugin

complement to a781eb2c5

RPM specfile: remove define accidentally re-added when handling merge conflict

RPM specfile: remove macro accidentally re-added when handling merge conflict

RPM specfile: remove duplicate modbus block

Merge branch 'collectd-5.3' into collectd-5.4

Conflicts:
src/curl.c

network plugin: Improve client connecting behavior.

This moves the socket creation logic so it's called from
networt_send_buffer_plain(). This allows us to recover after network
failures or when collectd was started before the network was available.

Fixes: #627

src/utils_match.[ch]: Implement match_value_reset().

This is called from the curl and memcachec plugins. Previously, gauge
average, minimum and maximum values were calculated since the start of
the daemon, rather than per-interval. This is not the documented
functionality.

Fixes: #663

curl plugin: Use the utility functions for config handling.

Merge remote-tracking branch 'github/collectd-5.3' into collectd-5.3

src/meta_data.c: If the meta_data_t is empty, avoid calling malloc(0).

src/utils_format_json.c: Handle empty meta_data_t gracefully.

Previously, `meta != NULL` and `keys_num == 0` was possible and would
result in "{}", which is not valid JSON.

Fixes: 716

python plugin: Don't create empty meta_data_t objects.

Fixes: #716

src/utils_rrdcreate.c: Free "args".

Thanks to Yves Mettier for pointing this out!

Fixes: #661

Merge branch 'collectd-5.3' into collectd-5.4

Conflicts:
contrib/redhat/collectd.spec

RPM specfile: update changelog without incrementing release number

GenericJMXConfConnection: Remove unused imports.

java plugin: Make sure cjni_thread_detach() is called on all paths.

Each call to cjni_thread_attach() much be accompanied by
a call to cjni_thread_detach(). Some error handling cases were missing
the call, potentially locking the plugin up.

collectd.conf(5): Improve AutoLoadPlugin documentation.

Make it clear that plugins without a <Plugin /> block will still need a
LoadPlugin line.

References: #715

collectd.conf(5): Improve documentation of LoadPlugin.

Mention AutoLoadPlugin in the relevant places. Add a <Plugin /> block
for the "df" plugin to make it easier to spot that it is preceded by a
<LoadPlugin /> *block*.

Fixes: #715

EL <6 provide perl-ExtUtils-Embed with base perl

Conflicts:
contrib/redhat/collectd.spec

Statsd: support samplerate field in timing metric types

Fixes "Unable to parse line" bug, often seen receiving stats from
OpenStack Swift. Should fix GH issue #461

collectd.conf: Fix default packet size of the network plugin.

Fixes: #710

Merge branch 'collectd-5.3' into collectd-5.4

Conflicts:
contrib/redhat/collectd.spec

Merge branch 'collectd-4.10' into collectd-5.3

curl_xml plugin: Fixed tautological pointer comparison error.

Fixes: http://bugs.debian.org/758481
Signed-off-by: Florian Forster <octo@collectd.org>

collectd.conf(5): add detail & example about multi-instance filterchain targets

snmp: free snmp_pdu struct allocated by snmp_pdu_create()

This should fix the leak reported in issue #610.

Merge pull request #540 from tokkee/configure

configure: Fixed check for libsigrok and AM_PATH_GLIB_2_0.

Merge pull request #689 from ymettier/ym/cd53_fix_tcpconns_inet_diag

Fix for 'linux/inet_diag.h: No such file or directory'

RedHat RPM spec: add modbus plugin

...  now that EPEL6 provides libmodbus

Fix for 'linux/inet_diag.h: No such file or directory'

fix: use DOUBLE_TO_CDTIME_T() to match input type

... as strtod() returns a double not a time_t.

Follow-up to 7d1d59fb to match what ada80db25 does (currently in
master) and avoid a merge conflict.

mistake, SAVE_LIBS="$LIBS" is correct.

patch required to build oracle plugin, collectd-5.4.0 (#653)

Merge pull request #579 from mfournier/libiptc-ldflags

link iptables plugin against flags from pkg-config

Merge pull request #677 from collectd/revert-630-F-METRICS-383-tsdb-writer-5.4

Revert "write_tsdb plugin"

Revert "write_tsdb plugin"

Merge pull request #630 from llnw/F-METRICS-383-tsdb-writer-5.4

write_tsdb plugin

utils_vl_lookup: Fixed a race when creating user objects.

This could cause multiple aggregation instances to be created in the
aggregation plugin when first writing data to the plugin. This, in turn, led
to "value too old" warnings because subsequently all data was submitted twice.

Thanks to @faxm0dem for reporting this in GH #535.

Plugin exec: change notification time to integer.
  Acording to collectd-exec.5 NOTIFICATION DATA FORMAT: time is epoch, i. e. as seconds since 1970-01-01 00:00:00 UTC.

cmd PUTNOTIF time option: handle double values.

Conflicts:
src/utils_cmd_putnotif.c

Plugin java: fix notification time conversion to cdtime_t.

Plugin threshold: time is not set in missing notifications.

Merge pull request #592 from mfournier/bug-582

curl_json: also allow long callback names.

manpage: document 2 missing options to amqp plugin section

add missing backticks which broke the build

write_riemann: coding style consistency

Make the style in line with 50d1b34d6 (from master) and avoid later
merge conflict.

don't assume pkg-config is in PATH

Configparser: when we alocate an empty list, we also need to reset the counter; else we will trip over this later.
This fixes https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=750440

[METRICS-390] Make sure HostTags is initialized if not configured

[METRICS-390] Fix string handling for TSDB prefix and tags

[METRICS-390] Add tag writing from metadata using TSDB target_set patches

[METRICS-383] Add HostTags which adds tags for all metrics from this writer

Uncrustify write_tsdb

Add DeleteSocket option in synopsis of manpage

Signed-off-by: Florian Forster <octo@collectd.org>

[METRICS-383] write_tsdb plugin

add brackets to the list of characters graphite chokes on

Graphite deals poorly with metric names containing quotes.

Sanitize graphite metrics with our own escaping function,
better suited for this use-case than the one in `utils_parse_option`

curl_json: also allow long callback names.

This is basically the same as 2f392819, which got applied to the
curl_xml plugin a few months ago.

Fixes #582.

Fix check for htonll in configure.ac

fix for #477: Notification time gone wrong

Sub-second time handling was added in collectd 5.0.0. This adds support
for this to the target_notification plugin, which got missed out at the
time.

Fix getargs declaration to compile in AIX7

AIX doesn't have MSG_DONTWAIT, define as MSG_NONBLOCK

Updated Color to match DataSources and DSName for single-series graphs.