tokkee.org

processes: Show real disk IO in addition to process IO (Linux only)

Before this patch, Collectd reports /proc/PID/io fields 'io_rchar/io_wchar' as
'ps_disk_octets' type and 'io_syscr/io_syscw' as 'ps_disk_ops' type.
The names of these types do not match values they represent.

New, correct mapping implemented:

 io_rchar/io_wchar      -> io_octets   (was ps_disk_octets, not used anymore)
 io_syscr/io_syscw      -> io_ops      (was ps_disk_ops, not used anymore)
 read_bytes/write_bytes -> disk_octets (new data collected)

Closes: #1990

Merge pull request #1989 from rpv-tomsk/processes

processes plugin: Code cleanup + add per-process open files count

processes plugin: collect per-process open files count on Linux
Closes: #836

processes plugin: Update all counters via ps_update_counter()
Fix counting when matched processes are started and terminated often.

processes plugin: Code cleanup

Merge pull request #2199 from jaroug/support_attributes_kairosdb

Add support for 'Attribute' option on KAIROSDB output format

Merge pull request #2223 from maryamtahhan/intel_rdt_core_id_fix

intel_rdt: fix validation of configured core id values

Merge pull request #2225 from maryamtahhan/dpdstat_portmask_fix

dpdkstat: Enable all ports by default.

dpdkstat: Enable all ports by default.

If "EnabledPortMask" option is not set
all DPDK ports will be monitored.

Signed-off-by: Taras Chornyi <tarasx.chornyi@intel.com>

intel_rdt: fix validation of configured core id values

Change-Id: Ia009635c93e1cecd9852326b01c62fc6d2b090b5
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

Merge pull request #2215 from maryamtahhan/dpdkstats_upstream

dpdkstat: doc updated with initialization time notice

dpdkstat: doc updated with initialization time notice

Change-Id: Ia13c35e4112e74990896edb597d39c1f8ab14b6e
Signed-off-by: Krzysztof Matczak <krzysztofx.matczak@intel.com>

Merge pull request #2213 from maryamtahhan/ovs_enable_platforms

ovs: enable only supported platforms (#2203)

ovs: enable only supported platforms

fixes GitHub issue #2203

Change-Id: I4d19b38b776f6b98fa3e4eb42e11b92dee7f8399
Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>

Merge pull request #2211 from maryamtahhan/feat_ovs_events_change_defaults

ovs_events: change configuration option defaults

Merge pull request #2212 from maryamtahhan/ovs_events_scan_build

ovs_events: fixes issue #2205

ovs_events: fix scan-build warnings #2205

src/utils_ovs.c:366:20: warning: Access to field 'type' results in a dereference of a null pointer (loaded from variable 'jval')
              (int)(jval)->type);
                   ^~~~~~~~~~~~
...

Change-Id: Ic856d21f2121f920bdd2043c69620555bb3d1cb8
Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>

ovs_events: change configuration option defaults

Right now, the plugin dispatches values by default and doesn't send
any notification messages. The expected behaviour of the event plugin
is to send notification by default. So, changed default value of
SendNotification & DispatchValues options to opposite.

Change-Id: I908799da1b2e75d2089765769ce56af00246c440
Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>

Merge pull request #2207 from maryamtahhan/fix_for_2201

ovs_stats: Increase devname buffer

Increase devname buffer buffer to ensure that snprintf output
would not be truncated before the last format character

Signed-off-by: Taras Chornyi <tarasx.chornyi@intel.com>

collectd.spec: move new plugins to subpackages

collectd.spec: add ovs_stats plugin

virt plugin: fix build warning

CC       src/virt_la-virt.lo
src/virt.c:417:37: warning: comparison of integers of different signs: 'int' and 'unsigned long' [-Wsign-compare]
  if ((tag_index < 0) || (tag_index >= STATIC_ARRAY_SIZE(tags))) {
                          ~~~~~~~~~ ^  ~~~~~~~~~~~~~~~~~~~~~~~
1 warning generated.

Merge branch 'collectd-5.7'

Conflicts:
contrib/redhat/collectd.spec

Merge branch 'collectd-5.6' into collectd-5.7

Conflicts:
contrib/redhat/collectd.spec

collectd.spec: Don't enable XFS support on RHEL6

It is missing for i386.
If there's strong interest in having support for xfs in the df plugin in
RHEL6 we can do some macro magic to only BuildRequire xfsprogs-devel if
were not on rhel6 i386, but this was the easiest fix and unblocks our
package builds.

spec: Don't enable XFS support on RHEL6

It is missing for i386.

Add dpkdevents plugin to spec file

utils_cmd_flush.c: fix another build warning

src/utils_cmd_flush.c:140:11: warning: declaration shadows a local variable [-Wshadow]
      int status;
          ^
src/utils_cmd_flush.c:114:7: note: previous declaration is here
  int status;
      ^

utils_cmd_flush.c: fix build warning

CC       src/utils_cmd_flush.lo
src/utils_cmd_flush.c:139:12: warning: declaration shadows a local variable [-Wshadow]
      char buffer[1024];
           ^
src/utils_cmd_flush.c:108:47: note: previous declaration is here
cmd_status_t cmd_handle_flush(FILE *fh, char *buffer) {
                                              ^

ovs_stats plugin: fix some more build warnings

CC       src/ovs_stats_la-ovs_stats.lo
src/ovs_stats.c:158:8: warning: 'const' type qualifier on return type has no effect [-Wignored-qualifiers]
static const iface_counter ovs_stats_counter_name_to_type(const char *counter) {
       ^~~~~~
src/ovs_stats.c:356:29: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
          for (int i = 0; i < ports_num; i++)
                          ~ ^ ~~~~~~~~~
src/ovs_stats.c:401:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < YAJL_GET_OBJECT(bridges)->len; i++) {
                    ~ ^ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/ovs_stats.c:415:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < YAJL_GET_OBJECT(bridges)->len; i++) {
                    ~ ^ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/ovs_stats.c:501:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < YAJL_GET_OBJECT(ports)->len; i++) {
                    ~ ^ ~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/ovs_stats.c:524:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < YAJL_GET_OBJECT(ports)->len; i++) {
                    ~ ^ ~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/ovs_stats.c:538:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < YAJL_GET_ARRAY(stats)->len; i++) {
                    ~ ^ ~~~~~~~~~~~~~~~~~~~~~~~~~~
src/ovs_stats.c:558:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < YAJL_GET_ARRAY(ext_ids)->len; i++) {
                    ~ ^ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
src/ovs_stats.c:684:23: warning: comparison of integers of different signs: 'int' and 'size_t' (aka 'unsigned long') [-Wsign-compare]
    for (int i = 0; i < YAJL_GET_OBJECT(ports)->len; i++)
                    ~ ^ ~~~~~~~~~~~~~~~~~~~~~~~~~~~
9 warnings generated.

ovs_stats plugin: fix build warning

src/ovs_stats.c:158:8: warning: 'const' type qualifier on return type has no effect [-Wignored-qualifiers]
static const iface_counter ovs_stats_counter_name_to_type(const char *counter) {
       ^~~~~~

Merge branch 'collectd-5.7'

Conflicts:
configure.ac

Merge branch 'collectd-5.6' into collectd-5.7

Merge pull request #2204 from collectd/check-for-cap-is-supported

Check for the CAP_IS_SUPPORTED macro

Check for the CAP_IS_SUPPORTED macro

On EPEL6:
src/daemon/common.c: In function 'check_capability':
src/daemon/common.c:1571: error: implicit declaration of function 'CAP_IS_SUPPORTED'
make[1]: *** [src/daemon/common.lo] Error 1

fix spelling again

fix spelling

switch back 'http_attrs_num' to type size_t

remove unnecessary newline

add support for new parameter 'Attribute'

add doc on new parameter 'Attribute'

optional parameter 'Attribute' for kairosdb

Merge pull request #2137 from maryamtahhan/feat_ovs_stats

ovs_stats: Implement OVS statistics plugin.

Merge branch 'collectd-5.7'

Conflicts:
configure.ac

Merge branch 'collectd-5.6' into collectd-5.7

look for cap_get_proc instead of cap_get_bound

a2ddc38 switched the capability check from cap_get_bound() to
cap_get_proc()

Merge pull request #2151 from mfournier/check_capability-rewrite-fix

daemon/common.c: Fix check_capability() by using cap_get_proc()

Merge branch 'collectd-5.7'

Merge branch 'collectd-5.6' into collectd-5.7

Conflicts:
src/utils_match.c

smart: log warning if CAP_SYS_RAWIO is missing

Related to #2143

Merge pull request #2157 from maryamtahhan/dpdkevents_upstream

Plugin for getting DPDK ports link status and keep alive events.

Merge pull request #2192 from maryamtahhan/bugfix_regex_memleak

fix for memory leak in utils_match.c

Merge pull request #2194 from maryamtahhan/feat_dpdkstat_fix

dpdkstat: fix retrieval of statistics

dpdkstat: fix retrieval of statistics

This change forces dpdkstat plugin to check if memory needs to be resized on
every DPDK_CMD_GET_STATS command, rather than resizing it only once at
initialization. Additionally it fixes incorrect metric retrieval logic, which
allows plugin to dispatch metrics only if number of retrieved extended statistics
is equal to allocated stats array size for port. Based on DPDK API documentation
rte_eth_xstats_get (and rte_eth_xstats_get_names) function can return positive
value lower than array size, which isn't considered a failure.

If primary DPDK process is restarted with a greater number of ports bound to
DPDK driver while collectd dpdkstat plugin is running, then memory isn't resized.
Due to insufficient memory allocation dpdkstat plugin is unable to gather metrics
from new ports.

Change-Id: I25c8995105a322474653bf7065c2228047f886b1
Signed-off-by: Przemyslaw Szczerbik <przemyslawx.szczerbik@intel.com>

fix for memory leak in utils_match.c

Change-Id: I058afae8c0a99115bda70e125840fc6bd224b358
Signed-off-by: Krzysztof Matczak <krzysztofx.matczak@intel.com>

dpdkevents: PR comments addressed

RTE version check changed to compile time. Adressing PR
review comments. Minor format changes

Change-Id: Ie345a6009a291490323f614183362dfce8e6a5e6

Merge pull request #2169 from ipavlikevich/master

virt plugin: fix skipping inactive domains

Merge branch 'collectd-5.7'

Merge branch 'collectd-5.6' into collectd-5.7

log_logstash: send log messages to STDERR by default

See also dec394e08

src/daemon/collectd.c: do not refer to syslog in error message

... as the message the user would be looking for can be found on
stderr/stdout or in any configured logfile.

logfile: send log messages to STDERR by default

This prevents early startup log messages from going unnoticed if the
default logfile isn't writeable.

Fixes: #2057

virt plugin: fix skipping inactive domains

Remove inactive domains from domains list, not only in CPU/Memory/VCPU usage accounting

Signed-off-by: Igor Pavlikevich <ipavlikevich@gmail.com>

Merge pull request #2181 from maryamtahhan/feat_ovs_events_dispatch_option

ovs_events: Make dispatch link status configurable

ovs_events: Make dispatch link status configurable

Change-Id: Ib1853ff8caf57c6e33171e9d419af84c2ce69cae
Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>
ovs_events: Revert changing SendNotification default

Change-Id: I5e318e132937301aac355dcedaf3474a623f3853
Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>

Merge branch 'collectd-5.7'

Conflicts:
contrib/redhat/collectd.spec

Merge branch 'collectd-5.6' into collectd-5.7

Conflicts:
contrib/redhat/collectd.spec

collectd.spec: enable XFS support in df plugin

Fixes #2178

Removed unused function

Signed-off-by: Taras Chornyi <tarasx.chornyi@intel.com>

Addressed PR comments

Fixed issue with missing counter

Signed-off-by: Taras Chornyi <tarasx.chornyi@intel.com>

Merge pull request #2158 from pmauduit/java_atomic_types

Java bindings - Adding Atomic* support

write_riemann_threshold: remove unused header

This fixes the build on EPEL7, which doesn't have ltdl-devel installed
(and it shouldn't have to since commit 98153711).

Merge branch 'collectd-5.7'

Conflicts:
contrib/redhat/collectd.spec
src/Makefile.am
src/dpdkstat.c

Merge branch 'collectd-5.6' into collectd-5.7

Merge pull request #2145 from Geraden07/master

SSL Certificate Verification For collectd-nut Plugin

Implemented certificate checking conditionally if compiler finds upsclient library version >= 2.7. Otherwise will show warnings if this feature is used.

Added ForceSSL feature. Updated documentation and added my contributor information.

Merge pull request #2175 from mojaves-redhat/pr-add-cputime

virt plugin: Add physical cpu reporting

virt plugin: don't shadow global variable

and use a matching type for local one.

virt plugin: fix prototype

Previously it failed to compile, even though somehow gcc 6.3.1 liked it.

Merge pull request #2176 from maryamtahhan/feat_dpdkstat_shm_bugfix

dpdkstat: fix fixed shared mem object name

dpdkstat: fix fixed shared mem object name

Fix the shared memory object name so that it's configurable. This way multiple
DPDK applications running in containers can be monitored at the same time
(assuming collectd is also running in that container).

Signed-off-by: Maryam Tahhan <maryam.tahhan@intel.com>

virt plugin: Add physical cpu reporting

Add a metric to report physical cpu consumed by the hypervisor,
split per user/system time. This is provided by libvirt since version
0.9.11, and used by oVirt.

We also extend the newly-added 'ExtraStats' option to allow
users to toggle on/off the new metric. Default is off.

Signed-off-by: Francesco Romani <fromani@redhat.com>

Merge pull request #2156 from maryamtahhan/feat_dpdkstat_bugfix

dpdkstat: Fix metrics' types

Merge pull request #2167 from maryamtahhan/feat_dpdkstat_bugfix_5_7

dpdkstat: Fix metrics' types

Merge pull request #2103 from mojaves-redhat/pr-block-stats-flags

virt plugin: support virDomainBlockStatsFlags

virt plugin: Address PR comments

Signed-off-by: Francesco Romani <fromani@redhat.com>

Merge pull request #2170 from javicacheiro/fix_redhat_spec_file

Fix rpm spec file for 5.7.1

virt plugin: Add option to disable extra stats

We are adding more metrics to the virt plugin, but not everyone
may be interested in those.
This patch add one more option to the virt plugin to enable
or disable the new stats.
For backward compatibility, the default is disabled.

Signed-off-by: Francesco Romani <fromani@redhat.com>

virt plugin: Report disk flush information

Now that we switched to virDomainBLockStatsFlags, we can
report the `flush` stats.

Signed-off-by: Francesco Romani <fromani@redhat.com>

virt plugin: Add disk_time reporting

Signed-off-by: Francesco Romani <fromani@redhat.com>

virt plugin: support virDomainBlockStatsFlags

We want to export more disk stats, like disk_time.
To do so, we must use the virDomainBlockStatsFlags API, but it
could not be available on all the platforms collectd supports.
To cope with that, we add a minimal layer around the API, and
we use virDomainBlockStatsFlags only if available.

This patch adds the code to use the new API and the fallback code
in the case the platform' libvirt is too old.

Signed-off-by: Francesco Romani <fromani@redhat.com>

Fix release

Fix rpm spec file for 5.7.1

Merge pull request #2165 from maryamtahhan/feat_rdt_bugfix

intel_rdt: bugfix configuration

dpdkstat: Fix metrics' types

This patch fixes parsing of metrics' types. Some statistics, such as
rx_q0errors, rx_q0bytes or rx_q0packet, don't contain suffix _errors, _bytes or
_packets. This has caused them to use generic type 'derive', rather than
more specific one, for instance 'if_rx_errors'. Additionally, some
statistics contain string 'error', rather than 'errors'.

Change-Id: I51dfa9c4d98346a654adbc4041b64ebd3897278c
Signed-off-by: Przemyslaw Szczerbik <przemyslawx.szczerbik@intel.com>

intel_rdt: bugfix configuration

Fix the configuration to stop collectd bombing out and deal with configuration
errors gracefully. Otherwise collectd will fail at the configuration phase
with: "Error: Reading the config file failed!".

Signed-off-by: Tahhan, Maryam <maryam.tahhan@intel.com>

Merge pull request #2162 from maryamtahhan/feat_intel_rdt

collectd.service: add intel_rdt plugin capability requirement

notify_email: don't explicitly link against libssl and libcrypto

libesmtp takes care of this.

Pointed out by https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=852924