Code

Merge branch 'collectd-5.5'
[collectd.git] / src / tail_csv.c
1 /**
2  * collectd - src/tail_csv.c
3  * Copyright (C) 2013 Kris Nielander
4  * Copyright (C) 2013 Florian Forster
5  *
6  * This program is free software; you can redistribute it and/or modify it
7  * under the terms of the GNU General Public License as published by the
8  * Free Software Foundation; only version 2 of the License is applicable.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License for more details.
14  *
15  * You should have received a copy of the GNU General Public License along
16  * with this program; if not, write to the Free Software Foundation, Inc.,
17  * 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
18  *
19  * Authors:
20  *   Kris Nielander <nielander at fox-it.com>
21  *   Florian Forster <octo at collectd.org>
22  **/
24 #include "collectd.h"
25 #include "plugin.h" /* plugin_register_*, plugin_dispatch_values */
26 #include "common.h" /* auxiliary functions */
27 #include "utils_tail.h"
29 #include <sys/mman.h>
30 #include <sys/stat.h>
31 #include <fcntl.h>
32 #include <stdlib.h>
33 #include <string.h>
35 struct metric_definition_s {
36     char   *name;
37     char   *type;
38     char   *instance;
39     int     data_source_type;
40     ssize_t value_from;
41     struct metric_definition_s *next;
42 };
43 typedef struct metric_definition_s metric_definition_t;
45 struct instance_definition_s {
46     char                 *instance;
47     char                 *path;
48     cu_tail_t            *tail;
49     metric_definition_t **metric_list;
50     size_t                metric_list_len;
51     cdtime_t              interval;
52     ssize_t               time_from;
53     struct instance_definition_s *next;
54 };
55 typedef struct instance_definition_s instance_definition_t;
57 /* Private */
58 static metric_definition_t *metric_head = NULL;
60 static int tcsv_submit (instance_definition_t *id,
61         metric_definition_t *md,
62         value_t v, cdtime_t t)
63 {
64     /* Registration variables */
65     value_list_t vl = VALUE_LIST_INIT;
67     /* Register */
68     vl.values_len = 1;
69     vl.values = &v;
71     sstrncpy(vl.host, hostname_g, sizeof (vl.host));
72     sstrncpy(vl.plugin, "tail_csv", sizeof(vl.plugin));
73     if (id->instance != NULL)
74         sstrncpy(vl.plugin_instance, id->instance, sizeof(vl.plugin_instance));
75     sstrncpy(vl.type, md->type, sizeof(vl.type));
76     if (md->instance != NULL)
77         sstrncpy(vl.type_instance, md->instance, sizeof(vl.type_instance));
79     vl.time = t;
80     vl.interval = id->interval;
82     return (plugin_dispatch_values(&vl));
83 }
85 static cdtime_t parse_time (char const *tbuf)
86 {
87     double t;
88     char *endptr = 0;
90     errno = 0;
91     t = strtod (tbuf, &endptr);
92     if ((errno != 0) || (endptr == NULL) || (endptr[0] != 0))
93         return (cdtime ());
95     return (DOUBLE_TO_CDTIME_T (t));
96 }
98 static int tcsv_read_metric (instance_definition_t *id,
99         metric_definition_t *md,
100         char **fields, size_t fields_num)
102     value_t v;
103     cdtime_t t = 0;
104     int status;
106     if (md->data_source_type == -1)
107         return (EINVAL);
109     assert (md->value_from >= 0);
110     if (((size_t) md->value_from) >= fields_num)
111         return (EINVAL);
113     status = parse_value (fields[md->value_from], &v, md->data_source_type);
114     if (status != 0)
115         return (status);
117     if (id->time_from >= 0) {
118         if (((size_t) id->time_from) >= fields_num)
119             return (EINVAL);
120         t = parse_time (fields[id->time_from]);
121     }
123     return (tcsv_submit (id, md, v, t));
126 static _Bool tcsv_check_index (ssize_t index, size_t fields_num, char const *name)
128     if (index < 0)
129         return 1;
130     else if (((size_t) index) < fields_num)
131         return 1;
133     ERROR ("tail_csv plugin: Metric \"%s\": Request for index %zd when "
134             "only %zu fields are available.",
135             name, index, fields_num);
136     return (0);
139 static int tcsv_read_buffer (instance_definition_t *id,
140         char *buffer, size_t buffer_size)
142     char **metrics;
143     size_t metrics_num;
145     char *ptr;
146     size_t i;
148     /* Remove newlines at the end of line. */
149     while (buffer_size > 0) {
150         if ((buffer[buffer_size - 1] == '\n')
151                 || (buffer[buffer_size - 1] == '\r')) {
152             buffer[buffer_size - 1] = 0;
153             buffer_size--;
154         } else {
155             break;
156         }
157     }
159     /* Ignore empty lines. */
160     if ((buffer_size == 0) || (buffer[0] == '#'))
161         return (0);
163     /* Count the number of fields. */
164     metrics_num = 1;
165     for (i = 0; i < buffer_size; i++) {
166         if (buffer[i] == ',')
167             metrics_num++;
168     }
170     if (metrics_num == 1) {
171         ERROR("tail_csv plugin: last line of `%s' does not contain "
172                 "enough values.", id->path);
173         return (-1);
174     }
176     /* Create a list of all values */
177     metrics = calloc (metrics_num, sizeof (*metrics));
178     if (metrics == NULL) {
179         ERROR ("tail_csv plugin: calloc failed.");
180         return (ENOMEM);
181     }
183     ptr = buffer;
184     metrics[0] = ptr;
185     i = 1;
186     for (ptr = buffer; *ptr != 0; ptr++) {
187         if (*ptr != ',')
188             continue;
190         *ptr = 0;
191         metrics[i] = ptr + 1;
192         i++;
193     }
194     assert (i == metrics_num);
196     /* Register values */
197     for (i = 0; i < id->metric_list_len; ++i){
198         metric_definition_t *md = id->metric_list[i];
200         if (!tcsv_check_index (md->value_from, metrics_num, md->name)
201                 || !tcsv_check_index (id->time_from, metrics_num, md->name))
202             continue;
204         tcsv_read_metric (id, md, metrics, metrics_num);
205     }
207     /* Free up resources */
208     sfree (metrics);
209     return (0);
212 static int tcsv_read (user_data_t *ud) {
213     instance_definition_t *id;
214     id = ud->data;
216     if (id->tail == NULL)
217     {
218         id->tail = cu_tail_create (id->path);
219         if (id->tail == NULL)
220         {
221             ERROR ("tail_csv plugin: cu_tail_create (\"%s\") failed.",
222                     id->path);
223             return (-1);
224         }
225     }
227     while (42)
228     {
229         char buffer[1024];
230         size_t buffer_len;
231         int status;
233         status = cu_tail_readline (id->tail, buffer, (int) sizeof (buffer));
234         if (status != 0)
235         {
236             ERROR ("tail_csv plugin: File \"%s\": cu_tail_readline failed "
237                     "with status %i.", id->path, status);
238             return (-1);
239         }
241         buffer_len = strlen (buffer);
242         if (buffer_len == 0)
243             break;
245         tcsv_read_buffer (id, buffer, buffer_len);
246     }
248     return (0);
251 static void tcsv_metric_definition_destroy(void *arg){
252     metric_definition_t *md;
253     metric_definition_t *next;
255     md = arg;
256     if (md == NULL)
257         return;
259     next = md->next;
260     md->next = NULL;
262     sfree(md->name);
263     sfree(md->type);
264     sfree(md->instance);
265     sfree(md);
267     tcsv_metric_definition_destroy (next);
270 static int tcsv_config_get_index(oconfig_item_t *ci, ssize_t *ret_index) {
271     if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_NUMBER)){
272         WARNING("tail_csv plugin: The \"%s\" config option needs exactly one "
273                 "integer argument.", ci->key);
274         return (-1);
275     }
277     if (ci->values[0].value.number < 0) {
278         WARNING("tail_csv plugin: The \"%s\" config option must be positive "
279                 "(or zero).", ci->key);
280         return (-1);
281     }
283     *ret_index = (ssize_t) ci->values[0].value.number;
284     return (0);
287 /* Parse metric  */
288 static int tcsv_config_add_metric(oconfig_item_t *ci){
289     metric_definition_t *md;
290     int status;
291     int i;
293     md = (metric_definition_t *)malloc(sizeof(*md));
294     if (md == NULL)
295         return (-1);
296     memset(md, 0, sizeof(*md));
297     md->name = NULL;
298     md->type = NULL;
299     md->instance = NULL;
300     md->data_source_type = -1;
301     md->value_from = -1;
302     md->next = NULL;
304     status = cf_util_get_string (ci, &md->name);
305     if (status != 0) {
306         sfree (md);
307         return (-1);
308     }
310     for (i = 0; i < ci->children_num; ++i){
311         oconfig_item_t *option = ci->children + i;
313         if (strcasecmp("Type", option->key) == 0)
314             status = cf_util_get_string(option, &md->type);
315         else if (strcasecmp("Instance", option->key) == 0)
316             status = cf_util_get_string(option, &md->instance);
317         else if (strcasecmp("ValueFrom", option->key) == 0)
318             status = tcsv_config_get_index (option, &md->value_from);
319         else {
320             WARNING("tail_csv plugin: Option `%s' not allowed here.", option->key);
321             status = -1;
322         }
324         if (status != 0)
325             break;
326     }
328     if (status != 0){
329         tcsv_metric_definition_destroy(md);
330         return (-1);
331     }
333     /* Verify all necessary options have been set. */
334     if (md->type == NULL) {
335         WARNING("tail_csv plugin: Option `Type' must be set.");
336         status = -1;
337     } else if (md->value_from < 0) {
338         WARNING("tail_csv plugin: Option `ValueFrom' must be set.");
339         status = -1;
340     }
341     if (status != 0) {
342         tcsv_metric_definition_destroy(md);
343         return (status);
344     }
346     if (metric_head == NULL)
347         metric_head = md;
348     else {
349         metric_definition_t *last;
350         last = metric_head;
351         while (last->next != NULL)
352             last = last->next;
353         last->next = md;
354     }
356     return (0);
359 static void tcsv_instance_definition_destroy(void *arg){
360     instance_definition_t *id;
362     id = arg;
363     if (id == NULL)
364         return;
366     if (id->tail != NULL)
367         cu_tail_destroy (id->tail);
368     id->tail = NULL;
370     sfree(id->instance);
371     sfree(id->path);
372     sfree(id->metric_list);
373     sfree(id);
376 static int tcsv_config_add_instance_collect(instance_definition_t *id, oconfig_item_t *ci) {
377     metric_definition_t *metric;
378     metric_definition_t **metric_list;
379     size_t metric_list_size;
380     int i;
382     if (ci->values_num < 1) {
383         WARNING("tail_csv plugin: The `Collect' config option needs at least one argument.");
384         return (-1);
385     }
387     metric_list_size = id->metric_list_len + (size_t) ci->values_num;
388     metric_list = realloc (id->metric_list, sizeof (*id->metric_list) * metric_list_size);
389     if (metric_list == NULL)
390         return (-1);
391     id->metric_list = metric_list;
393     for (i = 0; i < ci->values_num; i++) {
394         char *metric_name;
396         if (ci->values[i].type != OCONFIG_TYPE_STRING) {
397             WARNING("tail_csv plugin: All arguments to `Collect' must be strings.");
398             continue;
399         }
400         metric_name = ci->values[i].value.string;
402         for (metric = metric_head; metric != NULL; metric = metric->next)
403             if (strcasecmp(metric_name, metric->name) == 0)
404                 break;
406         if (metric == NULL) {
407             WARNING ("tail_csv plugin: `Collect' argument not found `%s'.", metric_name);
408             continue;
409         }
411         id->metric_list[id->metric_list_len] = metric;
412         id->metric_list_len++;
413     }
415     return (0);
418 /* <File /> block */
419 static int tcsv_config_add_file(oconfig_item_t *ci)
421     instance_definition_t* id;
422     int status = 0;
423     int i;
425     /* Registration variables */
426     char cb_name[DATA_MAX_NAME_LEN];
427     user_data_t cb_data;
429     id = malloc(sizeof(*id));
430     if (id == NULL)
431         return (-1);
432     memset(id, 0, sizeof(*id));
433     id->instance = NULL;
434     id->path = NULL;
435     id->metric_list = NULL;
436     id->time_from = -1;
437     id->next = NULL;
439     status = cf_util_get_string (ci, &id->path);
440     if (status != 0) {
441         sfree (id);
442         return (status);
443     }
445     /* Use default interval. */
446     id->interval = plugin_get_interval();
448     for (i = 0; i < ci->children_num; ++i){
449         oconfig_item_t *option = ci->children + i;
450         status = 0;
452         if (strcasecmp("Instance", option->key) == 0)
453             status = cf_util_get_string(option, &id->instance);
454         else if (strcasecmp("Collect", option->key) == 0)
455             status = tcsv_config_add_instance_collect(id, option);
456         else if (strcasecmp("Interval", option->key) == 0)
457             cf_util_get_cdtime(option, &id->interval);
458         else if (strcasecmp("TimeFrom", option->key) == 0)
459             status = tcsv_config_get_index (option, &id->time_from);
460         else {
461             WARNING("tail_csv plugin: Option `%s' not allowed here.", option->key);
462             status = -1;
463         }
465         if (status != 0)
466             break;
467     }
469     if (status != 0){
470         tcsv_instance_definition_destroy(id);
471         return (-1);
472     }
474     /* Verify all necessary options have been set. */
475     if (id->path == NULL){
476         WARNING("tail_csv plugin: Option `Path' must be set.");
477         status = -1;
478     } else if (id->metric_list == NULL){
479         WARNING("tail_csv plugin: Option `Collect' must be set.");
480         status = -1;
481    }
483     if (status != 0){
484         tcsv_instance_definition_destroy(id);
485         return (-1);
486     }
488     ssnprintf (cb_name, sizeof (cb_name), "tail_csv/%s", id->path);
489     memset(&cb_data, 0, sizeof(cb_data));
490     cb_data.data = id;
491     cb_data.free_func = tcsv_instance_definition_destroy;
492     status = plugin_register_complex_read(NULL, cb_name, tcsv_read, id->interval, &cb_data);
494     if (status != 0){
495         ERROR("tail_csv plugin: Registering complex read function failed.");
496         tcsv_instance_definition_destroy(id);
497         return (-1);
498     }
500     return (0);
503 /* Parse blocks */
504 static int tcsv_config(oconfig_item_t *ci){
505     int i;
506     for (i = 0; i < ci->children_num; ++i){
507         oconfig_item_t *child = ci->children + i;
508         if (strcasecmp("Metric", child->key) == 0)
509             tcsv_config_add_metric(child);
510         else if (strcasecmp("File", child->key) == 0)
511             tcsv_config_add_file(child);
512         else
513             WARNING("tail_csv plugin: Ignore unknown config option `%s'.", child->key);
514     }
516     return (0);
517 } /* int tcsv_config */
519 static int tcsv_init(void) { /* {{{ */
520     static _Bool have_init = 0;
521     metric_definition_t *md;
523     if (have_init)
524         return (0);
526     for (md = metric_head; md != NULL; md = md->next) {
527         data_set_t const *ds;
529         /* Retrieve the data source type from the types db. */
530         ds = plugin_get_ds(md->type);
531         if (ds == NULL)
532         {
533             ERROR ("tail_csv plugin: Failed to look up type \"%s\" for "
534                     "metric \"%s\". It may not be defined in the types.db "
535                     "file. Please read the types.db(5) manual page for more "
536                     "details.",
537                     md->type, md->name);
538             continue;
539         }
540         else if (ds->ds_num != 1)
541         {
542             ERROR ("tail_csv plugin: The type \"%s\" has %zu data sources. "
543                     "Only types with a single data soure are supported.",
544                     ds->type, ds->ds_num);
545             continue;
546         }
548         md->data_source_type = ds->ds->type;
549     }
551     return (0);
552 } /* }}} int tcsv_init */
554 static int tcsv_shutdown (void) {
555     tcsv_metric_definition_destroy (metric_head);
556     metric_head = NULL;
558     return (0);
561 void module_register(void){
562     plugin_register_complex_config("tail_csv", tcsv_config);
563     plugin_register_init("tail_csv", tcsv_init);
564     plugin_register_shutdown("tail_csv", tcsv_shutdown);
567 /* vim: set sw=4 sts=4 et : */