Code

Merge remote-tracking branch 'github/pr/1915'
[collectd.git] / src / tail_csv.c
1 /**
2  * collectd - src/tail_csv.c
3  * Copyright (C) 2013 Kris Nielander
4  * Copyright (C) 2013 Florian Forster
5  *
6  * This program is free software; you can redistribute it and/or modify it
7  * under the terms of the GNU General Public License as published by the
8  * Free Software Foundation; only version 2 of the License is applicable.
9  *
10  * This program is distributed in the hope that it will be useful, but
11  * WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * General Public License for more details.
14  *
15  * You should have received a copy of the GNU General Public License along
16  * with this program; if not, write to the Free Software Foundation, Inc.,
17  * 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
18  *
19  * Authors:
20  *   Kris Nielander <nielander at fox-it.com>
21  *   Florian Forster <octo at collectd.org>
22  **/
24 #include "collectd.h"
26 #include "plugin.h" /* plugin_register_*, plugin_dispatch_values */
27 #include "common.h" /* auxiliary functions */
28 #include "utils_tail.h"
30 #include <sys/mman.h>
31 #include <sys/stat.h>
32 #include <fcntl.h>
33 #include <stdlib.h>
34 #include <string.h>
36 struct metric_definition_s {
37     char   *name;
38     char   *type;
39     char   *instance;
40     int     data_source_type;
41     ssize_t value_from;
42     struct metric_definition_s *next;
43 };
44 typedef struct metric_definition_s metric_definition_t;
46 struct instance_definition_s {
47     char                 *instance;
48     char                 *path;
49     cu_tail_t            *tail;
50     metric_definition_t **metric_list;
51     size_t                metric_list_len;
52     cdtime_t              interval;
53     ssize_t               time_from;
54     struct instance_definition_s *next;
55 };
56 typedef struct instance_definition_s instance_definition_t;
58 /* Private */
59 static metric_definition_t *metric_head = NULL;
61 static int tcsv_submit (instance_definition_t *id,
62         metric_definition_t *md,
63         value_t v, cdtime_t t)
64 {
65     /* Registration variables */
66     value_list_t vl = VALUE_LIST_INIT;
68     /* Register */
69     vl.values_len = 1;
70     vl.values = &v;
72     sstrncpy(vl.host, hostname_g, sizeof (vl.host));
73     sstrncpy(vl.plugin, "tail_csv", sizeof(vl.plugin));
74     if (id->instance != NULL)
75         sstrncpy(vl.plugin_instance, id->instance, sizeof(vl.plugin_instance));
76     sstrncpy(vl.type, md->type, sizeof(vl.type));
77     if (md->instance != NULL)
78         sstrncpy(vl.type_instance, md->instance, sizeof(vl.type_instance));
80     vl.time = t;
81     vl.interval = id->interval;
83     return (plugin_dispatch_values(&vl));
84 }
86 static cdtime_t parse_time (char const *tbuf)
87 {
88     double t;
89     char *endptr = NULL;
91     errno = 0;
92     t = strtod (tbuf, &endptr);
93     if ((errno != 0) || (endptr == NULL) || (endptr[0] != 0))
94         return (cdtime ());
96     return (DOUBLE_TO_CDTIME_T (t));
97 }
99 static int tcsv_read_metric (instance_definition_t *id,
100         metric_definition_t *md,
101         char **fields, size_t fields_num)
103     value_t v;
104     cdtime_t t = 0;
105     int status;
107     if (md->data_source_type == -1)
108         return (EINVAL);
110     assert (md->value_from >= 0);
111     if (((size_t) md->value_from) >= fields_num)
112         return (EINVAL);
114     status = parse_value (fields[md->value_from], &v, md->data_source_type);
115     if (status != 0)
116         return (status);
118     if (id->time_from >= 0) {
119         if (((size_t) id->time_from) >= fields_num)
120             return (EINVAL);
121         t = parse_time (fields[id->time_from]);
122     }
124     return (tcsv_submit (id, md, v, t));
127 static _Bool tcsv_check_index (ssize_t index, size_t fields_num, char const *name)
129     if (index < 0)
130         return 1;
131     else if (((size_t) index) < fields_num)
132         return 1;
134     ERROR ("tail_csv plugin: Metric \"%s\": Request for index %zd when "
135             "only %zu fields are available.",
136             name, index, fields_num);
137     return (0);
140 static int tcsv_read_buffer (instance_definition_t *id,
141         char *buffer, size_t buffer_size)
143     char **metrics;
144     size_t metrics_num;
146     char *ptr;
147     size_t i;
149     /* Remove newlines at the end of line. */
150     while (buffer_size > 0) {
151         if ((buffer[buffer_size - 1] == '\n')
152                 || (buffer[buffer_size - 1] == '\r')) {
153             buffer[buffer_size - 1] = 0;
154             buffer_size--;
155         } else {
156             break;
157         }
158     }
160     /* Ignore empty lines. */
161     if ((buffer_size == 0) || (buffer[0] == '#'))
162         return (0);
164     /* Count the number of fields. */
165     metrics_num = 1;
166     for (i = 0; i < buffer_size; i++) {
167         if (buffer[i] == ',')
168             metrics_num++;
169     }
171     if (metrics_num == 1) {
172         ERROR("tail_csv plugin: last line of `%s' does not contain "
173                 "enough values.", id->path);
174         return (-1);
175     }
177     /* Create a list of all values */
178     metrics = calloc (metrics_num, sizeof (*metrics));
179     if (metrics == NULL) {
180         ERROR ("tail_csv plugin: calloc failed.");
181         return (ENOMEM);
182     }
184     ptr = buffer;
185     metrics[0] = ptr;
186     i = 1;
187     for (ptr = buffer; *ptr != 0; ptr++) {
188         if (*ptr != ',')
189             continue;
191         *ptr = 0;
192         metrics[i] = ptr + 1;
193         i++;
194     }
195     assert (i == metrics_num);
197     /* Register values */
198     for (i = 0; i < id->metric_list_len; ++i){
199         metric_definition_t *md = id->metric_list[i];
201         if (!tcsv_check_index (md->value_from, metrics_num, md->name)
202                 || !tcsv_check_index (id->time_from, metrics_num, md->name))
203             continue;
205         tcsv_read_metric (id, md, metrics, metrics_num);
206     }
208     /* Free up resources */
209     sfree (metrics);
210     return (0);
213 static int tcsv_read (user_data_t *ud) {
214     instance_definition_t *id;
215     id = ud->data;
217     if (id->tail == NULL)
218     {
219         id->tail = cu_tail_create (id->path);
220         if (id->tail == NULL)
221         {
222             ERROR ("tail_csv plugin: cu_tail_create (\"%s\") failed.",
223                     id->path);
224             return (-1);
225         }
226     }
228     while (42)
229     {
230         char buffer[1024];
231         size_t buffer_len;
232         int status;
234         status = cu_tail_readline (id->tail, buffer, (int) sizeof (buffer));
235         if (status != 0)
236         {
237             ERROR ("tail_csv plugin: File \"%s\": cu_tail_readline failed "
238                     "with status %i.", id->path, status);
239             return (-1);
240         }
242         buffer_len = strlen (buffer);
243         if (buffer_len == 0)
244             break;
246         tcsv_read_buffer (id, buffer, buffer_len);
247     }
249     return (0);
252 static void tcsv_metric_definition_destroy(void *arg){
253     metric_definition_t *md;
254     metric_definition_t *next;
256     md = arg;
257     if (md == NULL)
258         return;
260     next = md->next;
261     md->next = NULL;
263     sfree(md->name);
264     sfree(md->type);
265     sfree(md->instance);
266     sfree(md);
268     tcsv_metric_definition_destroy (next);
271 static int tcsv_config_get_index(oconfig_item_t *ci, ssize_t *ret_index) {
272     if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_NUMBER)){
273         WARNING("tail_csv plugin: The \"%s\" config option needs exactly one "
274                 "integer argument.", ci->key);
275         return (-1);
276     }
278     if (ci->values[0].value.number < 0) {
279         WARNING("tail_csv plugin: The \"%s\" config option must be positive "
280                 "(or zero).", ci->key);
281         return (-1);
282     }
284     *ret_index = (ssize_t) ci->values[0].value.number;
285     return (0);
288 /* Parse metric  */
289 static int tcsv_config_add_metric(oconfig_item_t *ci){
290     metric_definition_t *md;
291     int status;
293     md = calloc(1, sizeof(*md));
294     if (md == NULL)
295         return (-1);
296     md->name = NULL;
297     md->type = NULL;
298     md->instance = NULL;
299     md->data_source_type = -1;
300     md->value_from = -1;
301     md->next = NULL;
303     status = cf_util_get_string (ci, &md->name);
304     if (status != 0) {
305         sfree (md);
306         return (-1);
307     }
309     for (int i = 0; i < ci->children_num; ++i){
310         oconfig_item_t *option = ci->children + i;
312         if (strcasecmp("Type", option->key) == 0)
313             status = cf_util_get_string(option, &md->type);
314         else if (strcasecmp("Instance", option->key) == 0)
315             status = cf_util_get_string(option, &md->instance);
316         else if (strcasecmp("ValueFrom", option->key) == 0)
317             status = tcsv_config_get_index (option, &md->value_from);
318         else {
319             WARNING("tail_csv plugin: Option `%s' not allowed here.", option->key);
320             status = -1;
321         }
323         if (status != 0)
324             break;
325     }
327     if (status != 0){
328         tcsv_metric_definition_destroy(md);
329         return (-1);
330     }
332     /* Verify all necessary options have been set. */
333     if (md->type == NULL) {
334         WARNING("tail_csv plugin: Option `Type' must be set.");
335         status = -1;
336     } else if (md->value_from < 0) {
337         WARNING("tail_csv plugin: Option `ValueFrom' must be set.");
338         status = -1;
339     }
340     if (status != 0) {
341         tcsv_metric_definition_destroy(md);
342         return (status);
343     }
345     if (metric_head == NULL)
346         metric_head = md;
347     else {
348         metric_definition_t *last;
349         last = metric_head;
350         while (last->next != NULL)
351             last = last->next;
352         last->next = md;
353     }
355     return (0);
358 static void tcsv_instance_definition_destroy(void *arg){
359     instance_definition_t *id;
361     id = arg;
362     if (id == NULL)
363         return;
365     if (id->tail != NULL)
366         cu_tail_destroy (id->tail);
367     id->tail = NULL;
369     sfree(id->instance);
370     sfree(id->path);
371     sfree(id->metric_list);
372     sfree(id);
375 static int tcsv_config_add_instance_collect(instance_definition_t *id, oconfig_item_t *ci) {
376     metric_definition_t *metric;
377     metric_definition_t **metric_list;
378     size_t metric_list_size;
380     if (ci->values_num < 1) {
381         WARNING("tail_csv plugin: The `Collect' config option needs at least one argument.");
382         return (-1);
383     }
385     metric_list_size = id->metric_list_len + (size_t) ci->values_num;
386     metric_list = realloc (id->metric_list, sizeof (*id->metric_list) * metric_list_size);
387     if (metric_list == NULL)
388         return (-1);
389     id->metric_list = metric_list;
391     for (int i = 0; i < ci->values_num; i++) {
392         char *metric_name;
394         if (ci->values[i].type != OCONFIG_TYPE_STRING) {
395             WARNING("tail_csv plugin: All arguments to `Collect' must be strings.");
396             continue;
397         }
398         metric_name = ci->values[i].value.string;
400         for (metric = metric_head; metric != NULL; metric = metric->next)
401             if (strcasecmp(metric_name, metric->name) == 0)
402                 break;
404         if (metric == NULL) {
405             WARNING ("tail_csv plugin: `Collect' argument not found `%s'.", metric_name);
406             continue;
407         }
409         id->metric_list[id->metric_list_len] = metric;
410         id->metric_list_len++;
411     }
413     return (0);
416 /* <File /> block */
417 static int tcsv_config_add_file(oconfig_item_t *ci)
419     instance_definition_t* id;
420     int status = 0;
422     /* Registration variables */
423     char cb_name[DATA_MAX_NAME_LEN];
425     id = calloc(1, sizeof(*id));
426     if (id == NULL)
427         return (-1);
428     id->instance = NULL;
429     id->path = NULL;
430     id->metric_list = NULL;
431     id->time_from = -1;
432     id->next = NULL;
434     status = cf_util_get_string (ci, &id->path);
435     if (status != 0) {
436         sfree (id);
437         return (status);
438     }
440     /* Use default interval. */
441     id->interval = plugin_get_interval();
443     for (int i = 0; i < ci->children_num; ++i){
444         oconfig_item_t *option = ci->children + i;
445         status = 0;
447         if (strcasecmp("Instance", option->key) == 0)
448             status = cf_util_get_string(option, &id->instance);
449         else if (strcasecmp("Collect", option->key) == 0)
450             status = tcsv_config_add_instance_collect(id, option);
451         else if (strcasecmp("Interval", option->key) == 0)
452             cf_util_get_cdtime(option, &id->interval);
453         else if (strcasecmp("TimeFrom", option->key) == 0)
454             status = tcsv_config_get_index (option, &id->time_from);
455         else {
456             WARNING("tail_csv plugin: Option `%s' not allowed here.", option->key);
457             status = -1;
458         }
460         if (status != 0)
461             break;
462     }
464     if (status != 0){
465         tcsv_instance_definition_destroy(id);
466         return (-1);
467     }
469     /* Verify all necessary options have been set. */
470     if (id->path == NULL){
471         WARNING("tail_csv plugin: Option `Path' must be set.");
472         status = -1;
473     } else if (id->metric_list == NULL){
474         WARNING("tail_csv plugin: Option `Collect' must be set.");
475         status = -1;
476    }
478     if (status != 0){
479         tcsv_instance_definition_destroy(id);
480         return (-1);
481     }
483     ssnprintf (cb_name, sizeof (cb_name), "tail_csv/%s", id->path);
485     status = plugin_register_complex_read(NULL, cb_name, tcsv_read, id->interval,
486             &(user_data_t) {
487                 .data = id,
488                 .free_func = tcsv_instance_definition_destroy,
489             });
490     if (status != 0){
491         ERROR("tail_csv plugin: Registering complex read function failed.");
492         tcsv_instance_definition_destroy(id);
493         return (-1);
494     }
496     return (0);
499 /* Parse blocks */
500 static int tcsv_config(oconfig_item_t *ci){
501     for (int i = 0; i < ci->children_num; ++i){
502         oconfig_item_t *child = ci->children + i;
503         if (strcasecmp("Metric", child->key) == 0)
504             tcsv_config_add_metric(child);
505         else if (strcasecmp("File", child->key) == 0)
506             tcsv_config_add_file(child);
507         else
508             WARNING("tail_csv plugin: Ignore unknown config option `%s'.", child->key);
509     }
511     return (0);
512 } /* int tcsv_config */
514 static int tcsv_init(void) { /* {{{ */
515     static _Bool have_init = 0;
516     metric_definition_t *md;
518     if (have_init)
519         return (0);
521     for (md = metric_head; md != NULL; md = md->next) {
522         data_set_t const *ds;
524         /* Retrieve the data source type from the types db. */
525         ds = plugin_get_ds(md->type);
526         if (ds == NULL)
527         {
528             ERROR ("tail_csv plugin: Failed to look up type \"%s\" for "
529                     "metric \"%s\". It may not be defined in the types.db "
530                     "file. Please read the types.db(5) manual page for more "
531                     "details.",
532                     md->type, md->name);
533             continue;
534         }
535         else if (ds->ds_num != 1)
536         {
537             ERROR ("tail_csv plugin: The type \"%s\" has %zu data sources. "
538                     "Only types with a single data soure are supported.",
539                     ds->type, ds->ds_num);
540             continue;
541         }
543         md->data_source_type = ds->ds->type;
544     }
546     return (0);
547 } /* }}} int tcsv_init */
549 static int tcsv_shutdown (void) {
550     tcsv_metric_definition_destroy (metric_head);
551     metric_head = NULL;
553     return (0);
556 void module_register(void){
557     plugin_register_complex_config("tail_csv", tcsv_config);
558     plugin_register_init("tail_csv", tcsv_init);
559     plugin_register_shutdown("tail_csv", tcsv_shutdown);
562 /* vim: set sw=4 sts=4 et : */