src/tail_csv.c

   1 /**
   2  * collectd - src/tail_csv.c
   3  * Copyright (C) 2013 Kris Nielander
   4  * Copyright (C) 2013 Florian Forster
   5  *
   6  * This program is free software; you can redistribute it and/or modify it
   7  * under the terms of the GNU General Public License as published by the
   8  * Free Software Foundation; only version 2 of the License is applicable.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU General Public License along
  16  * with this program; if not, write to the Free Software Foundation, Inc.,
  17  * 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
  18  *
  19  * Authors:
  20  *   Kris Nielander <nielander at fox-it.com>
  21  *   Florian Forster <octo at collectd.org>
  22  **/
  23
  24 #include "collectd.h"
  25
  26 #include "plugin.h" /* plugin_register_*, plugin_dispatch_values */
  27 #include "common.h" /* auxiliary functions */
  28 #include "utils_tail.h"
  29
  30 #include <sys/mman.h>
  31 #include <sys/stat.h>
  32 #include <fcntl.h>
  33 #include <stdlib.h>
  34 #include <string.h>
  35
  36 struct metric_definition_s {
  37     char   *name;
  38     char   *type;
  39     char   *instance;
  40     int     data_source_type;
  41     ssize_t value_from;
  42     struct metric_definition_s *next;
  43 };
  44 typedef struct metric_definition_s metric_definition_t;
  45
  46 struct instance_definition_s {
  47     char                 *instance;
  48     char                 *path;
  49     cu_tail_t            *tail;
  50     metric_definition_t **metric_list;
  51     size_t                metric_list_len;
  52     cdtime_t              interval;
  53     ssize_t               time_from;
  54     struct instance_definition_s *next;
  55 };
  56 typedef struct instance_definition_s instance_definition_t;
  57
  58 /* Private */
  59 static metric_definition_t *metric_head = NULL;
  60
  61 static int tcsv_submit (instance_definition_t *id,
  62         metric_definition_t *md,
  63         value_t v, cdtime_t t)
  64 {
  65     /* Registration variables */
  66     value_list_t vl = VALUE_LIST_INIT;
  67
  68     /* Register */
  69     vl.values_len = 1;
  70     vl.values = &v;
  71
  72     sstrncpy(vl.host, hostname_g, sizeof (vl.host));
  73     sstrncpy(vl.plugin, "tail_csv", sizeof(vl.plugin));
  74     if (id->instance != NULL)
  75         sstrncpy(vl.plugin_instance, id->instance, sizeof(vl.plugin_instance));
  76     sstrncpy(vl.type, md->type, sizeof(vl.type));
  77     if (md->instance != NULL)
  78         sstrncpy(vl.type_instance, md->instance, sizeof(vl.type_instance));
  79
  80     vl.time = t;
  81     vl.interval = id->interval;
  82
  83     return (plugin_dispatch_values(&vl));
  84 }
  85
  86 static cdtime_t parse_time (char const *tbuf)
  87 {
  88     double t;
  89     char *endptr = NULL;
  90
  91     errno = 0;
  92     t = strtod (tbuf, &endptr);
  93     if ((errno != 0) || (endptr == NULL) || (endptr[0] != 0))
  94         return (cdtime ());
  95
  96     return (DOUBLE_TO_CDTIME_T (t));
  97 }
  98
  99 static int tcsv_read_metric (instance_definition_t *id,
 100         metric_definition_t *md,
 101         char **fields, size_t fields_num)
 102 {
 103     value_t v;
 104     cdtime_t t = 0;
 105     int status;
 106
 107     if (md->data_source_type == -1)
 108         return (EINVAL);
 109
 110     assert (md->value_from >= 0);
 111     if (((size_t) md->value_from) >= fields_num)
 112         return (EINVAL);
 113
 114     status = parse_value (fields[md->value_from], &v, md->data_source_type);
 115     if (status != 0)
 116         return (status);
 117
 118     if (id->time_from >= 0) {
 119         if (((size_t) id->time_from) >= fields_num)
 120             return (EINVAL);
 121         t = parse_time (fields[id->time_from]);
 122     }
 123
 124     return (tcsv_submit (id, md, v, t));
 125 }
 126
 127 static _Bool tcsv_check_index (ssize_t index, size_t fields_num, char const *name)
 128 {
 129     if (index < 0)
 130         return 1;
 131     else if (((size_t) index) < fields_num)
 132         return 1;
 133
 134     ERROR ("tail_csv plugin: Metric \"%s\": Request for index %zd when "
 135             "only %zu fields are available.",
 136             name, index, fields_num);
 137     return (0);
 138 }
 139
 140 static int tcsv_read_buffer (instance_definition_t *id,
 141         char *buffer, size_t buffer_size)
 142 {
 143     char **metrics;
 144     size_t metrics_num;
 145
 146     char *ptr;
 147     size_t i;
 148
 149     /* Remove newlines at the end of line. */
 150     while (buffer_size > 0) {
 151         if ((buffer[buffer_size - 1] == '\n')
 152                 || (buffer[buffer_size - 1] == '\r')) {
 153             buffer[buffer_size - 1] = 0;
 154             buffer_size--;
 155         } else {
 156             break;
 157         }
 158     }
 159
 160     /* Ignore empty lines. */
 161     if ((buffer_size == 0) || (buffer[0] == '#'))
 162         return (0);
 163
 164     /* Count the number of fields. */
 165     metrics_num = 1;
 166     for (i = 0; i < buffer_size; i++) {
 167         if (buffer[i] == ',')
 168             metrics_num++;
 169     }
 170
 171     if (metrics_num == 1) {
 172         ERROR("tail_csv plugin: last line of `%s' does not contain "
 173                 "enough values.", id->path);
 174         return (-1);
 175     }
 176
 177     /* Create a list of all values */
 178     metrics = calloc (metrics_num, sizeof (*metrics));
 179     if (metrics == NULL) {
 180         ERROR ("tail_csv plugin: calloc failed.");
 181         return (ENOMEM);
 182     }
 183
 184     ptr = buffer;
 185     metrics[0] = ptr;
 186     i = 1;
 187     for (ptr = buffer; *ptr != 0; ptr++) {
 188         if (*ptr != ',')
 189             continue;
 190
 191         *ptr = 0;
 192         metrics[i] = ptr + 1;
 193         i++;
 194     }
 195     assert (i == metrics_num);
 196
 197     /* Register values */
 198     for (i = 0; i < id->metric_list_len; ++i){
 199         metric_definition_t *md = id->metric_list[i];
 200
 201         if (!tcsv_check_index (md->value_from, metrics_num, md->name)
 202                 || !tcsv_check_index (id->time_from, metrics_num, md->name))
 203             continue;
 204
 205         tcsv_read_metric (id, md, metrics, metrics_num);
 206     }
 207
 208     /* Free up resources */
 209     sfree (metrics);
 210     return (0);
 211 }
 212
 213 static int tcsv_read (user_data_t *ud) {
 214     instance_definition_t *id;
 215     id = ud->data;
 216
 217     if (id->tail == NULL)
 218     {
 219         id->tail = cu_tail_create (id->path);
 220         if (id->tail == NULL)
 221         {
 222             ERROR ("tail_csv plugin: cu_tail_create (\"%s\") failed.",
 223                     id->path);
 224             return (-1);
 225         }
 226     }
 227
 228     while (42)
 229     {
 230         char buffer[1024];
 231         size_t buffer_len;
 232         int status;
 233
 234         status = cu_tail_readline (id->tail, buffer, (int) sizeof (buffer));
 235         if (status != 0)
 236         {
 237             ERROR ("tail_csv plugin: File \"%s\": cu_tail_readline failed "
 238                     "with status %i.", id->path, status);
 239             return (-1);
 240         }
 241
 242         buffer_len = strlen (buffer);
 243         if (buffer_len == 0)
 244             break;
 245
 246         tcsv_read_buffer (id, buffer, buffer_len);
 247     }
 248
 249     return (0);
 250 }
 251
 252 static void tcsv_metric_definition_destroy(void *arg){
 253     metric_definition_t *md;
 254     metric_definition_t *next;
 255
 256     md = arg;
 257     if (md == NULL)
 258         return;
 259
 260     next = md->next;
 261     md->next = NULL;
 262
 263     sfree(md->name);
 264     sfree(md->type);
 265     sfree(md->instance);
 266     sfree(md);
 267
 268     tcsv_metric_definition_destroy (next);
 269 }
 270
 271 static int tcsv_config_get_index(oconfig_item_t *ci, ssize_t *ret_index) {
 272     if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_NUMBER)){
 273         WARNING("tail_csv plugin: The \"%s\" config option needs exactly one "
 274                 "integer argument.", ci->key);
 275         return (-1);
 276     }
 277
 278     if (ci->values[0].value.number < 0) {
 279         WARNING("tail_csv plugin: The \"%s\" config option must be positive "
 280                 "(or zero).", ci->key);
 281         return (-1);
 282     }
 283
 284     *ret_index = (ssize_t) ci->values[0].value.number;
 285     return (0);
 286 }
 287
 288 /* Parse metric  */
 289 static int tcsv_config_add_metric(oconfig_item_t *ci){
 290     metric_definition_t *md;
 291     int status;
 292
 293     md = calloc(1, sizeof(*md));
 294     if (md == NULL)
 295         return (-1);
 296     md->name = NULL;
 297     md->type = NULL;
 298     md->instance = NULL;
 299     md->data_source_type = -1;
 300     md->value_from = -1;
 301     md->next = NULL;
 302
 303     status = cf_util_get_string (ci, &md->name);
 304     if (status != 0) {
 305         sfree (md);
 306         return (-1);
 307     }
 308
 309     for (int i = 0; i < ci->children_num; ++i){
 310         oconfig_item_t *option = ci->children + i;
 311
 312         if (strcasecmp("Type", option->key) == 0)
 313             status = cf_util_get_string(option, &md->type);
 314         else if (strcasecmp("Instance", option->key) == 0)
 315             status = cf_util_get_string(option, &md->instance);
 316         else if (strcasecmp("ValueFrom", option->key) == 0)
 317             status = tcsv_config_get_index (option, &md->value_from);
 318         else {
 319             WARNING("tail_csv plugin: Option `%s' not allowed here.", option->key);
 320             status = -1;
 321         }
 322
 323         if (status != 0)
 324             break;
 325     }
 326
 327     if (status != 0){
 328         tcsv_metric_definition_destroy(md);
 329         return (-1);
 330     }
 331
 332     /* Verify all necessary options have been set. */
 333     if (md->type == NULL) {
 334         WARNING("tail_csv plugin: Option `Type' must be set.");
 335         status = -1;
 336     } else if (md->value_from < 0) {
 337         WARNING("tail_csv plugin: Option `ValueFrom' must be set.");
 338         status = -1;
 339     }
 340     if (status != 0) {
 341         tcsv_metric_definition_destroy(md);
 342         return (status);
 343     }
 344
 345     if (metric_head == NULL)
 346         metric_head = md;
 347     else {
 348         metric_definition_t *last;
 349         last = metric_head;
 350         while (last->next != NULL)
 351             last = last->next;
 352         last->next = md;
 353     }
 354
 355     return (0);
 356 }
 357
 358 static void tcsv_instance_definition_destroy(void *arg){
 359     instance_definition_t *id;
 360
 361     id = arg;
 362     if (id == NULL)
 363         return;
 364
 365     if (id->tail != NULL)
 366         cu_tail_destroy (id->tail);
 367     id->tail = NULL;
 368
 369     sfree(id->instance);
 370     sfree(id->path);
 371     sfree(id->metric_list);
 372     sfree(id);
 373 }
 374
 375 static int tcsv_config_add_instance_collect(instance_definition_t *id, oconfig_item_t *ci) {
 376     metric_definition_t *metric;
 377     metric_definition_t **metric_list;
 378     size_t metric_list_size;
 379
 380     if (ci->values_num < 1) {
 381         WARNING("tail_csv plugin: The `Collect' config option needs at least one argument.");
 382         return (-1);
 383     }
 384
 385     metric_list_size = id->metric_list_len + (size_t) ci->values_num;
 386     metric_list = realloc (id->metric_list, sizeof (*id->metric_list) * metric_list_size);
 387     if (metric_list == NULL)
 388         return (-1);
 389     id->metric_list = metric_list;
 390
 391     for (int i = 0; i < ci->values_num; i++) {
 392         char *metric_name;
 393
 394         if (ci->values[i].type != OCONFIG_TYPE_STRING) {
 395             WARNING("tail_csv plugin: All arguments to `Collect' must be strings.");
 396             continue;
 397         }
 398         metric_name = ci->values[i].value.string;
 399
 400         for (metric = metric_head; metric != NULL; metric = metric->next)
 401             if (strcasecmp(metric_name, metric->name) == 0)
 402                 break;
 403
 404         if (metric == NULL) {
 405             WARNING ("tail_csv plugin: `Collect' argument not found `%s'.", metric_name);
 406             continue;
 407         }
 408
 409         id->metric_list[id->metric_list_len] = metric;
 410         id->metric_list_len++;
 411     }
 412
 413     return (0);
 414 }
 415
 416 /* <File /> block */
 417 static int tcsv_config_add_file(oconfig_item_t *ci)
 418 {
 419     instance_definition_t* id;
 420     int status = 0;
 421
 422     /* Registration variables */
 423     char cb_name[DATA_MAX_NAME_LEN];
 424
 425     id = calloc(1, sizeof(*id));
 426     if (id == NULL)
 427         return (-1);
 428     id->instance = NULL;
 429     id->path = NULL;
 430     id->metric_list = NULL;
 431     id->time_from = -1;
 432     id->next = NULL;
 433
 434     status = cf_util_get_string (ci, &id->path);
 435     if (status != 0) {
 436         sfree (id);
 437         return (status);
 438     }
 439
 440     /* Use default interval. */
 441     id->interval = plugin_get_interval();
 442
 443     for (int i = 0; i < ci->children_num; ++i){
 444         oconfig_item_t *option = ci->children + i;
 445         status = 0;
 446
 447         if (strcasecmp("Instance", option->key) == 0)
 448             status = cf_util_get_string(option, &id->instance);
 449         else if (strcasecmp("Collect", option->key) == 0)
 450             status = tcsv_config_add_instance_collect(id, option);
 451         else if (strcasecmp("Interval", option->key) == 0)
 452             cf_util_get_cdtime(option, &id->interval);
 453         else if (strcasecmp("TimeFrom", option->key) == 0)
 454             status = tcsv_config_get_index (option, &id->time_from);
 455         else {
 456             WARNING("tail_csv plugin: Option `%s' not allowed here.", option->key);
 457             status = -1;
 458         }
 459
 460         if (status != 0)
 461             break;
 462     }
 463
 464     if (status != 0){
 465         tcsv_instance_definition_destroy(id);
 466         return (-1);
 467     }
 468
 469     /* Verify all necessary options have been set. */
 470     if (id->path == NULL){
 471         WARNING("tail_csv plugin: Option `Path' must be set.");
 472         status = -1;
 473     } else if (id->metric_list == NULL){
 474         WARNING("tail_csv plugin: Option `Collect' must be set.");
 475         status = -1;
 476    }
 477
 478     if (status != 0){
 479         tcsv_instance_definition_destroy(id);
 480         return (-1);
 481     }
 482
 483     ssnprintf (cb_name, sizeof (cb_name), "tail_csv/%s", id->path);
 484
 485     user_data_t ud = {
 486         .data = id,
 487         .free_func = tcsv_instance_definition_destroy
 488     };
 489
 490     status = plugin_register_complex_read(NULL, cb_name, tcsv_read, id->interval, &ud);
 491
 492     if (status != 0){
 493         ERROR("tail_csv plugin: Registering complex read function failed.");
 494         tcsv_instance_definition_destroy(id);
 495         return (-1);
 496     }
 497
 498     return (0);
 499 }
 500
 501 /* Parse blocks */
 502 static int tcsv_config(oconfig_item_t *ci){
 503     for (int i = 0; i < ci->children_num; ++i){
 504         oconfig_item_t *child = ci->children + i;
 505         if (strcasecmp("Metric", child->key) == 0)
 506             tcsv_config_add_metric(child);
 507         else if (strcasecmp("File", child->key) == 0)
 508             tcsv_config_add_file(child);
 509         else
 510             WARNING("tail_csv plugin: Ignore unknown config option `%s'.", child->key);
 511     }
 512
 513     return (0);
 514 } /* int tcsv_config */
 515
 516 static int tcsv_init(void) { /* {{{ */
 517     static _Bool have_init = 0;
 518     metric_definition_t *md;
 519
 520     if (have_init)
 521         return (0);
 522
 523     for (md = metric_head; md != NULL; md = md->next) {
 524         data_set_t const *ds;
 525
 526         /* Retrieve the data source type from the types db. */
 527         ds = plugin_get_ds(md->type);
 528         if (ds == NULL)
 529         {
 530             ERROR ("tail_csv plugin: Failed to look up type \"%s\" for "
 531                     "metric \"%s\". It may not be defined in the types.db "
 532                     "file. Please read the types.db(5) manual page for more "
 533                     "details.",
 534                     md->type, md->name);
 535             continue;
 536         }
 537         else if (ds->ds_num != 1)
 538         {
 539             ERROR ("tail_csv plugin: The type \"%s\" has %zu data sources. "
 540                     "Only types with a single data soure are supported.",
 541                     ds->type, ds->ds_num);
 542             continue;
 543         }
 544
 545         md->data_source_type = ds->ds->type;
 546     }
 547
 548     return (0);
 549 } /* }}} int tcsv_init */
 550
 551 static int tcsv_shutdown (void) {
 552     tcsv_metric_definition_destroy (metric_head);
 553     metric_head = NULL;
 554
 555     return (0);
 556 }
 557
 558 void module_register(void){
 559     plugin_register_complex_config("tail_csv", tcsv_config);
 560     plugin_register_init("tail_csv", tcsv_init);
 561     plugin_register_shutdown("tail_csv", tcsv_shutdown);
 562 }
 563
 564 /* vim: set sw=4 sts=4 et : */