src/write_graphite.c

   1 /**
   2  * collectd - src/write_graphite.c
   3  * Copyright (C) 2012       Pierre-Yves Ritschard
   4  * Copyright (C) 2011       Scott Sanders
   5  * Copyright (C) 2009       Paul Sadauskas
   6  * Copyright (C) 2009       Doug MacEachern
   7  * Copyright (C) 2007-2012  Florian octo Forster
   8  *
   9  * This program is free software; you can redistribute it and/or modify it
  10  * under the terms of the GNU General Public License as published by the
  11  * Free Software Foundation; only version 2 of the License is applicable.
  12  *
  13  * This program is distributed in the hope that it will be useful, but
  14  * WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU General Public License along
  19  * with this program; if not, write to the Free Software Foundation, Inc.,
  20  * 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
  21  *
  22  * Authors:
  23  *   Florian octo Forster <octo at collectd.org>
  24  *   Doug MacEachern <dougm at hyperic.com>
  25  *   Paul Sadauskas <psadauskas at gmail.com>
  26  *   Scott Sanders <scott at jssjr.com>
  27  *   Pierre-Yves Ritschard <pyr at spootnik.org>
  28  *
  29  * Based on the write_http plugin.
  30  **/
  31
  32  /* write_graphite plugin configuation example
  33   *
  34   * <Plugin write_graphite>
  35   *   <Carbon>
  36   *     Host "localhost"
  37   *     Port "2003"
  38   *     Prefix "collectd"
  39   *   </Carbon>
  40   * </Plugin>
  41   */
  42
  43 #include "collectd.h"
  44 #include "common.h"
  45 #include "plugin.h"
  46 #include "configfile.h"
  47
  48 #include "utils_cache.h"
  49 #include "utils_parse_option.h"
  50
  51 /* Folks without pthread will need to disable this plugin. */
  52 #include <pthread.h>
  53
  54 #include <sys/socket.h>
  55 #include <netdb.h>
  56
  57 #ifndef WG_FORMAT_NAME
  58 #define WG_FORMAT_NAME(ret, ret_len, vl, cb, ds_name) \
  59         wg_format_name (ret, ret_len, (vl)->host, \
  60                          (vl)->plugin, (vl)->plugin_instance, \
  61                          (vl)->type, (vl)->type_instance, \
  62                          (cb)->prefix, (cb)->postfix, \
  63                          ds_name, (cb)->escape_char)
  64 #endif
  65
  66 #ifndef WG_DEFAULT_NODE
  67 # define WG_DEFAULT_NODE "localhost"
  68 #endif
  69
  70 #ifndef WG_DEFAULT_SERVICE
  71 # define WG_DEFAULT_SERVICE "2003"
  72 #endif
  73
  74 #ifndef WG_DEFAULT_ESCAPE
  75 # define WG_DEFAULT_ESCAPE '_'
  76 #endif
  77
  78 #ifndef WG_SEND_BUF_SIZE
  79 # define WG_SEND_BUF_SIZE 4096
  80 #endif
  81
  82 /*
  83  * Private variables
  84  */
  85 struct wg_callback
  86 {
  87     int      sock_fd;
  88
  89     char    *node;
  90     char    *service;
  91     char    *prefix;
  92     char    *postfix;
  93     char     escape_char;
  94
  95     _Bool    store_rates;
  96
  97     char     send_buf[WG_SEND_BUF_SIZE];
  98     size_t   send_buf_free;
  99     size_t   send_buf_fill;
 100     cdtime_t send_buf_init_time;
 101
 102     pthread_mutex_t send_lock;
 103 };
 104
 105
 106 /*
 107  * Functions
 108  */
 109 static void wg_reset_buffer (struct wg_callback *cb)
 110 {
 111     memset (cb->send_buf, 0, sizeof (cb->send_buf));
 112     cb->send_buf_free = sizeof (cb->send_buf);
 113     cb->send_buf_fill = 0;
 114     cb->send_buf_init_time = cdtime ();
 115 }
 116
 117 static int wg_send_buffer (struct wg_callback *cb)
 118 {
 119     int status = 0;
 120
 121     status = write (cb->sock_fd, cb->send_buf, strlen (cb->send_buf));
 122     if (status < 0)
 123     {
 124         ERROR ("write_graphite plugin: send failed with "
 125                 "status %i (%s)",
 126                 status,
 127                 strerror (errno));
 128
 129         close (cb->sock_fd);
 130         cb->sock_fd = -1;
 131
 132         return (-1);
 133     }
 134     return (0);
 135 }
 136
 137 /* NOTE: You must hold cb->send_lock when calling this function! */
 138 static int wg_flush_nolock (cdtime_t timeout, struct wg_callback *cb)
 139 {
 140     int status;
 141
 142     DEBUG ("write_graphite plugin: wg_flush_nolock: timeout = %.3f; "
 143             "send_buf_fill = %zu;",
 144             (double)timeout,
 145             cb->send_buf_fill);
 146
 147     /* timeout == 0  => flush unconditionally */
 148     if (timeout > 0)
 149     {
 150         cdtime_t now;
 151
 152         now = cdtime ();
 153         if ((cb->send_buf_init_time + timeout) > now)
 154             return (0);
 155     }
 156
 157     if (cb->send_buf_fill <= 0)
 158     {
 159         cb->send_buf_init_time = cdtime ();
 160         return (0);
 161     }
 162
 163     status = wg_send_buffer (cb);
 164     wg_reset_buffer (cb);
 165
 166     return (status);
 167 }
 168
 169 static int wg_callback_init (struct wg_callback *cb)
 170 {
 171     struct addrinfo ai_hints;
 172     struct addrinfo *ai_list;
 173     struct addrinfo *ai_ptr;
 174     int status;
 175
 176     const char *node = cb->node ? cb->node : WG_DEFAULT_NODE;
 177     const char *service = cb->service ? cb->service : WG_DEFAULT_SERVICE;
 178
 179     if (cb->sock_fd > 0)
 180         return (0);
 181
 182     memset (&ai_hints, 0, sizeof (ai_hints));
 183 #ifdef AI_ADDRCONFIG
 184     ai_hints.ai_flags |= AI_ADDRCONFIG;
 185 #endif
 186     ai_hints.ai_family = AF_UNSPEC;
 187     ai_hints.ai_socktype = SOCK_STREAM;
 188
 189     ai_list = NULL;
 190
 191     status = getaddrinfo (node, service, &ai_hints, &ai_list);
 192     if (status != 0)
 193     {
 194         ERROR ("write_graphite plugin: getaddrinfo (%s, %s) failed: %s",
 195                 node, service, gai_strerror (status));
 196         return (-1);
 197     }
 198
 199     assert (ai_list != NULL);
 200     for (ai_ptr = ai_list; ai_ptr != NULL; ai_ptr = ai_ptr->ai_next)
 201     {
 202         cb->sock_fd = socket (ai_ptr->ai_family, ai_ptr->ai_socktype,
 203                 ai_ptr->ai_protocol);
 204         if (cb->sock_fd < 0)
 205             continue;
 206
 207         status = connect (cb->sock_fd, ai_ptr->ai_addr, ai_ptr->ai_addrlen);
 208         if (status != 0)
 209         {
 210             close (cb->sock_fd);
 211             cb->sock_fd = -1;
 212             continue;
 213         }
 214
 215         break;
 216     }
 217
 218     freeaddrinfo (ai_list);
 219
 220     if (cb->sock_fd < 0)
 221     {
 222         char errbuf[1024];
 223         ERROR ("write_graphite plugin: Connecting to %s:%s failed. "
 224                 "The last error was: %s", node, service,
 225                 sstrerror (errno, errbuf, sizeof (errbuf)));
 226         close (cb->sock_fd);
 227         return (-1);
 228     }
 229
 230     wg_reset_buffer (cb);
 231
 232     return (0);
 233 }
 234
 235 static void wg_callback_free (void *data)
 236 {
 237     struct wg_callback *cb;
 238
 239     if (data == NULL)
 240         return;
 241
 242     cb = data;
 243
 244     pthread_mutex_lock (&cb->send_lock);
 245
 246     wg_flush_nolock (/* timeout = */ 0, cb);
 247
 248     close(cb->sock_fd);
 249     cb->sock_fd = -1;
 250
 251     sfree(cb->node);
 252     sfree(cb->service);
 253     sfree(cb->prefix);
 254     sfree(cb->postfix);
 255
 256     pthread_mutex_destroy (&cb->send_lock);
 257
 258     sfree(cb);
 259 }
 260
 261 static int wg_flush (cdtime_t timeout,
 262         const char *identifier __attribute__((unused)),
 263         user_data_t *user_data)
 264 {
 265     struct wg_callback *cb;
 266     int status;
 267
 268     if (user_data == NULL)
 269         return (-EINVAL);
 270
 271     cb = user_data->data;
 272
 273     pthread_mutex_lock (&cb->send_lock);
 274
 275     if (cb->sock_fd < 0)
 276     {
 277         status = wg_callback_init (cb);
 278         if (status != 0)
 279         {
 280             ERROR ("write_graphite plugin: wg_callback_init failed.");
 281             pthread_mutex_unlock (&cb->send_lock);
 282             return (-1);
 283         }
 284     }
 285
 286     status = wg_flush_nolock (timeout, cb);
 287     pthread_mutex_unlock (&cb->send_lock);
 288
 289     return (status);
 290 }
 291
 292 static int wg_format_values (char *ret, size_t ret_len,
 293         int ds_num, const data_set_t *ds, const value_list_t *vl,
 294         _Bool store_rates)
 295 {
 296     size_t offset = 0;
 297     int status;
 298     gauge_t *rates = NULL;
 299
 300     assert (0 == strcmp (ds->type, vl->type));
 301
 302     memset (ret, 0, ret_len);
 303
 304 #define BUFFER_ADD(...) do { \
 305     status = ssnprintf (ret + offset, ret_len - offset, \
 306             __VA_ARGS__); \
 307     if (status < 1) \
 308     { \
 309         sfree (rates); \
 310         return (-1); \
 311     } \
 312     else if (((size_t) status) >= (ret_len - offset)) \
 313     { \
 314         sfree (rates); \
 315         return (-1); \
 316     } \
 317     else \
 318     offset += ((size_t) status); \
 319 } while (0)
 320
 321     if (ds->ds[ds_num].type == DS_TYPE_GAUGE)
 322         BUFFER_ADD ("%f", vl->values[ds_num].gauge);
 323     else if (store_rates)
 324     {
 325         if (rates == NULL)
 326             rates = uc_get_rate (ds, vl);
 327         if (rates == NULL)
 328         {
 329             WARNING ("format_values: "
 330                     "uc_get_rate failed.");
 331             return (-1);
 332         }
 333         BUFFER_ADD ("%g", rates[ds_num]);
 334     }
 335     else if (ds->ds[ds_num].type == DS_TYPE_COUNTER)
 336         BUFFER_ADD ("%llu", vl->values[ds_num].counter);
 337     else if (ds->ds[ds_num].type == DS_TYPE_DERIVE)
 338         BUFFER_ADD ("%"PRIi64, vl->values[ds_num].derive);
 339     else if (ds->ds[ds_num].type == DS_TYPE_ABSOLUTE)
 340         BUFFER_ADD ("%"PRIu64, vl->values[ds_num].absolute);
 341     else
 342     {
 343         ERROR ("format_values plugin: Unknown data source type: %i",
 344                 ds->ds[ds_num].type);
 345         sfree (rates);
 346         return (-1);
 347     }
 348
 349 #undef BUFFER_ADD
 350
 351     sfree (rates);
 352     return (0);
 353 }
 354
 355 static void wg_copy_escape_part (char *dst, const char *src, size_t dst_len,
 356     char escape_char)
 357 {
 358     size_t i;
 359
 360     memset (dst, 0, dst_len);
 361
 362     if (src == NULL)
 363         return;
 364
 365     for (i = 0; i < dst_len; i++)
 366     {
 367         if ((src[i] == '.')
 368                 || isspace ((int) src[i])
 369                 || iscntrl ((int) src[i]))
 370             dst[i] = escape_char;
 371         else
 372             dst[i] = src[i];
 373
 374         if (src[i] == 0)
 375             break;
 376     }
 377 }
 378
 379 static int wg_format_name (char *ret, int ret_len,
 380         const char *hostname,
 381         const char *plugin, const char *plugin_instance,
 382         const char *type, const char *type_instance,
 383         const char *prefix, const char *postfix,
 384         const char *ds_name, char escape_char)
 385 {
 386     char n_hostname[DATA_MAX_NAME_LEN];
 387     char n_plugin[DATA_MAX_NAME_LEN];
 388     char n_plugin_instance[DATA_MAX_NAME_LEN];
 389     char n_type[DATA_MAX_NAME_LEN];
 390     char n_type_instance[DATA_MAX_NAME_LEN];
 391     int  status;
 392
 393     assert (hostname != NULL);
 394     assert (plugin != NULL);
 395     assert (type != NULL);
 396     assert (ds_name != NULL);
 397
 398     if (prefix == NULL)
 399         prefix = "";
 400
 401     if (postfix == NULL)
 402         postfix = "";
 403
 404     wg_copy_escape_part (n_hostname, hostname,
 405             sizeof (n_hostname), escape_char);
 406     wg_copy_escape_part (n_plugin, plugin,
 407             sizeof (n_plugin), escape_char);
 408     wg_copy_escape_part (n_plugin_instance, plugin_instance,
 409             sizeof (n_plugin_instance), escape_char);
 410     wg_copy_escape_part (n_type, type,
 411             sizeof (n_type), escape_char);
 412     wg_copy_escape_part (n_type_instance, type_instance,
 413             sizeof (n_type_instance), escape_char);
 414
 415     if (n_plugin_instance[0] == '\0')
 416     {
 417         if (n_type_instance[0] == '\0')
 418         {
 419             status = ssnprintf (ret, ret_len, "%s%s%s.%s.%s.%s",
 420                     prefix, n_hostname, postfix, n_plugin, n_type, ds_name);
 421         }
 422         else
 423         {
 424             status = ssnprintf (ret, ret_len, "%s%s%s.%s.%s-%s.%s",
 425                     prefix, n_hostname, postfix, n_plugin, n_type,
 426                     n_type_instance, ds_name);
 427         }
 428     }
 429     else
 430     {
 431         if (n_type_instance[0] == '\0')
 432         {
 433             status = ssnprintf (ret, ret_len, "%s%s%s.%s.%s.%s.%s",
 434                     prefix, n_hostname, postfix, n_plugin,
 435                     n_plugin_instance, n_type, ds_name);
 436         }
 437         else
 438         {
 439             status = ssnprintf (ret, ret_len, "%s%s%s.%s.%s.%s-%s.%s",
 440                     prefix, n_hostname, postfix, n_plugin,
 441                     n_plugin_instance, n_type, n_type_instance, ds_name);
 442         }
 443     }
 444
 445     if ((status < 1) || (status >= ret_len))
 446         return (-1);
 447
 448     return (0);
 449 }
 450
 451 static int wg_send_message (const char* key, const char* value,
 452         cdtime_t time, struct wg_callback *cb)
 453 {
 454     int status;
 455     size_t message_len;
 456     char message[1024];
 457
 458     message_len = (size_t) ssnprintf (message, sizeof (message),
 459             "%s %s %.0f\n",
 460             key,
 461             value,
 462             CDTIME_T_TO_DOUBLE(time));
 463     if (message_len >= sizeof (message)) {
 464         ERROR ("write_graphite plugin: message buffer too small: "
 465                 "Need %zu bytes.", message_len + 1);
 466         return (-1);
 467     }
 468
 469
 470     pthread_mutex_lock (&cb->send_lock);
 471
 472     if (cb->sock_fd < 0)
 473     {
 474         status = wg_callback_init (cb);
 475         if (status != 0)
 476         {
 477             ERROR ("write_graphite plugin: wg_callback_init failed.");
 478             pthread_mutex_unlock (&cb->send_lock);
 479             return (-1);
 480         }
 481     }
 482
 483     if (message_len >= cb->send_buf_free)
 484     {
 485         status = wg_flush_nolock (/* timeout = */ 0, cb);
 486         if (status != 0)
 487         {
 488             pthread_mutex_unlock (&cb->send_lock);
 489             return (status);
 490         }
 491     }
 492     assert (message_len < cb->send_buf_free);
 493
 494     /* `message_len + 1' because `message_len' does not include the
 495      * trailing null byte. Neither does `send_buffer_fill'. */
 496     memcpy (cb->send_buf + cb->send_buf_fill,
 497             message, message_len + 1);
 498     cb->send_buf_fill += message_len;
 499     cb->send_buf_free -= message_len;
 500
 501     DEBUG ("write_graphite plugin: <%s:%s> buf %zu/%zu (%g%%) \"%s\"",
 502             cb->node,
 503             cb->service,
 504             cb->send_buf_fill, sizeof (cb->send_buf),
 505             100.0 * ((double) cb->send_buf_fill) / ((double) sizeof (cb->send_buf)),
 506             message);
 507
 508     /* Check if we have enough space for this message. */
 509     pthread_mutex_unlock (&cb->send_lock);
 510
 511     return (0);
 512 }
 513
 514 static int wg_write_messages (const data_set_t *ds, const value_list_t *vl,
 515         struct wg_callback *cb)
 516 {
 517     char key[10*DATA_MAX_NAME_LEN];
 518     char values[512];
 519
 520     int status, i;
 521
 522     if (0 != strcmp (ds->type, vl->type))
 523     {
 524         ERROR ("write_graphite plugin: DS type does not match "
 525                 "value list type");
 526         return -1;
 527     }
 528
 529     if (ds->ds_num > 1)
 530     {
 531         for (i = 0; i < ds->ds_num; i++)
 532         {
 533             /* Copy the identifier to `key' and escape it. */
 534             status = WG_FORMAT_NAME (key, sizeof (key), vl, cb, ds->ds[i].name);
 535             if (status != 0)
 536             {
 537                 ERROR ("write_graphite plugin: error with format_name");
 538                 return (status);
 539             }
 540
 541             escape_string (key, sizeof (key));
 542             /* Convert the values to an ASCII representation and put that
 543              * into `values'. */
 544             status = wg_format_values (values, sizeof (values), i, ds, vl,
 545                     cb->store_rates);
 546             if (status != 0)
 547             {
 548                 ERROR ("write_graphite plugin: error with "
 549                         "wg_format_values");
 550                 return (status);
 551             }
 552
 553             /* Send the message to graphite */
 554             status = wg_send_message (key, values, vl->time, cb);
 555             if (status != 0)
 556             {
 557                 ERROR ("write_graphite plugin: error with "
 558                         "wg_send_message");
 559                 return (status);
 560             }
 561         }
 562     }
 563     else
 564     {
 565         /* Copy the identifier to `key' and escape it. */
 566         status = WG_FORMAT_NAME (key, sizeof (key), vl, cb, NULL);
 567         if (status != 0)
 568         {
 569             ERROR ("write_graphite plugin: error with format_name");
 570             return (status);
 571         }
 572
 573         escape_string (key, sizeof (key));
 574         /* Convert the values to an ASCII representation and put that into
 575          * `values'. */
 576         status = wg_format_values (values, sizeof (values), 0, ds, vl,
 577                     cb->store_rates);
 578         if (status != 0)
 579         {
 580             ERROR ("write_graphite plugin: error with "
 581                     "wg_format_values");
 582             return (status);
 583         }
 584
 585         /* Send the message to graphite */
 586         status = wg_send_message (key, values, vl->time, cb);
 587         if (status != 0)
 588         {
 589             ERROR ("write_graphite plugin: error with "
 590                     "wg_send_message");
 591             return (status);
 592         }
 593     }
 594
 595     return (0);
 596 }
 597
 598 static int wg_write (const data_set_t *ds, const value_list_t *vl,
 599         user_data_t *user_data)
 600 {
 601     struct wg_callback *cb;
 602     int status;
 603
 604     if (user_data == NULL)
 605         return (-EINVAL);
 606
 607     cb = user_data->data;
 608
 609     status = wg_write_messages (ds, vl, cb);
 610
 611     return (status);
 612 }
 613
 614 static int config_set_char (char *dest,
 615         oconfig_item_t *ci)
 616 {
 617     if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_STRING))
 618     {
 619         WARNING ("write_graphite plugin: The `%s' config option "
 620                 "needs exactly one string argument.", ci->key);
 621         return (-1);
 622     }
 623
 624     *dest = ci->values[0].value.string[0];
 625
 626     return (0);
 627 }
 628
 629 static int wg_config_carbon (oconfig_item_t *ci)
 630 {
 631     struct wg_callback *cb;
 632     user_data_t user_data;
 633     int i;
 634
 635     cb = malloc (sizeof (*cb));
 636     if (cb == NULL)
 637     {
 638         ERROR ("write_graphite plugin: malloc failed.");
 639         return (-1);
 640     }
 641     memset (cb, 0, sizeof (*cb));
 642     cb->sock_fd = -1;
 643     cb->node = NULL;
 644     cb->service = NULL;
 645     cb->prefix = NULL;
 646     cb->postfix = NULL;
 647     cb->escape_char = WG_DEFAULT_ESCAPE;
 648
 649     pthread_mutex_init (&cb->send_lock, /* attr = */ NULL);
 650
 651     for (i = 0; i < ci->children_num; i++)
 652     {
 653         oconfig_item_t *child = ci->children + i;
 654
 655         if (strcasecmp ("Host", child->key) == 0)
 656             cf_util_get_string (child, &cb->node);
 657         else if (strcasecmp ("Port", child->key) == 0)
 658             cf_util_get_service (child, &cb->service);
 659         else if (strcasecmp ("Prefix", child->key) == 0)
 660             cf_util_get_string (child, &cb->prefix);
 661         else if (strcasecmp ("Postfix", child->key) == 0)
 662             cf_util_get_string (child, &cb->postfix);
 663         else if (strcasecmp ("StoreRates", child->key) == 0)
 664             cf_util_get_boolean (child, &cb->store_rates);
 665         else if (strcasecmp ("EscapeCharacter", child->key) == 0)
 666             config_set_char (&cb->escape_char, child);
 667         else
 668         {
 669             ERROR ("write_graphite plugin: Invalid configuration "
 670                         "option: %s.", child->key);
 671         }
 672     }
 673
 674     DEBUG ("write_graphite: Registering write callback to carbon agent %s:%s",
 675             cb->node ? cb->node : WG_DEFAULT_NODE,
 676             cb->service ? cb->service : WG_DEFAULT_SERVICE);
 677
 678     memset (&user_data, 0, sizeof (user_data));
 679     user_data.data = cb;
 680     user_data.free_func = NULL;
 681     plugin_register_flush ("write_graphite", wg_flush, &user_data);
 682
 683     user_data.free_func = wg_callback_free;
 684     plugin_register_write ("write_graphite", wg_write, &user_data);
 685
 686     return (0);
 687 }
 688
 689 static int wg_config (oconfig_item_t *ci)
 690 {
 691     int i;
 692
 693     for (i = 0; i < ci->children_num; i++)
 694     {
 695         oconfig_item_t *child = ci->children + i;
 696
 697         if (strcasecmp ("Carbon", child->key) == 0)
 698             wg_config_carbon (child);
 699         else
 700         {
 701             ERROR ("write_graphite plugin: Invalid configuration "
 702                     "option: %s.", child->key);
 703         }
 704     }
 705
 706     return (0);
 707 }
 708
 709 void module_register (void)
 710 {
 711     plugin_register_complex_config ("write_graphite", wg_config);
 712 }
 713
 714 /* vim: set sw=4 ts=4 sts=4 tw=78 et : */