src/daemon/utils_tail_match.c

   1 /*
   2  * collectd - src/utils_tail_match.c
   3  * Copyright (C) 2007-2008  C-Ware, Inc.
   4  * Copyright (C) 2008       Florian Forster
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a
   7  * copy of this software and associated documentation files (the "Software"),
   8  * to deal in the Software without restriction, including without limitation
   9  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
  10  * and/or sell copies of the Software, and to permit persons to whom the
  11  * Software is furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in
  14  * all copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  19  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
  21  * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
  22  * DEALINGS IN THE SOFTWARE.
  23  *
  24  * Author:
  25  *   Luke Heberling <lukeh at c-ware.com>
  26  *   Florian Forster <octo at collectd.org>
  27  *
  28  * Description:
  29  *   Encapsulates useful code to plugins which must parse a log file.
  30  */
  31
  32 #include "collectd.h"
  33
  34 #include "common.h"
  35 #include "plugin.h"
  36 #include "utils_match.h"
  37 #include "utils_tail.h"
  38 #include "utils_tail_match.h"
  39 #include "utils_latency_config.h"
  40
  41 struct cu_tail_match_simple_s
  42 {
  43   char plugin[DATA_MAX_NAME_LEN];
  44   char plugin_instance[DATA_MAX_NAME_LEN];
  45   char type[DATA_MAX_NAME_LEN];
  46   char type_instance[DATA_MAX_NAME_LEN];
  47   cdtime_t interval;
  48   latency_config_t latency_config;
  49 };
  50 typedef struct cu_tail_match_simple_s cu_tail_match_simple_t;
  51
  52 struct cu_tail_match_match_s
  53 {
  54   cu_match_t *match;
  55   void *user_data;
  56   int (*submit) (cu_match_t *match, void *user_data);
  57   void (*free) (void *user_data);
  58 };
  59 typedef struct cu_tail_match_match_s cu_tail_match_match_t;
  60
  61 struct cu_tail_match_s
  62 {
  63   int flags;
  64   cu_tail_t *tail;
  65
  66   cdtime_t interval;
  67   cu_tail_match_match_t *matches;
  68   size_t matches_num;
  69 };
  70
  71 /*
  72  * Private functions
  73  */
  74 static int simple_submit_match (cu_match_t *match, void *user_data)
  75 {
  76   cu_tail_match_simple_t *data = (cu_tail_match_simple_t *) user_data;
  77   cu_match_value_t *match_value;
  78   value_list_t vl = VALUE_LIST_INIT;
  79   value_t values[1];
  80
  81   match_value = (cu_match_value_t *) match_get_user_data (match);
  82   if (match_value == NULL)
  83     return (-1);
  84
  85   if ((match_value->ds_type & UTILS_MATCH_DS_TYPE_GAUGE)
  86       && (match_value->values_num == 0))
  87     values[0].gauge = NAN;
  88   else
  89     values[0] = match_value->value;
  90
  91   vl.values = values;
  92   vl.values_len = 1;
  93   sstrncpy (vl.plugin, data->plugin, sizeof (vl.plugin));
  94   sstrncpy (vl.plugin_instance, data->plugin_instance,
  95       sizeof (vl.plugin_instance));
  96   sstrncpy (vl.type, data->type, sizeof (vl.type));
  97   sstrncpy (vl.type_instance, data->type_instance,
  98       sizeof (vl.type_instance));
  99
 100   vl.interval = data->interval;
 101   plugin_dispatch_values (&vl);
 102
 103   match_value_reset (match_value);
 104   return (0);
 105 } /* int simple_submit_match */
 106
 107 static int latency_submit_match(cu_match_t *match, void *user_data) {
 108   cu_tail_match_simple_t *data = (cu_tail_match_simple_t *)user_data;
 109   cu_match_value_t *match_value;
 110   value_list_t vl = VALUE_LIST_INIT;
 111
 112   match_value = (cu_match_value_t *)match_get_user_data(match);
 113   if (match_value == NULL)
 114     return (-1);
 115
 116   sstrncpy(vl.host, hostname_g, sizeof(vl.host));
 117   sstrncpy(vl.plugin, data->plugin, sizeof(vl.plugin));
 118   sstrncpy(vl.plugin_instance, data->plugin_instance,
 119            sizeof(vl.plugin_instance));
 120   vl.interval = data->interval;
 121   vl.time = cdtime();
 122
 123   /* Submit percentiles */
 124   sstrncpy(vl.type, data->type, sizeof(vl.type));
 125   for (size_t i = 0; i < data->latency_config.percentile_num; i++) {
 126     if (strlen(data->type_instance) != 0)
 127       ssnprintf(vl.type_instance, sizeof(vl.type_instance), "%s-%.0f",
 128                 data->type_instance, data->latency_config.percentile[i]);
 129     else
 130       ssnprintf(vl.type_instance, sizeof(vl.type_instance), "%.0f",
 131                 data->latency_config.percentile[i]);
 132
 133     vl.values = &(value_t){
 134         .gauge =
 135             (match_value->values_num != 0)
 136                 ? CDTIME_T_TO_DOUBLE(latency_counter_get_percentile(
 137                       match_value->latency, data->latency_config.percentile[i]))
 138                 : NAN,
 139     };
 140     vl.values_len = 1;
 141
 142     plugin_dispatch_values(&vl);
 143   }
 144
 145   /* Submit buckets */
 146   sstrncpy(vl.type, "bucket", sizeof(vl.type));
 147   for (size_t i = 0; i < data->latency_config.buckets_num; i++) {
 148     latency_bucket_t bucket = data->latency_config.buckets[i];
 149
 150     double lower_bound = CDTIME_T_TO_DOUBLE(bucket.lower_bound);
 151     double upper_bound =
 152         bucket.upper_bound ? CDTIME_T_TO_DOUBLE(bucket.upper_bound) : INFINITY;
 153
 154     if (strlen(data->type_instance) != 0)
 155       ssnprintf(vl.type_instance, sizeof(vl.type_instance), "%s-%s-%g_%g",
 156                 data->type, data->type_instance, lower_bound, upper_bound);
 157     else
 158       ssnprintf(vl.type_instance, sizeof(vl.type_instance), "%s-%g_%g",
 159                 data->type, lower_bound, upper_bound);
 160
 161     vl.values = &(value_t){
 162         .gauge = latency_counter_get_rate(match_value->latency,
 163                                           bucket.lower_bound,
 164                                           bucket.upper_bound, vl.time),
 165     };
 166     vl.values_len = 1;
 167
 168     plugin_dispatch_values(&vl);
 169   }
 170
 171   match_value->value.gauge = NAN;
 172   match_value->values_num = 0;
 173   latency_counter_reset(match_value->latency);
 174
 175   return (0);
 176 } /* int latency_submit_match */
 177
 178 static int tail_callback (void *data, char *buf,
 179     int __attribute__((unused)) buflen)
 180 {
 181   cu_tail_match_t *obj = (cu_tail_match_t *) data;
 182
 183   for (size_t i = 0; i < obj->matches_num; i++)
 184     match_apply (obj->matches[i].match, buf);
 185
 186   return (0);
 187 } /* int tail_callback */
 188
 189 static void tail_match_simple_free (void *data)
 190 {
 191   cu_tail_match_simple_t *user_data = (cu_tail_match_simple_t *) data;
 192   latency_config_free(user_data->latency_config);
 193   sfree (user_data);
 194 } /* void tail_match_simple_free */
 195
 196 /*
 197  * Public functions
 198  */
 199 cu_tail_match_t *tail_match_create (const char *filename)
 200 {
 201   cu_tail_match_t *obj;
 202
 203   obj = calloc (1, sizeof (*obj));
 204   if (obj == NULL)
 205     return (NULL);
 206
 207   obj->tail = cu_tail_create (filename);
 208   if (obj->tail == NULL)
 209   {
 210     sfree (obj);
 211     return (NULL);
 212   }
 213
 214   return (obj);
 215 } /* cu_tail_match_t *tail_match_create */
 216
 217 void tail_match_destroy (cu_tail_match_t *obj)
 218 {
 219   if (obj == NULL)
 220     return;
 221
 222   if (obj->tail != NULL)
 223   {
 224     cu_tail_destroy (obj->tail);
 225     obj->tail = NULL;
 226   }
 227
 228   for (size_t i = 0; i < obj->matches_num; i++)
 229   {
 230     cu_tail_match_match_t *match = obj->matches + i;
 231     if (match->match != NULL)
 232     {
 233       match_destroy (match->match);
 234       match->match = NULL;
 235     }
 236
 237     if ((match->user_data != NULL)
 238         && (match->free != NULL))
 239       (*match->free) (match->user_data);
 240     match->user_data = NULL;
 241   }
 242
 243   sfree (obj->matches);
 244   sfree (obj);
 245 } /* void tail_match_destroy */
 246
 247 int tail_match_add_match (cu_tail_match_t *obj, cu_match_t *match,
 248     int (*submit_match) (cu_match_t *match, void *user_data),
 249     void *user_data,
 250     void (*free_user_data) (void *user_data))
 251 {
 252   cu_tail_match_match_t *temp;
 253
 254   temp = realloc (obj->matches,
 255       sizeof (cu_tail_match_match_t) * (obj->matches_num + 1));
 256   if (temp == NULL)
 257     return (-1);
 258
 259   obj->matches = temp;
 260   obj->matches_num++;
 261
 262   DEBUG ("tail_match_add_match interval %lf", CDTIME_T_TO_DOUBLE(((cu_tail_match_simple_t *)user_data)->interval));
 263   temp = obj->matches + (obj->matches_num - 1);
 264
 265   temp->match = match;
 266   temp->user_data = user_data;
 267   temp->submit = submit_match;
 268   temp->free = free_user_data;
 269
 270   return (0);
 271 } /* int tail_match_add_match */
 272
 273 int tail_match_add_match_simple (cu_tail_match_t *obj,
 274     const char *regex, const char *excluderegex, int ds_type,
 275     const char *plugin, const char *plugin_instance,
 276     const char *type, const char *type_instance,
 277     const latency_config_t latency_cfg,
 278     const cdtime_t interval)
 279 {
 280   cu_match_t *match;
 281   cu_tail_match_simple_t *user_data;
 282   int status;
 283
 284   match = match_create_simple (regex, excluderegex, ds_type);
 285   if (match == NULL)
 286     return (-1);
 287
 288   user_data = calloc (1, sizeof (*user_data));
 289   if (user_data == NULL)
 290   {
 291     match_destroy (match);
 292     return (-1);
 293   }
 294
 295   sstrncpy (user_data->plugin, plugin, sizeof (user_data->plugin));
 296   if (plugin_instance != NULL)
 297     sstrncpy (user_data->plugin_instance, plugin_instance,
 298         sizeof (user_data->plugin_instance));
 299
 300   sstrncpy (user_data->type, type, sizeof (user_data->type));
 301   if (type_instance != NULL)
 302     sstrncpy (user_data->type_instance, type_instance,
 303         sizeof (user_data->type_instance));
 304
 305   user_data->interval = interval;
 306
 307   if ((ds_type & UTILS_MATCH_DS_TYPE_GAUGE)
 308       && (ds_type & UTILS_MATCH_CF_GAUGE_DIST))
 309   {
 310     status = latency_config_copy(&user_data->latency_config, latency_cfg);
 311     if (status != 0)
 312     {
 313       ERROR ("tail_match_add_match_simple: latency_config_copy() failed.");
 314       status = -1;
 315       goto out;
 316     }
 317
 318     status = tail_match_add_match (obj, match, latency_submit_match,
 319       user_data, tail_match_simple_free);
 320   } else {
 321     status = tail_match_add_match (obj, match, simple_submit_match,
 322       user_data, free);
 323   }
 324
 325 out:
 326   if (status != 0)
 327   {
 328     tail_match_simple_free(user_data);
 329     match_destroy (match);
 330   }
 331
 332   return (status);
 333 } /* int tail_match_add_match_simple */
 334
 335 int tail_match_read (cu_tail_match_t *obj)
 336 {
 337   char buffer[4096];
 338   int status;
 339
 340   status = cu_tail_read (obj->tail, buffer, sizeof (buffer), tail_callback,
 341       (void *) obj);
 342   if (status != 0)
 343   {
 344     ERROR ("tail_match: cu_tail_read failed.");
 345     return (status);
 346   }
 347
 348   for (size_t i = 0; i < obj->matches_num; i++)
 349   {
 350     cu_tail_match_match_t *lt_match = obj->matches + i;
 351
 352     if (lt_match->submit == NULL)
 353       continue;
 354
 355     (*lt_match->submit) (lt_match->match, lt_match->user_data);
 356   }
 357
 358   return (0);
 359 } /* int tail_match_read */
 360
 361 /* vim: set sw=2 sts=2 ts=8 : */