src/curl.c

   1 /**
   2  * collectd - src/curl.c
   3  * Copyright (C) 2006-2009  Florian octo Forster
   4  * Copyright (C) 2009       Aman Gupta
   5  *
   6  * This program is free software; you can redistribute it and/or modify it
   7  * under the terms of the GNU General Public License as published by the
   8  * Free Software Foundation; only version 2 of the License is applicable.
   9  *
  10  * This program is distributed in the hope that it will be useful, but
  11  * WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU General Public License along
  16  * with this program; if not, write to the Free Software Foundation, Inc.,
  17  * 51 Franklin St, Fifth Floor, Boston, MA  02110-1301 USA
  18  *
  19  * Authors:
  20  *   Florian octo Forster <octo at collectd.org>
  21  *   Aman Gupta <aman at tmm1.net>
  22  **/
  23
  24 #include "collectd.h"
  25 #include "common.h"
  26 #include "plugin.h"
  27 #include "configfile.h"
  28 #include "utils_match.h"
  29 #include "utils_time.h"
  30
  31 #include <curl/curl.h>
  32
  33 /*
  34  * Data types
  35  */
  36 struct web_match_s;
  37 typedef struct web_match_s web_match_t;
  38 struct web_match_s /* {{{ */
  39 {
  40   char *regex;
  41   char *exclude_regex;
  42   int dstype;
  43   char *type;
  44   char *instance;
  45
  46   cu_match_t *match;
  47
  48   web_match_t *next;
  49 }; /* }}} */
  50
  51 struct web_page_s;
  52 typedef struct web_page_s web_page_t;
  53 struct web_page_s /* {{{ */
  54 {
  55   char *instance;
  56
  57   char *url;
  58   char *user;
  59   char *pass;
  60   char *credentials;
  61   _Bool digest;
  62   _Bool verify_peer;
  63   _Bool verify_host;
  64   char *cacert;
  65   struct curl_slist *headers;
  66   char *post_body;
  67   _Bool response_time;
  68   _Bool response_code;
  69   int timeout;
  70
  71   CURL *curl;
  72   char curl_errbuf[CURL_ERROR_SIZE];
  73   char *buffer;
  74   size_t buffer_size;
  75   size_t buffer_fill;
  76
  77   web_match_t *matches;
  78
  79   web_page_t *next;
  80 }; /* }}} */
  81
  82 /*
  83  * Global variables;
  84  */
  85 /* static CURLM *curl = NULL; */
  86 static web_page_t *pages_g = NULL;
  87
  88 /*
  89  * Private functions
  90  */
  91 static size_t cc_curl_callback (void *buf, /* {{{ */
  92     size_t size, size_t nmemb, void *user_data)
  93 {
  94   web_page_t *wp;
  95   size_t len;
  96
  97   len = size * nmemb;
  98   if (len <= 0)
  99     return (len);
 100
 101   wp = user_data;
 102   if (wp == NULL)
 103     return (0);
 104
 105   if ((wp->buffer_fill + len) >= wp->buffer_size)
 106   {
 107     char *temp;
 108     size_t temp_size;
 109
 110     temp_size = wp->buffer_fill + len + 1;
 111     temp = (char *) realloc (wp->buffer, temp_size);
 112     if (temp == NULL)
 113     {
 114       ERROR ("curl plugin: realloc failed.");
 115       return (0);
 116     }
 117     wp->buffer = temp;
 118     wp->buffer_size = temp_size;
 119   }
 120
 121   memcpy (wp->buffer + wp->buffer_fill, (char *) buf, len);
 122   wp->buffer_fill += len;
 123   wp->buffer[wp->buffer_fill] = 0;
 124
 125   return (len);
 126 } /* }}} size_t cc_curl_callback */
 127
 128 static void cc_web_match_free (web_match_t *wm) /* {{{ */
 129 {
 130   if (wm == NULL)
 131     return;
 132
 133   sfree (wm->regex);
 134   sfree (wm->type);
 135   sfree (wm->instance);
 136   match_destroy (wm->match);
 137   cc_web_match_free (wm->next);
 138   sfree (wm);
 139 } /* }}} void cc_web_match_free */
 140
 141 static void cc_web_page_free (web_page_t *wp) /* {{{ */
 142 {
 143   if (wp == NULL)
 144     return;
 145
 146   if (wp->curl != NULL)
 147     curl_easy_cleanup (wp->curl);
 148   wp->curl = NULL;
 149
 150   sfree (wp->instance);
 151
 152   sfree (wp->url);
 153   sfree (wp->user);
 154   sfree (wp->pass);
 155   sfree (wp->credentials);
 156   sfree (wp->cacert);
 157   sfree (wp->post_body);
 158   curl_slist_free_all (wp->headers);
 159
 160   sfree (wp->buffer);
 161
 162   cc_web_match_free (wp->matches);
 163   cc_web_page_free (wp->next);
 164   sfree (wp);
 165 } /* }}} void cc_web_page_free */
 166
 167 static int cc_config_append_string (const char *name, struct curl_slist **dest, /* {{{ */
 168     oconfig_item_t *ci)
 169 {
 170   if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_STRING))
 171   {
 172     WARNING ("curl plugin: `%s' needs exactly one string argument.", name);
 173     return (-1);
 174   }
 175
 176   *dest = curl_slist_append(*dest, ci->values[0].value.string);
 177   if (*dest == NULL)
 178     return (-1);
 179
 180   return (0);
 181 } /* }}} int cc_config_append_string */
 182
 183 static int cc_config_add_match_dstype (int *dstype_ret, /* {{{ */
 184     oconfig_item_t *ci)
 185 {
 186   int dstype;
 187
 188   if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_STRING))
 189   {
 190     WARNING ("curl plugin: `DSType' needs exactly one string argument.");
 191     return (-1);
 192   }
 193
 194   if (strncasecmp ("Gauge", ci->values[0].value.string,
 195         strlen ("Gauge")) == 0)
 196   {
 197     dstype = UTILS_MATCH_DS_TYPE_GAUGE;
 198     if (strcasecmp ("GaugeAverage", ci->values[0].value.string) == 0)
 199       dstype |= UTILS_MATCH_CF_GAUGE_AVERAGE;
 200     else if (strcasecmp ("GaugeMin", ci->values[0].value.string) == 0)
 201       dstype |= UTILS_MATCH_CF_GAUGE_MIN;
 202     else if (strcasecmp ("GaugeMax", ci->values[0].value.string) == 0)
 203       dstype |= UTILS_MATCH_CF_GAUGE_MAX;
 204     else if (strcasecmp ("GaugeLast", ci->values[0].value.string) == 0)
 205       dstype |= UTILS_MATCH_CF_GAUGE_LAST;
 206     else
 207       dstype = 0;
 208   }
 209   else if (strncasecmp ("Counter", ci->values[0].value.string,
 210         strlen ("Counter")) == 0)
 211   {
 212     dstype = UTILS_MATCH_DS_TYPE_COUNTER;
 213     if (strcasecmp ("CounterSet", ci->values[0].value.string) == 0)
 214       dstype |= UTILS_MATCH_CF_COUNTER_SET;
 215     else if (strcasecmp ("CounterAdd", ci->values[0].value.string) == 0)
 216       dstype |= UTILS_MATCH_CF_COUNTER_ADD;
 217     else if (strcasecmp ("CounterInc", ci->values[0].value.string) == 0)
 218       dstype |= UTILS_MATCH_CF_COUNTER_INC;
 219     else
 220       dstype = 0;
 221   }
 222 else if (strncasecmp ("Derive", ci->values[0].value.string,
 223         strlen ("Derive")) == 0)
 224   {
 225     dstype = UTILS_MATCH_DS_TYPE_DERIVE;
 226     if (strcasecmp ("DeriveSet", ci->values[0].value.string) == 0)
 227       dstype |= UTILS_MATCH_CF_DERIVE_SET;
 228     else if (strcasecmp ("DeriveAdd", ci->values[0].value.string) == 0)
 229       dstype |= UTILS_MATCH_CF_DERIVE_ADD;
 230     else if (strcasecmp ("DeriveInc", ci->values[0].value.string) == 0)
 231       dstype |= UTILS_MATCH_CF_DERIVE_INC;
 232     else
 233       dstype = 0;
 234   }
 235 else if (strncasecmp ("Absolute", ci->values[0].value.string,
 236         strlen ("Absolute")) == 0)
 237   {
 238     dstype = UTILS_MATCH_DS_TYPE_ABSOLUTE;
 239     if (strcasecmp ("AbsoluteSet", ci->values[0].value.string) == 0) /* Absolute DS is reset-on-read so no sense doin anything else but set */
 240       dstype |= UTILS_MATCH_CF_ABSOLUTE_SET;
 241     else
 242       dstype = 0;
 243   }
 244
 245   else
 246   {
 247     dstype = 0;
 248   }
 249
 250   if (dstype == 0)
 251   {
 252     WARNING ("curl plugin: `%s' is not a valid argument to `DSType'.",
 253         ci->values[0].value.string);
 254     return (-1);
 255   }
 256
 257   *dstype_ret = dstype;
 258   return (0);
 259 } /* }}} int cc_config_add_match_dstype */
 260
 261 static int cc_config_add_match (web_page_t *page, /* {{{ */
 262     oconfig_item_t *ci)
 263 {
 264   web_match_t *match;
 265   int status;
 266   int i;
 267
 268   if (ci->values_num != 0)
 269   {
 270     WARNING ("curl plugin: Ignoring arguments for the `Match' block.");
 271   }
 272
 273   match = calloc (1, sizeof (*match));
 274   if (match == NULL)
 275   {
 276     ERROR ("curl plugin: calloc failed.");
 277     return (-1);
 278   }
 279
 280   status = 0;
 281   for (i = 0; i < ci->children_num; i++)
 282   {
 283     oconfig_item_t *child = ci->children + i;
 284
 285     if (strcasecmp ("Regex", child->key) == 0)
 286       status = cf_util_get_string (child, &match->regex);
 287     else if (strcasecmp ("ExcludeRegex", child->key) == 0)
 288       status = cf_util_get_string (child, &match->exclude_regex);
 289     else if (strcasecmp ("DSType", child->key) == 0)
 290       status = cc_config_add_match_dstype (&match->dstype, child);
 291     else if (strcasecmp ("Type", child->key) == 0)
 292       status = cf_util_get_string (child, &match->type);
 293     else if (strcasecmp ("Instance", child->key) == 0)
 294       status = cf_util_get_string (child, &match->instance);
 295     else
 296     {
 297       WARNING ("curl plugin: Option `%s' not allowed here.", child->key);
 298       status = -1;
 299     }
 300
 301     if (status != 0)
 302       break;
 303   } /* for (i = 0; i < ci->children_num; i++) */
 304
 305   while (status == 0)
 306   {
 307     if (match->regex == NULL)
 308     {
 309       WARNING ("curl plugin: `Regex' missing in `Match' block.");
 310       status = -1;
 311     }
 312
 313     if (match->type == NULL)
 314     {
 315       WARNING ("curl plugin: `Type' missing in `Match' block.");
 316       status = -1;
 317     }
 318
 319     if (match->dstype == 0)
 320     {
 321       WARNING ("curl plugin: `DSType' missing in `Match' block.");
 322       status = -1;
 323     }
 324
 325     break;
 326   } /* while (status == 0) */
 327
 328   if (status != 0)
 329   {
 330     cc_web_match_free (match);
 331     return (status);
 332   }
 333
 334   match->match = match_create_simple (match->regex, match->exclude_regex,
 335       match->dstype);
 336   if (match->match == NULL)
 337   {
 338     ERROR ("curl plugin: tail_match_add_match_simple failed.");
 339     cc_web_match_free (match);
 340     return (-1);
 341   }
 342   else
 343   {
 344     web_match_t *prev;
 345
 346     prev = page->matches;
 347     while ((prev != NULL) && (prev->next != NULL))
 348       prev = prev->next;
 349
 350     if (prev == NULL)
 351       page->matches = match;
 352     else
 353       prev->next = match;
 354   }
 355
 356   return (0);
 357 } /* }}} int cc_config_add_match */
 358
 359 static int cc_page_init_curl (web_page_t *wp) /* {{{ */
 360 {
 361   wp->curl = curl_easy_init ();
 362   if (wp->curl == NULL)
 363   {
 364     ERROR ("curl plugin: curl_easy_init failed.");
 365     return (-1);
 366   }
 367
 368   curl_easy_setopt (wp->curl, CURLOPT_NOSIGNAL, 1L);
 369   curl_easy_setopt (wp->curl, CURLOPT_WRITEFUNCTION, cc_curl_callback);
 370   curl_easy_setopt (wp->curl, CURLOPT_WRITEDATA, wp);
 371   curl_easy_setopt (wp->curl, CURLOPT_USERAGENT, COLLECTD_USERAGENT);
 372   curl_easy_setopt (wp->curl, CURLOPT_ERRORBUFFER, wp->curl_errbuf);
 373   curl_easy_setopt (wp->curl, CURLOPT_URL, wp->url);
 374   curl_easy_setopt (wp->curl, CURLOPT_FOLLOWLOCATION, 1L);
 375   curl_easy_setopt (wp->curl, CURLOPT_MAXREDIRS, 50L);
 376
 377   if (wp->user != NULL)
 378   {
 379 #ifdef HAVE_CURLOPT_USERNAME
 380     curl_easy_setopt (wp->curl, CURLOPT_USERNAME, wp->user);
 381     curl_easy_setopt (wp->curl, CURLOPT_PASSWORD,
 382         (wp->pass == NULL) ? "" : wp->pass);
 383 #else
 384     size_t credentials_size;
 385
 386     credentials_size = strlen (wp->user) + 2;
 387     if (wp->pass != NULL)
 388       credentials_size += strlen (wp->pass);
 389
 390     wp->credentials = malloc (credentials_size);
 391     if (wp->credentials == NULL)
 392     {
 393       ERROR ("curl plugin: malloc failed.");
 394       return (-1);
 395     }
 396
 397     ssnprintf (wp->credentials, credentials_size, "%s:%s",
 398         wp->user, (wp->pass == NULL) ? "" : wp->pass);
 399     curl_easy_setopt (wp->curl, CURLOPT_USERPWD, wp->credentials);
 400 #endif
 401
 402     if (wp->digest)
 403       curl_easy_setopt (wp->curl, CURLOPT_HTTPAUTH, CURLAUTH_DIGEST);
 404   }
 405
 406   curl_easy_setopt (wp->curl, CURLOPT_SSL_VERIFYPEER, (long) wp->verify_peer);
 407   curl_easy_setopt (wp->curl, CURLOPT_SSL_VERIFYHOST,
 408       wp->verify_host ? 2L : 0L);
 409   if (wp->cacert != NULL)
 410     curl_easy_setopt (wp->curl, CURLOPT_CAINFO, wp->cacert);
 411   if (wp->headers != NULL)
 412     curl_easy_setopt (wp->curl, CURLOPT_HTTPHEADER, wp->headers);
 413   if (wp->post_body != NULL)
 414     curl_easy_setopt (wp->curl, CURLOPT_POSTFIELDS, wp->post_body);
 415
 416 #ifdef HAVE_CURLOPT_TIMEOUT_MS
 417   if (wp->timeout >= 0)
 418     curl_easy_setopt (wp->curl, CURLOPT_TIMEOUT_MS, (long) wp->timeout);
 419   else
 420     curl_easy_setopt (wp->curl, CURLOPT_TIMEOUT_MS, (long) CDTIME_T_TO_MS(plugin_get_interval()));
 421 #endif
 422
 423   return (0);
 424 } /* }}} int cc_page_init_curl */
 425
 426 static int cc_config_add_page (oconfig_item_t *ci) /* {{{ */
 427 {
 428   web_page_t *page;
 429   int status;
 430   int i;
 431
 432   if ((ci->values_num != 1) || (ci->values[0].type != OCONFIG_TYPE_STRING))
 433   {
 434     WARNING ("curl plugin: `Page' blocks need exactly one string argument.");
 435     return (-1);
 436   }
 437
 438   page = calloc (1, sizeof (*page));
 439   if (page == NULL)
 440   {
 441     ERROR ("curl plugin: calloc failed.");
 442     return (-1);
 443   }
 444   page->url = NULL;
 445   page->user = NULL;
 446   page->pass = NULL;
 447   page->digest = 0;
 448   page->verify_peer = 1;
 449   page->verify_host = 1;
 450   page->response_time = 0;
 451   page->response_code = 0;
 452   page->timeout = -1;
 453
 454   page->instance = strdup (ci->values[0].value.string);
 455   if (page->instance == NULL)
 456   {
 457     ERROR ("curl plugin: strdup failed.");
 458     sfree (page);
 459     return (-1);
 460   }
 461
 462   /* Process all children */
 463   status = 0;
 464   for (i = 0; i < ci->children_num; i++)
 465   {
 466     oconfig_item_t *child = ci->children + i;
 467
 468     if (strcasecmp ("URL", child->key) == 0)
 469       status = cf_util_get_string (child, &page->url);
 470     else if (strcasecmp ("User", child->key) == 0)
 471       status = cf_util_get_string (child, &page->user);
 472     else if (strcasecmp ("Password", child->key) == 0)
 473       status = cf_util_get_string (child, &page->pass);
 474     else if (strcasecmp ("Digest", child->key) == 0)
 475       status = cf_util_get_boolean (child, &page->digest);
 476     else if (strcasecmp ("VerifyPeer", child->key) == 0)
 477       status = cf_util_get_boolean (child, &page->verify_peer);
 478     else if (strcasecmp ("VerifyHost", child->key) == 0)
 479       status = cf_util_get_boolean (child, &page->verify_host);
 480     else if (strcasecmp ("MeasureResponseTime", child->key) == 0)
 481       status = cf_util_get_boolean (child, &page->response_time);
 482     else if (strcasecmp ("MeasureResponseCode", child->key) == 0)
 483       status = cf_util_get_boolean (child, &page->response_code);
 484     else if (strcasecmp ("CACert", child->key) == 0)
 485       status = cf_util_get_string (child, &page->cacert);
 486     else if (strcasecmp ("Match", child->key) == 0)
 487       /* Be liberal with failing matches => don't set `status'. */
 488       cc_config_add_match (page, child);
 489     else if (strcasecmp ("Header", child->key) == 0)
 490       status = cc_config_append_string ("Header", &page->headers, child);
 491     else if (strcasecmp ("Post", child->key) == 0)
 492       status = cf_util_get_string (child, &page->post_body);
 493     else if (strcasecmp ("Timeout", child->key) == 0)
 494       status = cf_util_get_int (child, &page->timeout);
 495     else
 496     {
 497       WARNING ("curl plugin: Option `%s' not allowed here.", child->key);
 498       status = -1;
 499     }
 500
 501     if (status != 0)
 502       break;
 503   } /* for (i = 0; i < ci->children_num; i++) */
 504
 505   /* Additionial sanity checks and libCURL initialization. */
 506   while (status == 0)
 507   {
 508     if (page->url == NULL)
 509     {
 510       WARNING ("curl plugin: `URL' missing in `Page' block.");
 511       status = -1;
 512     }
 513
 514     if (page->matches == NULL && !page->response_time && !page->response_code)
 515     {
 516       assert (page->instance != NULL);
 517       WARNING ("curl plugin: No (valid) `Match' block "
 518           "or MeasureResponseTime or MeasureResponseCode within "
 519           "`Page' block `%s'.", page->instance);
 520       status = -1;
 521     }
 522
 523     if (status == 0)
 524       status = cc_page_init_curl (page);
 525
 526     break;
 527   } /* while (status == 0) */
 528
 529   if (status != 0)
 530   {
 531     cc_web_page_free (page);
 532     return (status);
 533   }
 534
 535   /* Add the new page to the linked list */
 536   if (pages_g == NULL)
 537     pages_g = page;
 538   else
 539   {
 540     web_page_t *prev;
 541
 542     prev = pages_g;
 543     while ((prev != NULL) && (prev->next != NULL))
 544       prev = prev->next;
 545     prev->next = page;
 546   }
 547
 548   return (0);
 549 } /* }}} int cc_config_add_page */
 550
 551 static int cc_config (oconfig_item_t *ci) /* {{{ */
 552 {
 553   int success;
 554   int errors;
 555   int status;
 556   int i;
 557
 558   success = 0;
 559   errors = 0;
 560
 561   for (i = 0; i < ci->children_num; i++)
 562   {
 563     oconfig_item_t *child = ci->children + i;
 564
 565     if (strcasecmp ("Page", child->key) == 0)
 566     {
 567       status = cc_config_add_page (child);
 568       if (status == 0)
 569         success++;
 570       else
 571         errors++;
 572     }
 573     else
 574     {
 575       WARNING ("curl plugin: Option `%s' not allowed here.", child->key);
 576       errors++;
 577     }
 578   }
 579
 580   if ((success == 0) && (errors > 0))
 581   {
 582     ERROR ("curl plugin: All statements failed.");
 583     return (-1);
 584   }
 585
 586   return (0);
 587 } /* }}} int cc_config */
 588
 589 static int cc_init (void) /* {{{ */
 590 {
 591   if (pages_g == NULL)
 592   {
 593     INFO ("curl plugin: No pages have been defined.");
 594     return (-1);
 595   }
 596   curl_global_init (CURL_GLOBAL_SSL);
 597   return (0);
 598 } /* }}} int cc_init */
 599
 600 static void cc_submit (const web_page_t *wp, const web_match_t *wm, /* {{{ */
 601     const cu_match_value_t *mv)
 602 {
 603   value_t values[1];
 604   value_list_t vl = VALUE_LIST_INIT;
 605
 606   values[0] = mv->value;
 607
 608   vl.values = values;
 609   vl.values_len = 1;
 610   sstrncpy (vl.host, hostname_g, sizeof (vl.host));
 611   sstrncpy (vl.plugin, "curl", sizeof (vl.plugin));
 612   sstrncpy (vl.plugin_instance, wp->instance, sizeof (vl.plugin_instance));
 613   sstrncpy (vl.type, wm->type, sizeof (vl.type));
 614   if (wm->instance != NULL)
 615     sstrncpy (vl.type_instance, wm->instance, sizeof (vl.type_instance));
 616
 617   plugin_dispatch_values (&vl);
 618 } /* }}} void cc_submit */
 619
 620 static void cc_submit_response_code (const web_page_t *wp, long code) /* {{{ */
 621 {
 622   value_t values[1];
 623   value_list_t vl = VALUE_LIST_INIT;
 624
 625   values[0].gauge = code;
 626
 627   vl.values = values;
 628   vl.values_len = 1;
 629   sstrncpy (vl.host, hostname_g, sizeof (vl.host));
 630   sstrncpy (vl.plugin, "curl", sizeof (vl.plugin));
 631   sstrncpy (vl.plugin_instance, wp->instance, sizeof (vl.plugin_instance));
 632   sstrncpy (vl.type, "response_code", sizeof (vl.type));
 633
 634   plugin_dispatch_values (&vl);
 635 } /* }}} void cc_submit_response_code */
 636
 637 static void cc_submit_response_time (const web_page_t *wp, /* {{{ */
 638     cdtime_t response_time)
 639 {
 640   value_t values[1];
 641   value_list_t vl = VALUE_LIST_INIT;
 642
 643   values[0].gauge = CDTIME_T_TO_DOUBLE (response_time);
 644
 645   vl.values = values;
 646   vl.values_len = 1;
 647   sstrncpy (vl.host, hostname_g, sizeof (vl.host));
 648   sstrncpy (vl.plugin, "curl", sizeof (vl.plugin));
 649   sstrncpy (vl.plugin_instance, wp->instance, sizeof (vl.plugin_instance));
 650   sstrncpy (vl.type, "response_time", sizeof (vl.type));
 651
 652   plugin_dispatch_values (&vl);
 653 } /* }}} void cc_submit_response_time */
 654
 655 static int cc_read_page (web_page_t *wp) /* {{{ */
 656 {
 657   web_match_t *wm;
 658   int status;
 659   cdtime_t start = 0;
 660
 661   if (wp->response_time)
 662     start = cdtime ();
 663
 664   wp->buffer_fill = 0;
 665   status = curl_easy_perform (wp->curl);
 666   if (status != CURLE_OK)
 667   {
 668     ERROR ("curl plugin: curl_easy_perform failed with status %i: %s",
 669         status, wp->curl_errbuf);
 670     return (-1);
 671   }
 672
 673   if (wp->response_time)
 674     cc_submit_response_time (wp, cdtime() - start);
 675
 676   if(wp->response_code)
 677   {
 678     long response_code = 0;
 679     status = curl_easy_getinfo(wp->curl, CURLINFO_RESPONSE_CODE, &response_code);
 680     if(status != CURLE_OK) {
 681       ERROR ("curl plugin: Fetching response code failed with status %i: %s",
 682         status, wp->curl_errbuf);
 683     } else {
 684       cc_submit_response_code(wp, response_code);
 685     }
 686   }
 687
 688   for (wm = wp->matches; wm != NULL; wm = wm->next)
 689   {
 690     cu_match_value_t *mv;
 691
 692     status = match_apply (wm->match, wp->buffer);
 693     if (status != 0)
 694     {
 695       WARNING ("curl plugin: match_apply failed.");
 696       continue;
 697     }
 698
 699     mv = match_get_user_data (wm->match);
 700     if (mv == NULL)
 701     {
 702       WARNING ("curl plugin: match_get_user_data returned NULL.");
 703       continue;
 704     }
 705
 706     cc_submit (wp, wm, mv);
 707     match_value_reset (mv);
 708   } /* for (wm = wp->matches; wm != NULL; wm = wm->next) */
 709
 710   return (0);
 711 } /* }}} int cc_read_page */
 712
 713 static int cc_read (void) /* {{{ */
 714 {
 715   web_page_t *wp;
 716
 717   for (wp = pages_g; wp != NULL; wp = wp->next)
 718     cc_read_page (wp);
 719
 720   return (0);
 721 } /* }}} int cc_read */
 722
 723 static int cc_shutdown (void) /* {{{ */
 724 {
 725   cc_web_page_free (pages_g);
 726   pages_g = NULL;
 727
 728   return (0);
 729 } /* }}} int cc_shutdown */
 730
 731 void module_register (void)
 732 {
 733   plugin_register_complex_config ("curl", cc_config);
 734   plugin_register_init ("curl", cc_init);
 735   plugin_register_read ("curl", cc_read);
 736   plugin_register_shutdown ("curl", cc_shutdown);
 737 } /* void module_register */
 738
 739 /* vim: set sw=2 sts=2 et fdm=marker : */