src/rrd_update.c

   1
   2 /*****************************************************************************
   3  * RRDtool 1.3.8  Copyright by Tobi Oetiker, 1997-2009
   4  *****************************************************************************
   5  * rrd_update.c  RRD Update Function
   6  *****************************************************************************
   7  * $Id: rrd_update.c 1801 2009-05-19 13:45:05Z oetiker $
   8  *****************************************************************************/
   9
  10 #include "rrd_tool.h"
  11
  12 #if defined(_WIN32) && !defined(__CYGWIN__) && !defined(__CYGWIN32__)
  13 #include <sys/locking.h>
  14 #include <sys/stat.h>
  15 #include <io.h>
  16 #endif
  17
  18 #include <locale.h>
  19
  20 #ifdef WIN32
  21 #include <stdlib.h>
  22 #endif
  23
  24 #include "rrd_hw.h"
  25 #include "rrd_rpncalc.h"
  26
  27 #include "rrd_is_thread_safe.h"
  28 #include "unused.h"
  29
  30 #if defined(_WIN32) && !defined(__CYGWIN__) && !defined(__CYGWIN32__)
  31 /*
  32  * WIN32 does not have gettimeofday     and struct timeval. This is a quick and dirty
  33  * replacement.
  34  */
  35 #include <sys/timeb.h>
  36
  37 #ifndef __MINGW32__
  38 struct timeval {
  39     time_t    tv_sec;   /* seconds */
  40     long      tv_usec;  /* microseconds */
  41 };
  42 #endif
  43
  44 struct __timezone {
  45     int       tz_minuteswest;   /* minutes W of Greenwich */
  46     int       tz_dsttime;   /* type of dst correction */
  47 };
  48
  49 static int gettimeofday(
  50     struct timeval *t,
  51     struct __timezone *tz)
  52 {
  53
  54     struct _timeb current_time;
  55
  56     _ftime(&current_time);
  57
  58     t->tv_sec = current_time.time;
  59     t->tv_usec = current_time.millitm * 1000;
  60
  61     return 0;
  62 }
  63
  64 #endif
  65
  66 /* FUNCTION PROTOTYPES */
  67
  68 int       rrd_update_r(
  69     const char *filename,
  70     const char *tmplt,
  71     int argc,
  72     const char **argv);
  73 int       _rrd_update(
  74     const char *filename,
  75     const char *tmplt,
  76     int argc,
  77     const char **argv,
  78     rrd_info_t *);
  79
  80 static int allocate_data_structures(
  81     rrd_t *rrd,
  82     char ***updvals,
  83     rrd_value_t **pdp_temp,
  84     const char *tmplt,
  85     long **tmpl_idx,
  86     unsigned long *tmpl_cnt,
  87     unsigned long **rra_step_cnt,
  88     unsigned long **skip_update,
  89     rrd_value_t **pdp_new);
  90
  91 static int parse_template(
  92     rrd_t *rrd,
  93     const char *tmplt,
  94     unsigned long *tmpl_cnt,
  95     long *tmpl_idx);
  96
  97 static int process_arg(
  98     char *step_start,
  99     rrd_t *rrd,
 100     rrd_file_t *rrd_file,
 101     unsigned long rra_begin,
 102     time_t *current_time,
 103     unsigned long *current_time_usec,
 104     rrd_value_t *pdp_temp,
 105     rrd_value_t *pdp_new,
 106     unsigned long *rra_step_cnt,
 107     char **updvals,
 108     long *tmpl_idx,
 109     unsigned long tmpl_cnt,
 110     rrd_info_t ** pcdp_summary,
 111     int version,
 112     unsigned long *skip_update,
 113     int *schedule_smooth);
 114
 115 static int parse_ds(
 116     rrd_t *rrd,
 117     char **updvals,
 118     long *tmpl_idx,
 119     char *input,
 120     unsigned long tmpl_cnt,
 121     time_t *current_time,
 122     unsigned long *current_time_usec,
 123     int version);
 124
 125 static int get_time_from_reading(
 126     rrd_t *rrd,
 127     char timesyntax,
 128     char **updvals,
 129     time_t *current_time,
 130     unsigned long *current_time_usec,
 131     int version);
 132
 133 static int update_pdp_prep(
 134     rrd_t *rrd,
 135     char **updvals,
 136     rrd_value_t *pdp_new,
 137     double interval);
 138
 139 static int calculate_elapsed_steps(
 140     rrd_t *rrd,
 141     unsigned long current_time,
 142     unsigned long current_time_usec,
 143     double interval,
 144     double *pre_int,
 145     double *post_int,
 146     unsigned long *proc_pdp_cnt);
 147
 148 static void simple_update(
 149     rrd_t *rrd,
 150     double interval,
 151     rrd_value_t *pdp_new);
 152
 153 static int process_all_pdp_st(
 154     rrd_t *rrd,
 155     double interval,
 156     double pre_int,
 157     double post_int,
 158     unsigned long elapsed_pdp_st,
 159     rrd_value_t *pdp_new,
 160     rrd_value_t *pdp_temp);
 161
 162 static int process_pdp_st(
 163     rrd_t *rrd,
 164     unsigned long ds_idx,
 165     double interval,
 166     double pre_int,
 167     double post_int,
 168     long diff_pdp_st,
 169     rrd_value_t *pdp_new,
 170     rrd_value_t *pdp_temp);
 171
 172 static int update_all_cdp_prep(
 173     rrd_t *rrd,
 174     unsigned long *rra_step_cnt,
 175     unsigned long rra_begin,
 176     rrd_file_t *rrd_file,
 177     unsigned long elapsed_pdp_st,
 178     unsigned long proc_pdp_cnt,
 179     rrd_value_t **last_seasonal_coef,
 180     rrd_value_t **seasonal_coef,
 181     rrd_value_t *pdp_temp,
 182     unsigned long *skip_update,
 183     int *schedule_smooth);
 184
 185 static int do_schedule_smooth(
 186     rrd_t *rrd,
 187     unsigned long rra_idx,
 188     unsigned long elapsed_pdp_st);
 189
 190 static int update_cdp_prep(
 191     rrd_t *rrd,
 192     unsigned long elapsed_pdp_st,
 193     unsigned long start_pdp_offset,
 194     unsigned long *rra_step_cnt,
 195     int rra_idx,
 196     rrd_value_t *pdp_temp,
 197     rrd_value_t *last_seasonal_coef,
 198     rrd_value_t *seasonal_coef,
 199     int current_cf);
 200
 201 static void update_cdp(
 202     unival *scratch,
 203     int current_cf,
 204     rrd_value_t pdp_temp_val,
 205     unsigned long rra_step_cnt,
 206     unsigned long elapsed_pdp_st,
 207     unsigned long start_pdp_offset,
 208     unsigned long pdp_cnt,
 209     rrd_value_t xff,
 210     int i,
 211     int ii);
 212
 213 static void initialize_cdp_val(
 214     unival *scratch,
 215     int current_cf,
 216     rrd_value_t pdp_temp_val,
 217     unsigned long elapsed_pdp_st,
 218     unsigned long start_pdp_offset,
 219     unsigned long pdp_cnt);
 220
 221 static void reset_cdp(
 222     rrd_t *rrd,
 223     unsigned long elapsed_pdp_st,
 224     rrd_value_t *pdp_temp,
 225     rrd_value_t *last_seasonal_coef,
 226     rrd_value_t *seasonal_coef,
 227     int rra_idx,
 228     int ds_idx,
 229     int cdp_idx,
 230     enum cf_en current_cf);
 231
 232 static rrd_value_t initialize_average_carry_over(
 233     rrd_value_t pdp_temp_val,
 234     unsigned long elapsed_pdp_st,
 235     unsigned long start_pdp_offset,
 236     unsigned long pdp_cnt);
 237
 238 static rrd_value_t calculate_cdp_val(
 239     rrd_value_t cdp_val,
 240     rrd_value_t pdp_temp_val,
 241     unsigned long elapsed_pdp_st,
 242     int current_cf,
 243     int i,
 244     int ii);
 245
 246 static int update_aberrant_cdps(
 247     rrd_t *rrd,
 248     rrd_file_t *rrd_file,
 249     unsigned long rra_begin,
 250     unsigned long elapsed_pdp_st,
 251     rrd_value_t *pdp_temp,
 252     rrd_value_t **seasonal_coef);
 253
 254 static int write_to_rras(
 255     rrd_t *rrd,
 256     rrd_file_t *rrd_file,
 257     unsigned long *rra_step_cnt,
 258     unsigned long rra_begin,
 259     time_t current_time,
 260     unsigned long *skip_update,
 261     rrd_info_t ** pcdp_summary);
 262
 263 static int write_RRA_row(
 264     rrd_file_t *rrd_file,
 265     rrd_t *rrd,
 266     unsigned long rra_idx,
 267     unsigned short CDP_scratch_idx,
 268     rrd_info_t ** pcdp_summary,
 269     time_t rra_time);
 270
 271 static int smooth_all_rras(
 272     rrd_t *rrd,
 273     rrd_file_t *rrd_file,
 274     unsigned long rra_begin);
 275
 276 #ifndef HAVE_MMAP
 277 static int write_changes_to_disk(
 278     rrd_t *rrd,
 279     rrd_file_t *rrd_file,
 280     int version);
 281 #endif
 282
 283 /*
 284  * normalize time as returned by gettimeofday. usec part must
 285  * be always >= 0
 286  */
 287 static inline void normalize_time(
 288     struct timeval *t)
 289 {
 290     if (t->tv_usec < 0) {
 291         t->tv_sec--;
 292         t->tv_usec += 1e6L;
 293     }
 294 }
 295
 296 /*
 297  * Sets current_time and current_time_usec based on the current time.
 298  * current_time_usec is set to 0 if the version number is 1 or 2.
 299  */
 300 static inline void initialize_time(
 301     time_t *current_time,
 302     unsigned long *current_time_usec,
 303     int version)
 304 {
 305     struct timeval tmp_time;    /* used for time conversion */
 306
 307     gettimeofday(&tmp_time, 0);
 308     normalize_time(&tmp_time);
 309     *current_time = tmp_time.tv_sec;
 310     if (version >= 3) {
 311         *current_time_usec = tmp_time.tv_usec;
 312     } else {
 313         *current_time_usec = 0;
 314     }
 315 }
 316
 317 #define IFDNAN(X,Y) (isnan(X) ? (Y) : (X));
 318
 319 rrd_info_t *rrd_update_v(
 320     int argc,
 321     char **argv)
 322 {
 323     char     *tmplt = NULL;
 324     rrd_info_t *result = NULL;
 325     rrd_infoval_t rc;
 326     struct option long_options[] = {
 327         {"template", required_argument, 0, 't'},
 328         {0, 0, 0, 0}
 329     };
 330
 331     rc.u_int = -1;
 332     optind = 0;
 333     opterr = 0;         /* initialize getopt */
 334
 335     while (1) {
 336         int       option_index = 0;
 337         int       opt;
 338
 339         opt = getopt_long(argc, argv, "t:", long_options, &option_index);
 340
 341         if (opt == EOF)
 342             break;
 343
 344         switch (opt) {
 345         case 't':
 346             tmplt = optarg;
 347             break;
 348
 349         case '?':
 350             rrd_set_error("unknown option '%s'", argv[optind - 1]);
 351             goto end_tag;
 352         }
 353     }
 354
 355     /* need at least 2 arguments: filename, data. */
 356     if (argc - optind < 2) {
 357         rrd_set_error("Not enough arguments");
 358         goto end_tag;
 359     }
 360     rc.u_int = 0;
 361     result = rrd_info_push(NULL, sprintf_alloc("return_value"), RD_I_INT, rc);
 362     rc.u_int = _rrd_update(argv[optind], tmplt,
 363                            argc - optind - 1,
 364                            (const char **) (argv + optind + 1), result);
 365     result->value.u_int = rc.u_int;
 366   end_tag:
 367     return result;
 368 }
 369
 370 int rrd_update(
 371     int argc,
 372     char **argv)
 373 {
 374     struct option long_options[] = {
 375         {"template", required_argument, 0, 't'},
 376         {0, 0, 0, 0}
 377     };
 378     int       option_index = 0;
 379     int       opt;
 380     char     *tmplt = NULL;
 381     int       rc = -1;
 382
 383     optind = 0;
 384     opterr = 0;         /* initialize getopt */
 385
 386     while (1) {
 387         opt = getopt_long(argc, argv, "t:", long_options, &option_index);
 388
 389         if (opt == EOF)
 390             break;
 391
 392         switch (opt) {
 393         case 't':
 394             tmplt = strdup(optarg);
 395             break;
 396
 397         case '?':
 398             rrd_set_error("unknown option '%s'", argv[optind - 1]);
 399             goto out;
 400         }
 401     }
 402
 403     /* need at least 2 arguments: filename, data. */
 404     if (argc - optind < 2) {
 405         rrd_set_error("Not enough arguments");
 406         goto out;
 407     }
 408
 409     rc = rrd_update_r(argv[optind], tmplt,
 410                       argc - optind - 1, (const char **) (argv + optind + 1));
 411   out:
 412     free(tmplt);
 413     return rc;
 414 }
 415
 416 int rrd_update_r(
 417     const char *filename,
 418     const char *tmplt,
 419     int argc,
 420     const char **argv)
 421 {
 422     return _rrd_update(filename, tmplt, argc, argv, NULL);
 423 }
 424
 425 int _rrd_update(
 426     const char *filename,
 427     const char *tmplt,
 428     int argc,
 429     const char **argv,
 430     rrd_info_t * pcdp_summary)
 431 {
 432
 433     int       arg_i = 2;
 434
 435     unsigned long rra_begin;    /* byte pointer to the rra
 436                                  * area in the rrd file.  this
 437                                  * pointer never changes value */
 438     rrd_value_t *pdp_new;   /* prepare the incoming data to be added
 439                              * to the existing entry */
 440     rrd_value_t *pdp_temp;  /* prepare the pdp values to be added
 441                              * to the cdp values */
 442
 443     long     *tmpl_idx; /* index representing the settings
 444                          * transported by the tmplt index */
 445     unsigned long tmpl_cnt = 2; /* time and data */
 446     rrd_t     rrd;
 447     time_t    current_time = 0;
 448     unsigned long current_time_usec = 0;    /* microseconds part of current time */
 449     char    **updvals;
 450     int       schedule_smooth = 0;
 451
 452     /* number of elapsed PDP steps since last update */
 453     unsigned long *rra_step_cnt = NULL;
 454
 455     int       version;  /* rrd version */
 456     rrd_file_t *rrd_file;
 457     char     *arg_copy; /* for processing the argv */
 458     unsigned long *skip_update; /* RRAs to advance but not write */
 459
 460     /* need at least 1 arguments: data. */
 461     if (argc < 1) {
 462         rrd_set_error("Not enough arguments");
 463         goto err_out;
 464     }
 465
 466     if ((rrd_file = rrd_open(filename, &rrd, RRD_READWRITE)) == NULL) {
 467         goto err_free;
 468     }
 469     /* We are now at the beginning of the rra's */
 470     rra_begin = rrd_file->header_len;
 471
 472     version = atoi(rrd.stat_head->version);
 473
 474     initialize_time(&current_time, &current_time_usec, version);
 475
 476     /* get exclusive lock to whole file.
 477      * lock gets removed when we close the file.
 478      */
 479     if (rrd_lock(rrd_file) != 0) {
 480         rrd_set_error("could not lock RRD");
 481         goto err_close;
 482     }
 483
 484     if (allocate_data_structures(&rrd, &updvals,
 485                                  &pdp_temp, tmplt, &tmpl_idx, &tmpl_cnt,
 486                                  &rra_step_cnt, &skip_update,
 487                                  &pdp_new) == -1) {
 488         goto err_close;
 489     }
 490
 491     /* loop through the arguments. */
 492     for (arg_i = 0; arg_i < argc; arg_i++) {
 493         if ((arg_copy = strdup(argv[arg_i])) == NULL) {
 494             rrd_set_error("failed duplication argv entry");
 495             break;
 496         }
 497         if (process_arg(arg_copy, &rrd, rrd_file, rra_begin,
 498                         &current_time, &current_time_usec, pdp_temp, pdp_new,
 499                         rra_step_cnt, updvals, tmpl_idx, tmpl_cnt,
 500                         &pcdp_summary, version, skip_update,
 501                         &schedule_smooth) == -1) {
 502             if (rrd_test_error()) { /* Should have error string always here */
 503                 char     *save_error;
 504
 505                 /* Prepend file name to error message */
 506                 if ((save_error = strdup(rrd_get_error())) != NULL) {
 507                     rrd_set_error("%s: %s", filename, save_error);
 508                     free(save_error);
 509                 }
 510             }
 511             free(arg_copy);
 512             break;
 513         }
 514         free(arg_copy);
 515     }
 516
 517     free(rra_step_cnt);
 518
 519     /* if we got here and if there is an error and if the file has not been
 520      * written to, then close things up and return. */
 521     if (rrd_test_error()) {
 522         goto err_free_structures;
 523     }
 524 #ifndef HAVE_MMAP
 525     if (write_changes_to_disk(&rrd, rrd_file, version) == -1) {
 526         goto err_free_structures;
 527     }
 528 #endif
 529
 530     /* calling the smoothing code here guarantees at most one smoothing
 531      * operation per rrd_update call. Unfortunately, it is possible with bulk
 532      * updates, or a long-delayed update for smoothing to occur off-schedule.
 533      * This really isn't critical except during the burn-in cycles. */
 534     if (schedule_smooth) {
 535         smooth_all_rras(&rrd, rrd_file, rra_begin);
 536     }
 537
 538 /*    rrd_dontneed(rrd_file,&rrd); */
 539     rrd_free(&rrd);
 540     rrd_close(rrd_file);
 541
 542     free(pdp_new);
 543     free(tmpl_idx);
 544     free(pdp_temp);
 545     free(skip_update);
 546     free(updvals);
 547     return 0;
 548
 549   err_free_structures:
 550     free(pdp_new);
 551     free(tmpl_idx);
 552     free(pdp_temp);
 553     free(skip_update);
 554     free(updvals);
 555   err_close:
 556     rrd_close(rrd_file);
 557   err_free:
 558     rrd_free(&rrd);
 559   err_out:
 560     return -1;
 561 }
 562
 563 /*
 564  * get exclusive lock to whole file.
 565  * lock gets removed when we close the file
 566  *
 567  * returns 0 on success
 568  */
 569 int rrd_lock(
 570     rrd_file_t *file)
 571 {
 572     int       rcstat;
 573
 574     {
 575 #if defined(_WIN32) && !defined(__CYGWIN__) && !defined(__CYGWIN32__)
 576         struct _stat st;
 577
 578         if (_fstat(file->fd, &st) == 0) {
 579             rcstat = _locking(file->fd, _LK_NBLCK, st.st_size);
 580         } else {
 581             rcstat = -1;
 582         }
 583 #else
 584         struct flock lock;
 585
 586         lock.l_type = F_WRLCK;  /* exclusive write lock */
 587         lock.l_len = 0; /* whole file */
 588         lock.l_start = 0;   /* start of file */
 589         lock.l_whence = SEEK_SET;   /* end of file */
 590
 591         rcstat = fcntl(file->fd, F_SETLK, &lock);
 592 #endif
 593     }
 594
 595     return (rcstat);
 596 }
 597
 598 /*
 599  * Allocate some important arrays used, and initialize the template.
 600  *
 601  * When it returns, either all of the structures are allocated
 602  * or none of them are.
 603  *
 604  * Returns 0 on success, -1 on error.
 605  */
 606 static int allocate_data_structures(
 607     rrd_t *rrd,
 608     char ***updvals,
 609     rrd_value_t **pdp_temp,
 610     const char *tmplt,
 611     long **tmpl_idx,
 612     unsigned long *tmpl_cnt,
 613     unsigned long **rra_step_cnt,
 614     unsigned long **skip_update,
 615     rrd_value_t **pdp_new)
 616 {
 617     unsigned  i, ii;
 618     if ((*updvals = (char **) malloc(sizeof(char *)
 619                                      * (rrd->stat_head->ds_cnt + 1))) == NULL) {
 620         rrd_set_error("allocating updvals pointer array.");
 621         return -1;
 622     }
 623     if ((*pdp_temp = (rrd_value_t *) malloc(sizeof(rrd_value_t)
 624                                             * rrd->stat_head->ds_cnt)) ==
 625         NULL) {
 626         rrd_set_error("allocating pdp_temp.");
 627         goto err_free_updvals;
 628     }
 629     if ((*skip_update = (unsigned long *) malloc(sizeof(unsigned long)
 630                                                  *
 631                                                  rrd->stat_head->rra_cnt)) ==
 632         NULL) {
 633         rrd_set_error("allocating skip_update.");
 634         goto err_free_pdp_temp;
 635     }
 636     if ((*tmpl_idx = (long *) malloc(sizeof(unsigned long)
 637                                      * (rrd->stat_head->ds_cnt + 1))) == NULL) {
 638         rrd_set_error("allocating tmpl_idx.");
 639         goto err_free_skip_update;
 640     }
 641     if ((*rra_step_cnt = (unsigned long *) malloc(sizeof(unsigned long)
 642                                                   *
 643                                                   (rrd->stat_head->
 644                                                    rra_cnt))) == NULL) {
 645         rrd_set_error("allocating rra_step_cnt.");
 646         goto err_free_tmpl_idx;
 647     }
 648
 649     /* initialize tmplt redirector */
 650     /* default config example (assume DS 1 is a CDEF DS)
 651        tmpl_idx[0] -> 0; (time)
 652        tmpl_idx[1] -> 1; (DS 0)
 653        tmpl_idx[2] -> 3; (DS 2)
 654        tmpl_idx[3] -> 4; (DS 3) */
 655     (*tmpl_idx)[0] = 0; /* time */
 656     for (i = 1, ii = 1; i <= rrd->stat_head->ds_cnt; i++) {
 657         if (dst_conv(rrd->ds_def[i - 1].dst) != DST_CDEF)
 658             (*tmpl_idx)[ii++] = i;
 659     }
 660     *tmpl_cnt = ii;
 661
 662     if (tmplt != NULL) {
 663         if (parse_template(rrd, tmplt, tmpl_cnt, *tmpl_idx) == -1) {
 664             goto err_free_rra_step_cnt;
 665         }
 666     }
 667
 668     if ((*pdp_new = (rrd_value_t *) malloc(sizeof(rrd_value_t)
 669                                            * rrd->stat_head->ds_cnt)) == NULL) {
 670         rrd_set_error("allocating pdp_new.");
 671         goto err_free_rra_step_cnt;
 672     }
 673
 674     return 0;
 675
 676   err_free_rra_step_cnt:
 677     free(*rra_step_cnt);
 678   err_free_tmpl_idx:
 679     free(*tmpl_idx);
 680   err_free_skip_update:
 681     free(*skip_update);
 682   err_free_pdp_temp:
 683     free(*pdp_temp);
 684   err_free_updvals:
 685     free(*updvals);
 686     return -1;
 687 }
 688
 689 /*
 690  * Parses tmplt and puts an ordered list of DS's into tmpl_idx.
 691  *
 692  * Returns 0 on success.
 693  */
 694 static int parse_template(
 695     rrd_t *rrd,
 696     const char *tmplt,
 697     unsigned long *tmpl_cnt,
 698     long *tmpl_idx)
 699 {
 700     char     *dsname, *tmplt_copy;
 701     unsigned int tmpl_len, i;
 702     int       ret = 0;
 703
 704     *tmpl_cnt = 1;      /* the first entry is the time */
 705
 706     /* we should work on a writeable copy here */
 707     if ((tmplt_copy = strdup(tmplt)) == NULL) {
 708         rrd_set_error("error copying tmplt '%s'", tmplt);
 709         ret = -1;
 710         goto out;
 711     }
 712
 713     dsname = tmplt_copy;
 714     tmpl_len = strlen(tmplt_copy);
 715     for (i = 0; i <= tmpl_len; i++) {
 716         if (tmplt_copy[i] == ':' || tmplt_copy[i] == '\0') {
 717             tmplt_copy[i] = '\0';
 718             if (*tmpl_cnt > rrd->stat_head->ds_cnt) {
 719                 rrd_set_error("tmplt contains more DS definitions than RRD");
 720                 ret = -1;
 721                 goto out_free_tmpl_copy;
 722             }
 723             if ((tmpl_idx[(*tmpl_cnt)++] = ds_match(rrd, dsname) + 1) == 0) {
 724                 rrd_set_error("unknown DS name '%s'", dsname);
 725                 ret = -1;
 726                 goto out_free_tmpl_copy;
 727             }
 728             /* go to the next entry on the tmplt_copy */
 729             if (i < tmpl_len)
 730                 dsname = &tmplt_copy[i + 1];
 731         }
 732     }
 733   out_free_tmpl_copy:
 734     free(tmplt_copy);
 735   out:
 736     return ret;
 737 }
 738
 739 /*
 740  * Parse an update string, updates the primary data points (PDPs)
 741  * and consolidated data points (CDPs), and writes changes to the RRAs.
 742  *
 743  * Returns 0 on success, -1 on error.
 744  */
 745 static int process_arg(
 746     char *step_start,
 747     rrd_t *rrd,
 748     rrd_file_t *rrd_file,
 749     unsigned long rra_begin,
 750     time_t *current_time,
 751     unsigned long *current_time_usec,
 752     rrd_value_t *pdp_temp,
 753     rrd_value_t *pdp_new,
 754     unsigned long *rra_step_cnt,
 755     char **updvals,
 756     long *tmpl_idx,
 757     unsigned long tmpl_cnt,
 758     rrd_info_t ** pcdp_summary,
 759     int version,
 760     unsigned long *skip_update,
 761     int *schedule_smooth)
 762 {
 763     rrd_value_t *seasonal_coef = NULL, *last_seasonal_coef = NULL;
 764
 765     /* a vector of future Holt-Winters seasonal coefs */
 766     unsigned long elapsed_pdp_st;
 767
 768     double    interval, pre_int, post_int;  /* interval between this and
 769                                              * the last run */
 770     unsigned long proc_pdp_cnt;
 771
 772     if (parse_ds(rrd, updvals, tmpl_idx, step_start, tmpl_cnt,
 773                  current_time, current_time_usec, version) == -1) {
 774         return -1;
 775     }
 776
 777     interval = (double) (*current_time - rrd->live_head->last_up)
 778         + (double) ((long) *current_time_usec -
 779                     (long) rrd->live_head->last_up_usec) / 1e6f;
 780
 781     /* process the data sources and update the pdp_prep
 782      * area accordingly */
 783     if (update_pdp_prep(rrd, updvals, pdp_new, interval) == -1) {
 784         return -1;
 785     }
 786
 787     elapsed_pdp_st = calculate_elapsed_steps(rrd,
 788                                              *current_time,
 789                                              *current_time_usec, interval,
 790                                              &pre_int, &post_int,
 791                                              &proc_pdp_cnt);
 792
 793     /* has a pdp_st moment occurred since the last run ? */
 794     if (elapsed_pdp_st == 0) {
 795         /* no we have not passed a pdp_st moment. therefore update is simple */
 796         simple_update(rrd, interval, pdp_new);
 797     } else {
 798         /* an pdp_st has occurred. */
 799         if (process_all_pdp_st(rrd, interval,
 800                                pre_int, post_int,
 801                                elapsed_pdp_st, pdp_new, pdp_temp) == -1) {
 802             return -1;
 803         }
 804         if (update_all_cdp_prep(rrd, rra_step_cnt,
 805                                 rra_begin, rrd_file,
 806                                 elapsed_pdp_st,
 807                                 proc_pdp_cnt,
 808                                 &last_seasonal_coef,
 809                                 &seasonal_coef,
 810                                 pdp_temp,
 811                                 skip_update, schedule_smooth) == -1) {
 812             goto err_free_coefficients;
 813         }
 814         if (update_aberrant_cdps(rrd, rrd_file, rra_begin,
 815                                  elapsed_pdp_st, pdp_temp,
 816                                  &seasonal_coef) == -1) {
 817             goto err_free_coefficients;
 818         }
 819         if (write_to_rras(rrd, rrd_file, rra_step_cnt, rra_begin,
 820                           *current_time, skip_update,
 821                           pcdp_summary) == -1) {
 822             goto err_free_coefficients;
 823         }
 824     }                   /* endif a pdp_st has occurred */
 825     rrd->live_head->last_up = *current_time;
 826     rrd->live_head->last_up_usec = *current_time_usec;
 827
 828     if (version < 3) {
 829         *rrd->legacy_last_up = rrd->live_head->last_up;
 830     }
 831     free(seasonal_coef);
 832     free(last_seasonal_coef);
 833     return 0;
 834
 835   err_free_coefficients:
 836     free(seasonal_coef);
 837     free(last_seasonal_coef);
 838     return -1;
 839 }
 840
 841 /*
 842  * Parse a DS string (time + colon-separated values), storing the
 843  * results in current_time, current_time_usec, and updvals.
 844  *
 845  * Returns 0 on success, -1 on error.
 846  */
 847 static int parse_ds(
 848     rrd_t *rrd,
 849     char **updvals,
 850     long *tmpl_idx,
 851     char *input,
 852     unsigned long tmpl_cnt,
 853     time_t *current_time,
 854     unsigned long *current_time_usec,
 855     int version)
 856 {
 857     char     *p;
 858     unsigned long i;
 859     char      timesyntax;
 860
 861     updvals[0] = input;
 862     /* initialize all ds input to unknown except the first one
 863        which has always got to be set */
 864     for (i = 1; i <= rrd->stat_head->ds_cnt; i++)
 865         updvals[i] = "U";
 866
 867     /* separate all ds elements; first must be examined separately
 868        due to alternate time syntax */
 869     if ((p = strchr(input, '@')) != NULL) {
 870         timesyntax = '@';
 871     } else if ((p = strchr(input, ':')) != NULL) {
 872         timesyntax = ':';
 873     } else {
 874         rrd_set_error("expected timestamp not found in data source from %s",
 875                       input);
 876         return -1;
 877     }
 878     *p = '\0';
 879     i = 1;
 880     updvals[tmpl_idx[i++]] = p + 1;
 881     while (*(++p)) {
 882         if (*p == ':') {
 883             *p = '\0';
 884             if (i < tmpl_cnt) {
 885                 updvals[tmpl_idx[i++]] = p + 1;
 886             }
 887         }
 888     }
 889
 890     if (i != tmpl_cnt) {
 891         rrd_set_error("expected %lu data source readings (got %lu) from %s",
 892                       tmpl_cnt - 1, i, input);
 893         return -1;
 894     }
 895
 896     if (get_time_from_reading(rrd, timesyntax, updvals,
 897                               current_time, current_time_usec,
 898                               version) == -1) {
 899         return -1;
 900     }
 901     return 0;
 902 }
 903
 904 /*
 905  * Parse the time in a DS string, store it in current_time and
 906  * current_time_usec and verify that it's later than the last
 907  * update for this DS.
 908  *
 909  * Returns 0 on success, -1 on error.
 910  */
 911 static int get_time_from_reading(
 912     rrd_t *rrd,
 913     char timesyntax,
 914     char **updvals,
 915     time_t *current_time,
 916     unsigned long *current_time_usec,
 917     int version)
 918 {
 919     double    tmp;
 920     char     *parsetime_error = NULL;
 921     char     *old_locale;
 922     rrd_time_value_t ds_tv;
 923     struct timeval tmp_time;    /* used for time conversion */
 924
 925     /* get the time from the reading ... handle N */
 926     if (timesyntax == '@') {    /* at-style */
 927         if ((parsetime_error = rrd_parsetime(updvals[0], &ds_tv))) {
 928             rrd_set_error("ds time: %s: %s", updvals[0], parsetime_error);
 929             return -1;
 930         }
 931         if (ds_tv.type == RELATIVE_TO_END_TIME ||
 932             ds_tv.type == RELATIVE_TO_START_TIME) {
 933             rrd_set_error("specifying time relative to the 'start' "
 934                           "or 'end' makes no sense here: %s", updvals[0]);
 935             return -1;
 936         }
 937         *current_time = mktime(&ds_tv.tm) +ds_tv.offset;
 938         *current_time_usec = 0; /* FIXME: how to handle usecs here ? */
 939     } else if (strcmp(updvals[0], "N") == 0) {
 940         gettimeofday(&tmp_time, 0);
 941         normalize_time(&tmp_time);
 942         *current_time = tmp_time.tv_sec;
 943         *current_time_usec = tmp_time.tv_usec;
 944     } else {
 945         old_locale = setlocale(LC_NUMERIC, "C");
 946         tmp = strtod(updvals[0], 0);
 947         setlocale(LC_NUMERIC, old_locale);
 948         *current_time = floor(tmp);
 949         *current_time_usec = (long) ((tmp - (double) *current_time) * 1e6f);
 950     }
 951     /* dont do any correction for old version RRDs */
 952     if (version < 3)
 953         *current_time_usec = 0;
 954
 955     if (*current_time < rrd->live_head->last_up ||
 956         (*current_time == rrd->live_head->last_up &&
 957          (long) *current_time_usec <= (long) rrd->live_head->last_up_usec)) {
 958         rrd_set_error("illegal attempt to update using time %ld when "
 959                       "last update time is %ld (minimum one second step)",
 960                       *current_time, rrd->live_head->last_up);
 961         return -1;
 962     }
 963     return 0;
 964 }
 965
 966 /*
 967  * Update pdp_new by interpreting the updvals according to the DS type
 968  * (COUNTER, GAUGE, etc.).
 969  *
 970  * Returns 0 on success, -1 on error.
 971  */
 972 static int update_pdp_prep(
 973     rrd_t *rrd,
 974     char **updvals,
 975     rrd_value_t *pdp_new,
 976     double interval)
 977 {
 978     unsigned long ds_idx;
 979     int       ii;
 980     char     *endptr;   /* used in the conversion */
 981     double    rate;
 982     char     *old_locale;
 983     enum dst_en dst_idx;
 984
 985     for (ds_idx = 0; ds_idx < rrd->stat_head->ds_cnt; ds_idx++) {
 986         dst_idx = dst_conv(rrd->ds_def[ds_idx].dst);
 987
 988         /* make sure we do not build diffs with old last_ds values */
 989         if (rrd->ds_def[ds_idx].par[DS_mrhb_cnt].u_cnt < interval) {
 990             strncpy(rrd->pdp_prep[ds_idx].last_ds, "U", LAST_DS_LEN - 1);
 991             rrd->pdp_prep[ds_idx].last_ds[LAST_DS_LEN - 1] = '\0';
 992         }
 993
 994         /* NOTE: DST_CDEF should never enter this if block, because
 995          * updvals[ds_idx+1][0] is initialized to 'U'; unless the caller
 996          * accidently specified a value for the DST_CDEF. To handle this case,
 997          * an extra check is required. */
 998
 999         if ((updvals[ds_idx + 1][0] != 'U') &&
1000             (dst_idx != DST_CDEF) &&
1001             rrd->ds_def[ds_idx].par[DS_mrhb_cnt].u_cnt >= interval) {
1002             rate = DNAN;
1003
1004             /* pdp_new contains rate * time ... eg the bytes transferred during
1005              * the interval. Doing it this way saves a lot of math operations
1006              */
1007             switch (dst_idx) {
1008             case DST_COUNTER:
1009             case DST_DERIVE:
1010                 for (ii = 0; updvals[ds_idx + 1][ii] != '\0'; ii++) {
1011                     if ((updvals[ds_idx + 1][ii] < '0'
1012                          || updvals[ds_idx + 1][ii] > '9')
1013                         && (ii != 0 && updvals[ds_idx + 1][ii] != '-')) {
1014                         rrd_set_error("not a simple integer: '%s'",
1015                                       updvals[ds_idx + 1]);
1016                         return -1;
1017                     }
1018                 }
1019                 if (rrd->pdp_prep[ds_idx].last_ds[0] != 'U') {
1020                     pdp_new[ds_idx] =
1021                         rrd_diff(updvals[ds_idx + 1],
1022                                  rrd->pdp_prep[ds_idx].last_ds);
1023                     if (dst_idx == DST_COUNTER) {
1024                         /* simple overflow catcher. This will fail
1025                          * terribly for non 32 or 64 bit counters
1026                          * ... are there any others in SNMP land?
1027                          */
1028                         if (pdp_new[ds_idx] < (double) 0.0)
1029                             pdp_new[ds_idx] += (double) 4294967296.0;   /* 2^32 */
1030                         if (pdp_new[ds_idx] < (double) 0.0)
1031                             pdp_new[ds_idx] += (double) 18446744069414584320.0; /* 2^64-2^32 */
1032                     }
1033                     rate = pdp_new[ds_idx] / interval;
1034                 } else {
1035                     pdp_new[ds_idx] = DNAN;
1036                 }
1037                 break;
1038             case DST_ABSOLUTE:
1039                 old_locale = setlocale(LC_NUMERIC, "C");
1040                 errno = 0;
1041                 pdp_new[ds_idx] = strtod(updvals[ds_idx + 1], &endptr);
1042                 setlocale(LC_NUMERIC, old_locale);
1043                 if (errno > 0) {
1044                     rrd_set_error("converting '%s' to float: %s",
1045                                   updvals[ds_idx + 1], rrd_strerror(errno));
1046                     return -1;
1047                 };
1048                 if (endptr[0] != '\0') {
1049                     rrd_set_error
1050                         ("conversion of '%s' to float not complete: tail '%s'",
1051                          updvals[ds_idx + 1], endptr);
1052                     return -1;
1053                 }
1054                 rate = pdp_new[ds_idx] / interval;
1055                 break;
1056             case DST_GAUGE:
1057                 errno = 0;
1058                 old_locale = setlocale(LC_NUMERIC, "C");
1059                 pdp_new[ds_idx] =
1060                     strtod(updvals[ds_idx + 1], &endptr) * interval;
1061                 setlocale(LC_NUMERIC, old_locale);
1062                 if (errno) {
1063                     rrd_set_error("converting '%s' to float: %s",
1064                                   updvals[ds_idx + 1], rrd_strerror(errno));
1065                     return -1;
1066                 };
1067                 if (endptr[0] != '\0') {
1068                     rrd_set_error
1069                         ("conversion of '%s' to float not complete: tail '%s'",
1070                          updvals[ds_idx + 1], endptr);
1071                     return -1;
1072                 }
1073                 rate = pdp_new[ds_idx] / interval;
1074                 break;
1075             default:
1076                 rrd_set_error("rrd contains unknown DS type : '%s'",
1077                               rrd->ds_def[ds_idx].dst);
1078                 return -1;
1079             }
1080             /* break out of this for loop if the error string is set */
1081             if (rrd_test_error()) {
1082                 return -1;
1083             }
1084             /* make sure pdp_temp is neither too large or too small
1085              * if any of these occur it becomes unknown ...
1086              * sorry folks ... */
1087             if (!isnan(rate) &&
1088                 ((!isnan(rrd->ds_def[ds_idx].par[DS_max_val].u_val) &&
1089                   rate > rrd->ds_def[ds_idx].par[DS_max_val].u_val) ||
1090                  (!isnan(rrd->ds_def[ds_idx].par[DS_min_val].u_val) &&
1091                   rate < rrd->ds_def[ds_idx].par[DS_min_val].u_val))) {
1092                 pdp_new[ds_idx] = DNAN;
1093             }
1094         } else {
1095             /* no news is news all the same */
1096             pdp_new[ds_idx] = DNAN;
1097         }
1098
1099
1100         /* make a copy of the command line argument for the next run */
1101 #ifdef DEBUG
1102         fprintf(stderr, "prep ds[%lu]\t"
1103                 "last_arg '%s'\t"
1104                 "this_arg '%s'\t"
1105                 "pdp_new %10.2f\n",
1106                 ds_idx, rrd->pdp_prep[ds_idx].last_ds, updvals[ds_idx + 1],
1107                 pdp_new[ds_idx]);
1108 #endif
1109         strncpy(rrd->pdp_prep[ds_idx].last_ds, updvals[ds_idx + 1],
1110                 LAST_DS_LEN - 1);
1111         rrd->pdp_prep[ds_idx].last_ds[LAST_DS_LEN - 1] = '\0';
1112     }
1113     return 0;
1114 }
1115
1116 /*
1117  * How many PDP steps have elapsed since the last update? Returns the answer,
1118  * and stores the time between the last update and the last PDP in pre_time,
1119  * and the time between the last PDP and the current time in post_int.
1120  */
1121 static int calculate_elapsed_steps(
1122     rrd_t *rrd,
1123     unsigned long current_time,
1124     unsigned long current_time_usec,
1125     double interval,
1126     double *pre_int,
1127     double *post_int,
1128     unsigned long *proc_pdp_cnt)
1129 {
1130     unsigned long proc_pdp_st;  /* which pdp_st was the last to be processed */
1131     unsigned long occu_pdp_st;  /* when was the pdp_st before the last update
1132                                  * time */
1133     unsigned long proc_pdp_age; /* how old was the data in the pdp prep area
1134                                  * when it was last updated */
1135     unsigned long occu_pdp_age; /* how long ago was the last pdp_step time */
1136
1137     /* when was the current pdp started */
1138     proc_pdp_age = rrd->live_head->last_up % rrd->stat_head->pdp_step;
1139     proc_pdp_st = rrd->live_head->last_up - proc_pdp_age;
1140
1141     /* when did the last pdp_st occur */
1142     occu_pdp_age = current_time % rrd->stat_head->pdp_step;
1143     occu_pdp_st = current_time - occu_pdp_age;
1144
1145     if (occu_pdp_st > proc_pdp_st) {
1146         /* OK we passed the pdp_st moment */
1147         *pre_int = (long) occu_pdp_st - rrd->live_head->last_up;    /* how much of the input data
1148                                                                      * occurred before the latest
1149                                                                      * pdp_st moment*/
1150         *pre_int -= ((double) rrd->live_head->last_up_usec) / 1e6f; /* adjust usecs */
1151         *post_int = occu_pdp_age;   /* how much after it */
1152         *post_int += ((double) current_time_usec) / 1e6f;   /* adjust usecs */
1153     } else {
1154         *pre_int = interval;
1155         *post_int = 0;
1156     }
1157
1158     *proc_pdp_cnt = proc_pdp_st / rrd->stat_head->pdp_step;
1159
1160 #ifdef DEBUG
1161     printf("proc_pdp_age %lu\t"
1162            "proc_pdp_st %lu\t"
1163            "occu_pfp_age %lu\t"
1164            "occu_pdp_st %lu\t"
1165            "int %lf\t"
1166            "pre_int %lf\t"
1167            "post_int %lf\n", proc_pdp_age, proc_pdp_st,
1168            occu_pdp_age, occu_pdp_st, interval, *pre_int, *post_int);
1169 #endif
1170
1171     /* compute the number of elapsed pdp_st moments */
1172     return (occu_pdp_st - proc_pdp_st) / rrd->stat_head->pdp_step;
1173 }
1174
1175 /*
1176  * Increment the PDP values by the values in pdp_new, or else initialize them.
1177  */
1178 static void simple_update(
1179     rrd_t *rrd,
1180     double interval,
1181     rrd_value_t *pdp_new)
1182 {
1183     int       i;
1184
1185     for (i = 0; i < (signed) rrd->stat_head->ds_cnt; i++) {
1186         if (isnan(pdp_new[i])) {
1187             /* this is not really accurate if we use subsecond data arrival time
1188                should have thought of it when going subsecond resolution ...
1189                sorry next format change we will have it! */
1190             rrd->pdp_prep[i].scratch[PDP_unkn_sec_cnt].u_cnt +=
1191                 floor(interval);
1192         } else {
1193             if (isnan(rrd->pdp_prep[i].scratch[PDP_val].u_val)) {
1194                 rrd->pdp_prep[i].scratch[PDP_val].u_val = pdp_new[i];
1195             } else {
1196                 rrd->pdp_prep[i].scratch[PDP_val].u_val += pdp_new[i];
1197             }
1198         }
1199 #ifdef DEBUG
1200         fprintf(stderr,
1201                 "NO PDP  ds[%i]\t"
1202                 "value %10.2f\t"
1203                 "unkn_sec %5lu\n",
1204                 i,
1205                 rrd->pdp_prep[i].scratch[PDP_val].u_val,
1206                 rrd->pdp_prep[i].scratch[PDP_unkn_sec_cnt].u_cnt);
1207 #endif
1208     }
1209 }
1210
1211 /*
1212  * Call process_pdp_st for each DS.
1213  *
1214  * Returns 0 on success, -1 on error.
1215  */
1216 static int process_all_pdp_st(
1217     rrd_t *rrd,
1218     double interval,
1219     double pre_int,
1220     double post_int,
1221     unsigned long elapsed_pdp_st,
1222     rrd_value_t *pdp_new,
1223     rrd_value_t *pdp_temp)
1224 {
1225     unsigned long ds_idx;
1226
1227     /* in pdp_prep[].scratch[PDP_val].u_val we have collected
1228        rate*seconds which occurred up to the last run.
1229        pdp_new[] contains rate*seconds from the latest run.
1230        pdp_temp[] will contain the rate for cdp */
1231
1232     for (ds_idx = 0; ds_idx < rrd->stat_head->ds_cnt; ds_idx++) {
1233         if (process_pdp_st(rrd, ds_idx, interval, pre_int, post_int,
1234                            elapsed_pdp_st * rrd->stat_head->pdp_step,
1235                            pdp_new, pdp_temp) == -1) {
1236             return -1;
1237         }
1238 #ifdef DEBUG
1239         fprintf(stderr, "PDP UPD ds[%lu]\t"
1240                 "elapsed_pdp_st %lu\t"
1241                 "pdp_temp %10.2f\t"
1242                 "new_prep %10.2f\t"
1243                 "new_unkn_sec %5lu\n",
1244                 ds_idx,
1245                 elapsed_pdp_st,
1246                 pdp_temp[ds_idx],
1247                 rrd->pdp_prep[ds_idx].scratch[PDP_val].u_val,
1248                 rrd->pdp_prep[ds_idx].scratch[PDP_unkn_sec_cnt].u_cnt);
1249 #endif
1250     }
1251     return 0;
1252 }
1253
1254 /*
1255  * Process an update that occurs after one of the PDP moments.
1256  * Increments the PDP value, sets NAN if time greater than the
1257  * heartbeats have elapsed, processes CDEFs.
1258  *
1259  * Returns 0 on success, -1 on error.
1260  */
1261 static int process_pdp_st(
1262     rrd_t *rrd,
1263     unsigned long ds_idx,
1264     double interval,
1265     double pre_int,
1266     double post_int,
1267     long diff_pdp_st,   /* number of seconds in full steps passed since last update */
1268     rrd_value_t *pdp_new,
1269     rrd_value_t *pdp_temp)
1270 {
1271     int       i;
1272
1273     /* update pdp_prep to the current pdp_st. */
1274     double    pre_unknown = 0.0;
1275     unival   *scratch = rrd->pdp_prep[ds_idx].scratch;
1276     unsigned long mrhb = rrd->ds_def[ds_idx].par[DS_mrhb_cnt].u_cnt;
1277
1278     rpnstack_t rpnstack;    /* used for COMPUTE DS */
1279
1280     rpnstack_init(&rpnstack);
1281
1282
1283     if (isnan(pdp_new[ds_idx])) {
1284         /* a final bit of unknown to be added before calculation
1285            we use a temporary variable for this so that we
1286            don't have to turn integer lines before using the value */
1287         pre_unknown = pre_int;
1288     } else {
1289         if (isnan(scratch[PDP_val].u_val)) {
1290             scratch[PDP_val].u_val = 0;
1291         }
1292         scratch[PDP_val].u_val += pdp_new[ds_idx] / interval * pre_int;
1293     }
1294
1295     /* if too much of the pdp_prep is unknown we dump it */
1296     /* if the interval is larger thatn mrhb we get NAN */
1297     if ((interval > mrhb) ||
1298         (rrd->stat_head->pdp_step / 2.0 <
1299          (signed) scratch[PDP_unkn_sec_cnt].u_cnt)) {
1300         pdp_temp[ds_idx] = DNAN;
1301     } else {
1302         pdp_temp[ds_idx] = scratch[PDP_val].u_val /
1303             ((double) (diff_pdp_st - scratch[PDP_unkn_sec_cnt].u_cnt) -
1304              pre_unknown);
1305     }
1306
1307     /* process CDEF data sources; remember each CDEF DS can
1308      * only reference other DS with a lower index number */
1309     if (dst_conv(rrd->ds_def[ds_idx].dst) == DST_CDEF) {
1310         rpnp_t   *rpnp;
1311
1312         rpnp =
1313             rpn_expand((rpn_cdefds_t *) &(rrd->ds_def[ds_idx].par[DS_cdef]));
1314         /* substitute data values for OP_VARIABLE nodes */
1315         for (i = 0; rpnp[i].op != OP_END; i++) {
1316             if (rpnp[i].op == OP_VARIABLE) {
1317                 rpnp[i].op = OP_NUMBER;
1318                 rpnp[i].val = pdp_temp[rpnp[i].ptr];
1319             }
1320         }
1321         /* run the rpn calculator */
1322         if (rpn_calc(rpnp, &rpnstack, 0, pdp_temp, ds_idx) == -1) {
1323             free(rpnp);
1324             rpnstack_free(&rpnstack);
1325             return -1;
1326         }
1327     }
1328
1329     /* make pdp_prep ready for the next run */
1330     if (isnan(pdp_new[ds_idx])) {
1331         /* this is not realy accurate if we use subsecond data arival time
1332            should have thought of it when going subsecond resolution ...
1333            sorry next format change we will have it! */
1334         scratch[PDP_unkn_sec_cnt].u_cnt = floor(post_int);
1335         scratch[PDP_val].u_val = DNAN;
1336     } else {
1337         scratch[PDP_unkn_sec_cnt].u_cnt = 0;
1338         scratch[PDP_val].u_val = pdp_new[ds_idx] / interval * post_int;
1339     }
1340     rpnstack_free(&rpnstack);
1341     return 0;
1342 }
1343
1344 /*
1345  * Iterate over all the RRAs for a given DS and:
1346  * 1. Decide whether to schedule a smooth later
1347  * 2. Decide whether to skip updating SEASONAL and DEVSEASONAL
1348  * 3. Update the CDP
1349  *
1350  * Returns 0 on success, -1 on error
1351  */
1352 static int update_all_cdp_prep(
1353     rrd_t *rrd,
1354     unsigned long *rra_step_cnt,
1355     unsigned long rra_begin,
1356     rrd_file_t *rrd_file,
1357     unsigned long elapsed_pdp_st,
1358     unsigned long proc_pdp_cnt,
1359     rrd_value_t **last_seasonal_coef,
1360     rrd_value_t **seasonal_coef,
1361     rrd_value_t *pdp_temp,
1362     unsigned long *skip_update,
1363     int *schedule_smooth)
1364 {
1365     unsigned long rra_idx;
1366
1367     /* index into the CDP scratch array */
1368     enum cf_en current_cf;
1369     unsigned long rra_start;
1370
1371     /* number of rows to be updated in an RRA for a data value. */
1372     unsigned long start_pdp_offset;
1373
1374     rra_start = rra_begin;
1375     for (rra_idx = 0; rra_idx < rrd->stat_head->rra_cnt; rra_idx++) {
1376         current_cf = cf_conv(rrd->rra_def[rra_idx].cf_nam);
1377         start_pdp_offset =
1378             rrd->rra_def[rra_idx].pdp_cnt -
1379             proc_pdp_cnt % rrd->rra_def[rra_idx].pdp_cnt;
1380         skip_update[rra_idx] = 0;
1381         if (start_pdp_offset <= elapsed_pdp_st) {
1382             rra_step_cnt[rra_idx] = (elapsed_pdp_st - start_pdp_offset) /
1383                 rrd->rra_def[rra_idx].pdp_cnt + 1;
1384         } else {
1385             rra_step_cnt[rra_idx] = 0;
1386         }
1387
1388         if (current_cf == CF_SEASONAL || current_cf == CF_DEVSEASONAL) {
1389             /* If this is a bulk update, we need to skip ahead in the seasonal arrays
1390              * so that they will be correct for the next observed value; note that for
1391              * the bulk update itself, no update will occur to DEVSEASONAL or SEASONAL;
1392              * futhermore, HWPREDICT and DEVPREDICT will be set to DNAN. */
1393             if (rra_step_cnt[rra_idx] > 1) {
1394                 skip_update[rra_idx] = 1;
1395                 lookup_seasonal(rrd, rra_idx, rra_start, rrd_file,
1396                                 elapsed_pdp_st, last_seasonal_coef);
1397                 lookup_seasonal(rrd, rra_idx, rra_start, rrd_file,
1398                                 elapsed_pdp_st + 1, seasonal_coef);
1399             }
1400             /* periodically run a smoother for seasonal effects */
1401             if (do_schedule_smooth(rrd, rra_idx, elapsed_pdp_st)) {
1402 #ifdef DEBUG
1403                 fprintf(stderr,
1404                         "schedule_smooth: cur_row %lu, elapsed_pdp_st %lu, smooth idx %lu\n",
1405                         rrd->rra_ptr[rra_idx].cur_row, elapsed_pdp_st,
1406                         rrd->rra_def[rra_idx].par[RRA_seasonal_smooth_idx].
1407                         u_cnt);
1408 #endif
1409                 *schedule_smooth = 1;
1410             }
1411         }
1412         if (rrd_test_error())
1413             return -1;
1414
1415         if (update_cdp_prep
1416             (rrd, elapsed_pdp_st, start_pdp_offset, rra_step_cnt, rra_idx,
1417              pdp_temp, *last_seasonal_coef, *seasonal_coef,
1418              current_cf) == -1) {
1419             return -1;
1420         }
1421         rra_start +=
1422             rrd->rra_def[rra_idx].row_cnt * rrd->stat_head->ds_cnt *
1423             sizeof(rrd_value_t);
1424     }
1425     return 0;
1426 }
1427
1428 /*
1429  * Are we due for a smooth? Also increments our position in the burn-in cycle.
1430  */
1431 static int do_schedule_smooth(
1432     rrd_t *rrd,
1433     unsigned long rra_idx,
1434     unsigned long elapsed_pdp_st)
1435 {
1436     unsigned long cdp_idx = rra_idx * (rrd->stat_head->ds_cnt);
1437     unsigned long cur_row = rrd->rra_ptr[rra_idx].cur_row;
1438     unsigned long row_cnt = rrd->rra_def[rra_idx].row_cnt;
1439     unsigned long seasonal_smooth_idx =
1440         rrd->rra_def[rra_idx].par[RRA_seasonal_smooth_idx].u_cnt;
1441     unsigned long *init_seasonal =
1442         &(rrd->cdp_prep[cdp_idx].scratch[CDP_init_seasonal].u_cnt);
1443
1444     /* Need to use first cdp parameter buffer to track burnin (burnin requires
1445      * a specific smoothing schedule).  The CDP_init_seasonal parameter is
1446      * really an RRA level, not a data source within RRA level parameter, but
1447      * the rra_def is read only for rrd_update (not flushed to disk). */
1448     if (*init_seasonal > BURNIN_CYCLES) {
1449         /* someone has no doubt invented a trick to deal with this wrap around,
1450          * but at least this code is clear. */
1451         if (seasonal_smooth_idx > cur_row) {
1452             /* here elapsed_pdp_st = rra_step_cnt[rra_idx] because of 1-1 mapping
1453              * between PDP and CDP */
1454             return (cur_row + elapsed_pdp_st >= seasonal_smooth_idx);
1455         }
1456         /* can't rely on negative numbers because we are working with
1457          * unsigned values */
1458         return (cur_row + elapsed_pdp_st >= row_cnt
1459                 && cur_row + elapsed_pdp_st >= row_cnt + seasonal_smooth_idx);
1460     }
1461     /* mark off one of the burn-in cycles */
1462     return (cur_row + elapsed_pdp_st >= row_cnt && ++(*init_seasonal));
1463 }
1464
1465 /*
1466  * For a given RRA, iterate over the data sources and call the appropriate
1467  * consolidation function.
1468  *
1469  * Returns 0 on success, -1 on error.
1470  */
1471 static int update_cdp_prep(
1472     rrd_t *rrd,
1473     unsigned long elapsed_pdp_st,
1474     unsigned long start_pdp_offset,
1475     unsigned long *rra_step_cnt,
1476     int rra_idx,
1477     rrd_value_t *pdp_temp,
1478     rrd_value_t *last_seasonal_coef,
1479     rrd_value_t *seasonal_coef,
1480     int current_cf)
1481 {
1482     unsigned long ds_idx, cdp_idx;
1483
1484     /* update CDP_PREP areas */
1485     /* loop over data soures within each RRA */
1486     for (ds_idx = 0; ds_idx < rrd->stat_head->ds_cnt; ds_idx++) {
1487
1488         cdp_idx = rra_idx * rrd->stat_head->ds_cnt + ds_idx;
1489
1490         if (rrd->rra_def[rra_idx].pdp_cnt > 1) {
1491             update_cdp(rrd->cdp_prep[cdp_idx].scratch, current_cf,
1492                        pdp_temp[ds_idx], rra_step_cnt[rra_idx],
1493                        elapsed_pdp_st, start_pdp_offset,
1494                        rrd->rra_def[rra_idx].pdp_cnt,
1495                        rrd->rra_def[rra_idx].par[RRA_cdp_xff_val].u_val,
1496                        rra_idx, ds_idx);
1497         } else {
1498             /* Nothing to consolidate if there's one PDP per CDP. However, if
1499              * we've missed some PDPs, let's update null counters etc. */
1500             if (elapsed_pdp_st > 2) {
1501                 reset_cdp(rrd, elapsed_pdp_st, pdp_temp, last_seasonal_coef,
1502                           seasonal_coef, rra_idx, ds_idx, cdp_idx,
1503                           (enum cf_en)current_cf);
1504             }
1505         }
1506
1507         if (rrd_test_error())
1508             return -1;
1509     }                   /* endif data sources loop */
1510     return 0;
1511 }
1512
1513 /*
1514  * Given the new reading (pdp_temp_val), update or initialize the CDP value,
1515  * primary value, secondary value, and # of unknowns.
1516  */
1517 static void update_cdp(
1518     unival *scratch,
1519     int current_cf,
1520     rrd_value_t pdp_temp_val,
1521     unsigned long rra_step_cnt,
1522     unsigned long elapsed_pdp_st,
1523     unsigned long start_pdp_offset,
1524     unsigned long pdp_cnt,
1525     rrd_value_t xff,
1526     int i,
1527     int ii)
1528 {
1529     /* shorthand variables */
1530     rrd_value_t *cdp_val = &scratch[CDP_val].u_val;
1531     rrd_value_t *cdp_primary_val = &scratch[CDP_primary_val].u_val;
1532     rrd_value_t *cdp_secondary_val = &scratch[CDP_secondary_val].u_val;
1533     unsigned long *cdp_unkn_pdp_cnt = &scratch[CDP_unkn_pdp_cnt].u_cnt;
1534
1535     if (rra_step_cnt) {
1536         /* If we are in this block, as least 1 CDP value will be written to
1537          * disk, this is the CDP_primary_val entry. If more than 1 value needs
1538          * to be written, then the "fill in" value is the CDP_secondary_val
1539          * entry. */
1540         if (isnan(pdp_temp_val)) {
1541             *cdp_unkn_pdp_cnt += start_pdp_offset;
1542             *cdp_secondary_val = DNAN;
1543         } else {
1544             /* CDP_secondary value is the RRA "fill in" value for intermediary
1545              * CDP data entries. No matter the CF, the value is the same because
1546              * the average, max, min, and last of a list of identical values is
1547              * the same, namely, the value itself. */
1548             *cdp_secondary_val = pdp_temp_val;
1549         }
1550
1551         if (*cdp_unkn_pdp_cnt > pdp_cnt * xff) {
1552             *cdp_primary_val = DNAN;
1553             if (current_cf == CF_AVERAGE) {
1554                 *cdp_val =
1555                     initialize_average_carry_over(pdp_temp_val,
1556                                                   elapsed_pdp_st,
1557                                                   start_pdp_offset, pdp_cnt);
1558             } else {
1559                 *cdp_val = pdp_temp_val;
1560             }
1561         } else {
1562             initialize_cdp_val(scratch, current_cf, pdp_temp_val,
1563                                elapsed_pdp_st, start_pdp_offset, pdp_cnt);
1564         }               /* endif meets xff value requirement for a valid value */
1565         /* initialize carry over CDP_unkn_pdp_cnt, this must after CDP_primary_val
1566          * is set because CDP_unkn_pdp_cnt is required to compute that value. */
1567         if (isnan(pdp_temp_val))
1568             *cdp_unkn_pdp_cnt = (elapsed_pdp_st - start_pdp_offset) % pdp_cnt;
1569         else
1570             *cdp_unkn_pdp_cnt = 0;
1571     } else {            /* rra_step_cnt[i]  == 0 */
1572
1573 #ifdef DEBUG
1574         if (isnan(*cdp_val)) {
1575             fprintf(stderr, "schedule CDP_val update, RRA %d DS %d, DNAN\n",
1576                     i, ii);
1577         } else {
1578             fprintf(stderr, "schedule CDP_val update, RRA %d DS %d, %10.2f\n",
1579                     i, ii, *cdp_val);
1580         }
1581 #endif
1582         if (isnan(pdp_temp_val)) {
1583             *cdp_unkn_pdp_cnt += elapsed_pdp_st;
1584         } else {
1585             *cdp_val =
1586                 calculate_cdp_val(*cdp_val, pdp_temp_val, elapsed_pdp_st,
1587                                   current_cf, i, ii);
1588         }
1589     }
1590 }
1591
1592 /*
1593  * Set the CDP_primary_val and CDP_val to the appropriate initial value based
1594  * on the type of consolidation function.
1595  */
1596 static void initialize_cdp_val(
1597     unival *scratch,
1598     int current_cf,
1599     rrd_value_t pdp_temp_val,
1600     unsigned long elapsed_pdp_st,
1601     unsigned long start_pdp_offset,
1602     unsigned long pdp_cnt)
1603 {
1604     rrd_value_t cum_val, cur_val;
1605
1606     switch (current_cf) {
1607     case CF_AVERAGE:
1608         cum_val = IFDNAN(scratch[CDP_val].u_val, 0.0);
1609         cur_val = IFDNAN(pdp_temp_val, 0.0);
1610         scratch[CDP_primary_val].u_val =
1611             (cum_val + cur_val * start_pdp_offset) /
1612             (pdp_cnt - scratch[CDP_unkn_pdp_cnt].u_cnt);
1613         scratch[CDP_val].u_val =
1614             initialize_average_carry_over(pdp_temp_val, elapsed_pdp_st,
1615                                           start_pdp_offset, pdp_cnt);
1616         break;
1617     case CF_MAXIMUM:
1618         cum_val = IFDNAN(scratch[CDP_val].u_val, -DINF);
1619         cur_val = IFDNAN(pdp_temp_val, -DINF);
1620 #if 0
1621 #ifdef DEBUG
1622         if (isnan(scratch[CDP_val].u_val) && isnan(pdp_temp)) {
1623             fprintf(stderr,
1624                     "RRA %lu, DS %lu, both CDP_val and pdp_temp are DNAN!",
1625                     i, ii);
1626             exit(-1);
1627         }
1628 #endif
1629 #endif
1630         if (cur_val > cum_val)
1631             scratch[CDP_primary_val].u_val = cur_val;
1632         else
1633             scratch[CDP_primary_val].u_val = cum_val;
1634         /* initialize carry over value */
1635         scratch[CDP_val].u_val = pdp_temp_val;
1636         break;
1637     case CF_MINIMUM:
1638         cum_val = IFDNAN(scratch[CDP_val].u_val, DINF);
1639         cur_val = IFDNAN(pdp_temp_val, DINF);
1640 #if 0
1641 #ifdef DEBUG
1642         if (isnan(scratch[CDP_val].u_val) && isnan(pdp_temp)) {
1643             fprintf(stderr,
1644                     "RRA %lu, DS %lu, both CDP_val and pdp_temp are DNAN!", i,
1645                     ii);
1646             exit(-1);
1647         }
1648 #endif
1649 #endif
1650         if (cur_val < cum_val)
1651             scratch[CDP_primary_val].u_val = cur_val;
1652         else
1653             scratch[CDP_primary_val].u_val = cum_val;
1654         /* initialize carry over value */
1655         scratch[CDP_val].u_val = pdp_temp_val;
1656         break;
1657     case CF_LAST:
1658     default:
1659         scratch[CDP_primary_val].u_val = pdp_temp_val;
1660         /* initialize carry over value */
1661         scratch[CDP_val].u_val = pdp_temp_val;
1662         break;
1663     }
1664 }
1665
1666 /*
1667  * Update the consolidation function for Holt-Winters functions as
1668  * well as other functions that don't actually consolidate multiple
1669  * PDPs.
1670  */
1671 static void reset_cdp(
1672     rrd_t *rrd,
1673     unsigned long elapsed_pdp_st,
1674     rrd_value_t *pdp_temp,
1675     rrd_value_t *last_seasonal_coef,
1676     rrd_value_t *seasonal_coef,
1677     int rra_idx,
1678     int ds_idx,
1679     int cdp_idx,
1680     enum cf_en current_cf)
1681 {
1682     unival   *scratch = rrd->cdp_prep[cdp_idx].scratch;
1683
1684     switch (current_cf) {
1685     case CF_AVERAGE:
1686     default:
1687         scratch[CDP_primary_val].u_val = pdp_temp[ds_idx];
1688         scratch[CDP_secondary_val].u_val = pdp_temp[ds_idx];
1689         break;
1690     case CF_SEASONAL:
1691     case CF_DEVSEASONAL:
1692         /* need to update cached seasonal values, so they are consistent
1693          * with the bulk update */
1694         /* WARNING: code relies on the fact that CDP_hw_last_seasonal and
1695          * CDP_last_deviation are the same. */
1696         scratch[CDP_hw_last_seasonal].u_val = last_seasonal_coef[ds_idx];
1697         scratch[CDP_hw_seasonal].u_val = seasonal_coef[ds_idx];
1698         break;
1699     case CF_HWPREDICT:
1700     case CF_MHWPREDICT:
1701         /* need to update the null_count and last_null_count.
1702          * even do this for non-DNAN pdp_temp because the
1703          * algorithm is not learning from batch updates. */
1704         scratch[CDP_null_count].u_cnt += elapsed_pdp_st;
1705         scratch[CDP_last_null_count].u_cnt += elapsed_pdp_st - 1;
1706         /* fall through */
1707     case CF_DEVPREDICT:
1708         scratch[CDP_primary_val].u_val = DNAN;
1709         scratch[CDP_secondary_val].u_val = DNAN;
1710         break;
1711     case CF_FAILURES:
1712         /* do not count missed bulk values as failures */
1713         scratch[CDP_primary_val].u_val = 0;
1714         scratch[CDP_secondary_val].u_val = 0;
1715         /* need to reset violations buffer.
1716          * could do this more carefully, but for now, just
1717          * assume a bulk update wipes away all violations. */
1718         erase_violations(rrd, cdp_idx, rra_idx);
1719         break;
1720     }
1721 }
1722
1723 static rrd_value_t initialize_average_carry_over(
1724     rrd_value_t pdp_temp_val,
1725     unsigned long elapsed_pdp_st,
1726     unsigned long start_pdp_offset,
1727     unsigned long pdp_cnt)
1728 {
1729     /* initialize carry over value */
1730     if (isnan(pdp_temp_val)) {
1731         return DNAN;
1732     }
1733     return pdp_temp_val * ((elapsed_pdp_st - start_pdp_offset) % pdp_cnt);
1734 }
1735
1736 /*
1737  * Update or initialize a CDP value based on the consolidation
1738  * function.
1739  *
1740  * Returns the new value.
1741  */
1742 static rrd_value_t calculate_cdp_val(
1743     rrd_value_t cdp_val,
1744     rrd_value_t pdp_temp_val,
1745     unsigned long elapsed_pdp_st,
1746     int current_cf,
1747 #ifdef DEBUG
1748     int i,
1749     int ii
1750 #else
1751     int UNUSED(i),
1752     int UNUSED(ii)
1753 #endif
1754     )
1755 {
1756     if (isnan(cdp_val)) {
1757         if (current_cf == CF_AVERAGE) {
1758             pdp_temp_val *= elapsed_pdp_st;
1759         }
1760 #ifdef DEBUG
1761         fprintf(stderr, "Initialize CDP_val for RRA %d DS %d: %10.2f\n",
1762                 i, ii, pdp_temp_val);
1763 #endif
1764         return pdp_temp_val;
1765     }
1766     if (current_cf == CF_AVERAGE)
1767         return cdp_val + pdp_temp_val * elapsed_pdp_st;
1768     if (current_cf == CF_MINIMUM)
1769         return (pdp_temp_val < cdp_val) ? pdp_temp_val : cdp_val;
1770     if (current_cf == CF_MAXIMUM)
1771         return (pdp_temp_val > cdp_val) ? pdp_temp_val : cdp_val;
1772
1773     return pdp_temp_val;
1774 }
1775
1776 /*
1777  * For each RRA, update the seasonal values and then call update_aberrant_CF
1778  * for each data source.
1779  *
1780  * Return 0 on success, -1 on error.
1781  */
1782 static int update_aberrant_cdps(
1783     rrd_t *rrd,
1784     rrd_file_t *rrd_file,
1785     unsigned long rra_begin,
1786     unsigned long elapsed_pdp_st,
1787     rrd_value_t *pdp_temp,
1788     rrd_value_t **seasonal_coef)
1789 {
1790     unsigned long rra_idx, ds_idx, j;
1791
1792     /* number of PDP steps since the last update that
1793      * are assigned to the first CDP to be generated
1794      * since the last update. */
1795     unsigned short scratch_idx;
1796     unsigned long rra_start;
1797     enum cf_en current_cf;
1798
1799     /* this loop is only entered if elapsed_pdp_st < 3 */
1800     for (j = elapsed_pdp_st, scratch_idx = CDP_primary_val;
1801          j > 0 && j < 3; j--, scratch_idx = CDP_secondary_val) {
1802         rra_start = rra_begin;
1803         for (rra_idx = 0; rra_idx < rrd->stat_head->rra_cnt; rra_idx++) {
1804             if (rrd->rra_def[rra_idx].pdp_cnt == 1) {
1805                 current_cf = cf_conv(rrd->rra_def[rra_idx].cf_nam);
1806                 if (current_cf == CF_SEASONAL || current_cf == CF_DEVSEASONAL) {
1807                     if (scratch_idx == CDP_primary_val) {
1808                         lookup_seasonal(rrd, rra_idx, rra_start, rrd_file,
1809                                         elapsed_pdp_st + 1, seasonal_coef);
1810                     } else {
1811                         lookup_seasonal(rrd, rra_idx, rra_start, rrd_file,
1812                                         elapsed_pdp_st + 2, seasonal_coef);
1813                     }
1814                 }
1815                 if (rrd_test_error())
1816                     return -1;
1817                 /* loop over data soures within each RRA */
1818                 for (ds_idx = 0; ds_idx < rrd->stat_head->ds_cnt; ds_idx++) {
1819                     update_aberrant_CF(rrd, pdp_temp[ds_idx], current_cf,
1820                                        rra_idx * (rrd->stat_head->ds_cnt) +
1821                                        ds_idx, rra_idx, ds_idx, scratch_idx,
1822                                        *seasonal_coef);
1823                 }
1824             }
1825             rra_start += rrd->rra_def[rra_idx].row_cnt
1826                 * rrd->stat_head->ds_cnt * sizeof(rrd_value_t);
1827         }
1828     }
1829     return 0;
1830 }
1831
1832 /*
1833  * Move sequentially through the file, writing one RRA at a time.  Note this
1834  * architecture divorces the computation of CDP with flushing updated RRA
1835  * entries to disk.
1836  *
1837  * Return 0 on success, -1 on error.
1838  */
1839 static int write_to_rras(
1840     rrd_t *rrd,
1841     rrd_file_t *rrd_file,
1842     unsigned long *rra_step_cnt,
1843     unsigned long rra_begin,
1844     time_t current_time,
1845     unsigned long *skip_update,
1846     rrd_info_t ** pcdp_summary)
1847 {
1848     unsigned long rra_idx;
1849     unsigned long rra_start;
1850     time_t    rra_time = 0; /* time of update for a RRA */
1851
1852     unsigned long ds_cnt = rrd->stat_head->ds_cnt;
1853
1854     /* Ready to write to disk */
1855     rra_start = rra_begin;
1856
1857     for (rra_idx = 0; rra_idx < rrd->stat_head->rra_cnt; rra_idx++) {
1858         rra_def_t *rra_def = &rrd->rra_def[rra_idx];
1859         rra_ptr_t *rra_ptr = &rrd->rra_ptr[rra_idx];
1860
1861         /* for cdp_prep */
1862         unsigned short scratch_idx;
1863         unsigned long step_subtract;
1864
1865         for (scratch_idx = CDP_primary_val,
1866                  step_subtract = 1;
1867              rra_step_cnt[rra_idx] > 0;
1868              rra_step_cnt[rra_idx]--,
1869                  scratch_idx = CDP_secondary_val,
1870                  step_subtract = 2) {
1871
1872             off_t rra_pos_new;
1873 #ifdef DEBUG
1874             fprintf(stderr, "  -- RRA Preseek %ld\n", rrd_file->pos);
1875 #endif
1876             /* increment, with wrap-around */
1877             if (++rra_ptr->cur_row >= rra_def->row_cnt)
1878               rra_ptr->cur_row = 0;
1879
1880             /* we know what our position should be */
1881             rra_pos_new = rra_start
1882               + ds_cnt * rra_ptr->cur_row * sizeof(rrd_value_t);
1883
1884             /* re-seek if the position is wrong or we wrapped around */
1885             if (rra_pos_new != rrd_file->pos) {
1886                 if (rrd_seek(rrd_file, rra_pos_new, SEEK_SET) != 0) {
1887                     rrd_set_error("seek error in rrd");
1888                     return -1;
1889                 }
1890             }
1891 #ifdef DEBUG
1892             fprintf(stderr, "  -- RRA Postseek %ld\n", rrd_file->pos);
1893 #endif
1894
1895             if (skip_update[rra_idx])
1896                 continue;
1897
1898             if (*pcdp_summary != NULL) {
1899                 unsigned long step_time = rra_def->pdp_cnt * rrd->stat_head->pdp_step;
1900
1901                 rra_time = (current_time - current_time % step_time)
1902                     - ((rra_step_cnt[rra_idx] - step_subtract) * step_time);
1903             }
1904
1905             if (write_RRA_row
1906                 (rrd_file, rrd, rra_idx, scratch_idx,
1907                  pcdp_summary, rra_time) == -1)
1908                 return -1;
1909         }
1910
1911         rra_start += rra_def->row_cnt * ds_cnt * sizeof(rrd_value_t);
1912     } /* RRA LOOP */
1913
1914     return 0;
1915 }
1916
1917 /*
1918  * Write out one row of values (one value per DS) to the archive.
1919  *
1920  * Returns 0 on success, -1 on error.
1921  */
1922 static int write_RRA_row(
1923     rrd_file_t *rrd_file,
1924     rrd_t *rrd,
1925     unsigned long rra_idx,
1926     unsigned short CDP_scratch_idx,
1927     rrd_info_t ** pcdp_summary,
1928     time_t rra_time)
1929 {
1930     unsigned long ds_idx, cdp_idx;
1931     rrd_infoval_t iv;
1932
1933     for (ds_idx = 0; ds_idx < rrd->stat_head->ds_cnt; ds_idx++) {
1934         /* compute the cdp index */
1935         cdp_idx = rra_idx * (rrd->stat_head->ds_cnt) + ds_idx;
1936 #ifdef DEBUG
1937         fprintf(stderr, "  -- RRA WRITE VALUE %e, at %ld CF:%s\n",
1938                 rrd->cdp_prep[cdp_idx].scratch[CDP_scratch_idx].u_val,
1939                 rrd_file->pos, rrd->rra_def[rra_idx].cf_nam);
1940 #endif
1941         if (*pcdp_summary != NULL) {
1942             iv.u_val = rrd->cdp_prep[cdp_idx].scratch[CDP_scratch_idx].u_val;
1943             /* append info to the return hash */
1944             *pcdp_summary = rrd_info_push(*pcdp_summary,
1945                                           sprintf_alloc
1946                                           ("[%lli]RRA[%s][%lu]DS[%s]", (long long)rra_time,
1947                                            rrd->rra_def[rra_idx].cf_nam,
1948                                            rrd->rra_def[rra_idx].pdp_cnt,
1949                                            rrd->ds_def[ds_idx].ds_nam),
1950                                           RD_I_VAL, iv);
1951         }
1952         if (rrd_write(rrd_file,
1953                       &(rrd->cdp_prep[cdp_idx].scratch[CDP_scratch_idx].
1954                         u_val), sizeof(rrd_value_t)) != sizeof(rrd_value_t)) {
1955             rrd_set_error("writing rrd: %s", rrd_strerror(errno));
1956             return -1;
1957         }
1958     }
1959     return 0;
1960 }
1961
1962 /*
1963  * Call apply_smoother for all DEVSEASONAL and SEASONAL RRAs.
1964  *
1965  * Returns 0 on success, -1 otherwise
1966  */
1967 static int smooth_all_rras(
1968     rrd_t *rrd,
1969     rrd_file_t *rrd_file,
1970     unsigned long rra_begin)
1971 {
1972     unsigned long rra_start = rra_begin;
1973     unsigned long rra_idx;
1974
1975     for (rra_idx = 0; rra_idx < rrd->stat_head->rra_cnt; ++rra_idx) {
1976         if (cf_conv(rrd->rra_def[rra_idx].cf_nam) == CF_DEVSEASONAL ||
1977             cf_conv(rrd->rra_def[rra_idx].cf_nam) == CF_SEASONAL) {
1978 #ifdef DEBUG
1979             fprintf(stderr, "Running smoother for rra %lu\n", rra_idx);
1980 #endif
1981             apply_smoother(rrd, rra_idx, rra_start, rrd_file);
1982             if (rrd_test_error())
1983                 return -1;
1984         }
1985         rra_start += rrd->rra_def[rra_idx].row_cnt
1986             * rrd->stat_head->ds_cnt * sizeof(rrd_value_t);
1987     }
1988     return 0;
1989 }
1990
1991 #ifndef HAVE_MMAP
1992 /*
1993  * Flush changes to disk (unless we're using mmap)
1994  *
1995  * Returns 0 on success, -1 otherwise
1996  */
1997 static int write_changes_to_disk(
1998     rrd_t *rrd,
1999     rrd_file_t *rrd_file,
2000     int version)
2001 {
2002     /* we just need to write back the live header portion now */
2003     if (rrd_seek(rrd_file, (sizeof(stat_head_t)
2004                             + sizeof(ds_def_t) * rrd->stat_head->ds_cnt
2005                             + sizeof(rra_def_t) * rrd->stat_head->rra_cnt),
2006                  SEEK_SET) != 0) {
2007         rrd_set_error("seek rrd for live header writeback");
2008         return -1;
2009     }
2010     if (version >= 3) {
2011         if (rrd_write(rrd_file, rrd->live_head,
2012                       sizeof(live_head_t) * 1) != sizeof(live_head_t) * 1) {
2013             rrd_set_error("rrd_write live_head to rrd");
2014             return -1;
2015         }
2016     } else {
2017         if (rrd_write(rrd_file, rrd->legacy_last_up,
2018                       sizeof(time_t) * 1) != sizeof(time_t) * 1) {
2019             rrd_set_error("rrd_write live_head to rrd");
2020             return -1;
2021         }
2022     }
2023
2024
2025     if (rrd_write(rrd_file, rrd->pdp_prep,
2026                   sizeof(pdp_prep_t) * rrd->stat_head->ds_cnt)
2027         != (ssize_t) (sizeof(pdp_prep_t) * rrd->stat_head->ds_cnt)) {
2028         rrd_set_error("rrd_write pdp_prep to rrd");
2029         return -1;
2030     }
2031
2032     if (rrd_write(rrd_file, rrd->cdp_prep,
2033                   sizeof(cdp_prep_t) * rrd->stat_head->rra_cnt *
2034                   rrd->stat_head->ds_cnt)
2035         != (ssize_t) (sizeof(cdp_prep_t) * rrd->stat_head->rra_cnt *
2036                       rrd->stat_head->ds_cnt)) {
2037
2038         rrd_set_error("rrd_write cdp_prep to rrd");
2039         return -1;
2040     }
2041
2042     if (rrd_write(rrd_file, rrd->rra_ptr,
2043                   sizeof(rra_ptr_t) * rrd->stat_head->rra_cnt)
2044         != (ssize_t) (sizeof(rra_ptr_t) * rrd->stat_head->rra_cnt)) {
2045         rrd_set_error("rrd_write rra_ptr to rrd");
2046         return -1;
2047     }
2048     return 0;
2049 }
2050 #endif