doc/rrdgraph_rpn.pod

   1 =head1 NAME
   2
   3 rrdgraph_rpn - About RPN Math in rrdtool graph
   4
   5 =head1 SYNOPSIS
   6
   7 I<RPN expression>:=I<vname>|I<operator>|I<value>[,I<RPN expression>]
   8
   9 =head1 DESCRIPTION
  10
  11 If you have ever used a traditional HP calculator you already know
  12 B<RPN> (Reverse Polish Notation).
  13 The idea behind B<RPN> is that you have a stack and push
  14 your data onto this stack. Whenever you execute an operation, it
  15 takes as many elements from the stack as needed. Pushing is done
  16 implicitly, so whenever you specify a number or a variable, it gets
  17 pushed onto the stack automatically.
  18
  19 At the end of the calculation there should be one and only one value left on
  20 the stack.  This is the outcome of the function and this is what is put into
  21 the I<vname>.  For B<CDEF> instructions, the stack is processed for each
  22 data point on the graph. B<VDEF> instructions work on an entire data set in
  23 one run. Note, that currently B<VDEF> instructions only support a limited
  24 list of functions.
  25
  26 Example: C<VDEF:maximum=mydata,MAXIMUM>
  27
  28 This will set variable "maximum" which you now can use in the rest
  29 of your RRD script.
  30
  31 Example: C<CDEF:mydatabits=mydata,8,*>
  32
  33 This means:  push variable I<mydata>, push the number 8, execute
  34 the operator I<*>. The operator needs two elements and uses those
  35 to return one value.  This value is then stored in I<mydatabits>.
  36 As you may have guessed, this instruction means nothing more than
  37 I<mydatabits = mydata * 8>.  The real power of B<RPN> lies in the
  38 fact that it is always clear in which order to process the input.
  39 For expressions like C<a = b + 3 * 5> you need to multiply 3 with
  40 5 first before you add I<b> to get I<a>. However, with parentheses
  41 you could change this order: C<a = (b + 3) * 5>. In B<RPN>, you
  42 would do C<a = b, 3, +, 5, *> without the need for parentheses.
  43
  44 =head1 OPERATORS
  45
  46 =over 4
  47
  48 =item Boolean operators
  49
  50 B<LT, LE, GT, GE, EQ, NE>
  51
  52 Pop two elements from the stack, compare them for the selected condition
  53 and return 1 for true or 0 for false. Comparing an I<unknown> or an
  54 I<infinite> value will result in I<unknown> returned ... which will also be
  55 treated as false by the B<IF> call.
  56
  57 B<UN, ISINF>
  58
  59 Pop one element from the stack, compare this to I<unknown> respectively
  60 to I<positive or negative infinity>. Returns 1 for true or 0 for false.
  61
  62 B<IF>
  63
  64 Pops three elements from the stack.  If the element popped last is 0
  65 (false), the value popped first is pushed back onto the stack,
  66 otherwise the value popped second is pushed back. This does, indeed,
  67 mean that any value other than 0 is considered to be true.
  68
  69 Example: C<A,B,C,IF> should be read as C<if (A) then (B) else (C)>
  70
  71 Z<>
  72
  73 =item Comparing values
  74
  75 B<MIN, MAX>
  76
  77 Pops two elements from the stack and returns the smaller or larger,
  78 respectively.  Note that I<infinite> is larger than anything else.
  79 If one of the input numbers is I<unknown> then the result of the operation will be
  80 I<unknown> too.
  81
  82 B<LIMIT>
  83
  84 Pops two elements from the stack and uses them to define a range.
  85 Then it pops another element and if it falls inside the range, it
  86 is pushed back. If not, an I<unknown> is pushed.
  87
  88 The range defined includes the two boundaries (so: a number equal
  89 to one of the boundaries will be pushed back). If any of the three
  90 numbers involved is either I<unknown> or I<infinite> this function
  91 will always return an I<unknown>
  92
  93 Example: C<CDEF:a=alpha,0,100,LIMIT> will return I<unknown> if
  94 alpha is lower than 0 or if it is higher than 100.
  95
  96 Z<>
  97
  98 =item Arithmetics
  99
 100 B<+, -, *, /, %>
 101
 102 Add, subtract, multiply, divide, modulo
 103
 104 B<ADDNAN>
 105
 106 NAN-safe addition. If one parameter is NAN/UNKNOWN it'll be treated as
 107 zero. If both parameters are NAN/UNKNOWN, NAN/UNKNOWN will be returned.
 108
 109 B<SIN, COS, LOG, EXP, SQRT>
 110
 111 Sine and cosine (input in radians), log and exp (natural logarithm),
 112 square root.
 113
 114 B<ATAN>
 115
 116 Arctangent (output in radians).
 117
 118 B<ATAN2>
 119
 120 Arctangent of y,x components (output in radians).
 121 This pops one element from the stack, the x (cosine) component, and then
 122 a second, which is the y (sine) component.
 123 It then pushes the arctangent of their ratio, resolving the ambiguity between
 124 quadrants.
 125
 126 Example: C<CDEF:angle=Y,X,ATAN2,RAD2DEG> will convert C<X,Y>
 127 components into an angle in degrees.
 128
 129 B<FLOOR, CEIL>
 130
 131 Round down or up to the nearest integer.
 132
 133 B<DEG2RAD, RAD2DEG>
 134
 135 Convert angle in degrees to radians, or radians to degrees.
 136
 137 B<ABS>
 138
 139 Take the absolute value.
 140
 141 =item Set Operations
 142
 143 B<SORT, REV>
 144
 145 Pop one element from the stack.  This is the I<count> of items to be sorted
 146 (or reversed).  The top I<count> of the remaining elements are then sorted
 147 (or reversed) in place on the stack.
 148
 149 Example: C<CDEF:x=v1,v2,v3,v4,v5,v6,6,SORT,POP,5,REV,POP,+,+,+,4,/> will
 150 compute the average of the values v1 to v6 after removing the smallest and
 151 largest.
 152
 153 B<AVG>
 154
 155 Pop one element (I<count>) from the stack. Now pop I<count> elements and build the
 156 average, ignoring all UNKNOWN values in the process.
 157
 158 Example: C<CDEF:x=a,b,c,d,4,AVG>
 159
 160 B<TREND, TRENDNAN>
 161
 162 Create a "sliding window" average of another data series.
 163
 164 Usage:
 165 CDEF:smoothed=x,1800,TREND
 166
 167 This will create a half-hour (1800 second) sliding window average of x.  The
 168 average is essentially computed as shown here:
 169
 170                  +---!---!---!---!---!---!---!---!--->
 171                                                      now
 172                        delay     t0
 173                  <--------------->
 174                          delay       t1
 175                      <--------------->
 176                               delay      t2
 177                          <--------------->
 178
 179
 180      Value at sample (t0) will be the average between (t0-delay) and (t0)
 181      Value at sample (t1) will be the average between (t1-delay) and (t1)
 182      Value at sample (t2) will be the average between (t2-delay) and (t2)
 183
 184 TRENDNAN is - in contrast to TREND - NAN-safe. If you use TREND and one
 185 source value is NAN the complete sliding window is affected. The TRENDNAN
 186 operation ignores all NAN-values in a sliding window and computes the
 187 average of the remaining values.
 188
 189 B<PREDICT, PREDICTSIGMA>
 190
 191 Create a "sliding window" average/sigma of another data series, that also
 192 shifts the data series by given amounts of of time as well
 193
 194 Usage - explicit stating shifts:
 195 CDEF:predict=<shift n>,...,<shift 1>,n,<window>,x,PREDICT
 196 CDEF:sigma=<shift n>,...,<shift 1>,n,<window>,x,PREDICTSIGMA
 197
 198 Usage - shifts defined as a base shift and a number of time this is applied
 199 CDEF:predict=<shift multiplier>,-n,<window>,x,PREDICT
 200 CDEF:sigma=<shift multiplier>,-n,<window>,x,PREDICTSIGMA
 201
 202 Example:
 203 CDEF:predict=172800,86400,2,1800,x,PREDICT
 204
 205 This will create a half-hour (1800 second) sliding window average/sigma of x, that
 206 average is essentially computed as shown here:
 207
 208  +---!---!---!---!---!---!---!---!---!---!---!---!---!---!---!---!---!--->
 209                                                                      now
 210                                                   shift 1        t0
 211                                          <----------------------->
 212                                window
 213                          <--------------->
 214                                        shift 2
 215                  <----------------------------------------------->
 216        window
 217  <--------------->
 218                                                       shift 1        t1
 219                                              <----------------------->
 220                                    window
 221                              <--------------->
 222                                             shift 2
 223                      <----------------------------------------------->
 224            window
 225      <--------------->
 226
 227  Value at sample (t0) will be the average between (t0-shift1-window) and (t0-shift1)
 228                                       and between (t0-shift2-window) and (t0-shift2)
 229  Value at sample (t1) will be the average between (t1-shift1-window) and (t1-shift1)
 230                                       and between (t1-shift2-window) and (t1-shift2)
 231
 232
 233 The function is by design NAN-safe.
 234 This also allows for extrapolation into the future (say a few days)
 235 - you may need to define the data series whit the optional start= parameter, so that
 236 the source data series has enough data to provide prediction also at the beginning of a graph...
 237
 238 Here an example, that will create a 10 day graph that also shows the
 239 prediction 3 days into the future with its uncertainty value (as defined by avg+-4*sigma)
 240 This also shows if the prediction is exceeded at a certain point.
 241
 242 rrdtool graph image.png --imgformat=PNG \
 243  --start=-7days --end=+3days --width=1000 --height=200 --alt-autoscale-max \
 244  DEF:value=value.rrd:value:AVERAGE:start=-14days \
 245  LINE1:value#ff0000:value \
 246  CDEF:predict=86400,-7,1800,value,PREDICT \
 247  CDEF:sigma=86400,-7,1800,value,PREDICTSIGMA \
 248  CDEF:upper=predict,sigma,3,*,+ \
 249  CDEF:lower=predict,sigma,3,*,- \
 250  LINE1:predict#00ff00:prediction \
 251  LINE1:upper#0000ff:upper\ certainty\ limit \
 252  LINE1:lower#0000ff:lower\ certainty\ limit \
 253  CDEF:exceeds=value,UN,0,value,lower,upper,LIMIT,UN,IF \
 254  TICK:exceeds#aa000080:1
 255
 256 Note: Experience has shown that a factor between 3 and 5 to scale sigma is a good
 257 discriminator to detect abnormal behavior. This obviously depends also on the type
 258 of data and how "noisy" the data series is.
 259
 260 This prediction can only be used for short term extrapolations - say a few days into the future-
 261
 262 =item Special values
 263
 264 B<UNKN>
 265
 266 Pushes an unknown value on the stack
 267
 268 B<INF, NEGINF>
 269
 270 Pushes a positive or negative infinite value on the stack. When
 271 such a value is graphed, it appears at the top or bottom of the
 272 graph, no matter what the actual value on the y-axis is.
 273
 274 B<PREV>
 275
 276 Pushes an I<unknown> value if this is the first value of a data
 277 set or otherwise the result of this B<CDEF> at the previous time
 278 step. This allows you to do calculations across the data.  This
 279 function cannot be used in B<VDEF> instructions.
 280
 281 B<PREV(vname)>
 282
 283 Pushes an I<unknown> value if this is the first value of a data
 284 set or otherwise the result of the vname variable at the previous time
 285 step. This allows you to do calculations across the data. This
 286 function cannot be used in B<VDEF> instructions.
 287
 288 B<COUNT>
 289
 290 Pushes the number 1 if this is the first value of the data set, the
 291 number 2 if it is the second, and so on. This special value allows
 292 you to make calculations based on the position of the value within
 293 the data set. This function cannot be used in B<VDEF> instructions.
 294
 295 =item Time
 296
 297 Time inside RRDtool is measured in seconds since the epoch. The
 298 epoch is defined to be S<C<Thu Jan  1 00:00:00 UTC 1970>>.
 299
 300 B<NOW>
 301
 302 Pushes the current time on the stack.
 303
 304 B<TIME>
 305
 306 Pushes the time the currently processed value was taken at onto the stack.
 307
 308 B<LTIME>
 309
 310 Takes the time as defined by B<TIME>, applies the time zone offset
 311 valid at that time including daylight saving time if your OS supports
 312 it, and pushes the result on the stack.  There is an elaborate example
 313 in the examples section below on how to use this.
 314
 315 =item Processing the stack directly
 316
 317 B<DUP, POP, EXC>
 318
 319 Duplicate the top element, remove the top element, exchange the two
 320 top elements.
 321
 322 Z<>
 323
 324 =back
 325
 326 =head1 VARIABLES
 327
 328 These operators work only on B<VDEF> statements. Note that currently ONLY these work for B<VDEF>.
 329
 330 =over 4
 331
 332 =item MAXIMUM, MINIMUM, AVERAGE
 333
 334 Return the corresponding value, MAXIMUM and MINIMUM also return
 335 the first occurrence of that value in the time component.
 336
 337 Example: C<VDEF:avg=mydata,AVERAGE>
 338
 339 =item STDEV
 340
 341 Returns the standard deviation of the values.
 342
 343 Example: C<VDEF:stdev=mydata,STDEV>
 344
 345 =item LAST, FIRST
 346
 347 Return the last/first value including its time.  The time for
 348 FIRST is actually the start of the corresponding interval, whereas
 349 LAST returns the end of the corresponding interval.
 350
 351 Example: C<VDEF:first=mydata,FIRST>
 352
 353 =item TOTAL
 354
 355 Returns the rate from each defined time slot multiplied with the
 356 step size.  This can, for instance, return total bytes transferred
 357 when you have logged bytes per second. The time component returns
 358 the number of seconds.
 359
 360 Example: C<VDEF:total=mydata,TOTAL>
 361
 362 =item PERCENT, PERCENTNAN
 363
 364 This should follow a B<DEF> or B<CDEF> I<vname>. The I<vname> is popped,
 365 another number is popped which is a certain percentage (0..100). The
 366 data set is then sorted and the value returned is chosen such that
 367 I<percentage> percent of the values is lower or equal than the result.
 368 For PERCENTNAN I<Unknown> values are ignored, but for PERCENT
 369 I<Unknown> values are considered lower than any finite number for this
 370 purpose so if this operator returns an I<unknown> you have quite a lot
 371 of them in your data.  B<Inf>inite numbers are lesser, or more, than the
 372 finite numbers and are always more than the I<Unknown> numbers.
 373 (NaN E<lt> -INF E<lt> finite values E<lt> INF)
 374
 375 Example: C<VDEF:perc95=mydata,95,PERCENT>
 376          C<VDEF:percnan95=mydata,95,PERCENTNAN>
 377
 378 =item LSLSLOPE, LSLINT, LSLCORREL
 379
 380 Return the parameters for a B<L>east B<S>quares B<L>ine I<(y = mx +b)>
 381 which approximate the provided dataset.  LSLSLOPE is the slope I<(m)> of
 382 the line related to the COUNT position of the data.  LSLINT is the
 383 y-intercept I<(b)>, which happens also to be the first data point on the
 384 graph. LSLCORREL is the Correlation Coefficient (also know as Pearson's
 385 Product Moment Correlation Coefficient).  It will range from 0 to +/-1
 386 and represents the quality of fit for the approximation.
 387
 388 Example: C<VDEF:slope=mydata,LSLSLOPE>
 389
 390 =back
 391
 392 =head1 SEE ALSO
 393
 394 L<rrdgraph> gives an overview of how B<rrdtool graph> works.
 395 L<rrdgraph_data> describes B<DEF>,B<CDEF> and B<VDEF> in detail.
 396 L<rrdgraph_rpn> describes the B<RPN> language used in the B<?DEF> statements.
 397 L<rrdgraph_graph> page describes all of the graph and print functions.
 398
 399 Make sure to read L<rrdgraph_examples> for tipsE<amp>tricks.
 400
 401 =head1 AUTHOR
 402
 403 Program by Tobias Oetiker E<lt>tobi@oetiker.chE<gt>
 404
 405 This manual page by Alex van den Bogaerdt E<lt>alex@vandenbogaerdt.nlE<gt>
 406 with corrections and/or additions by several people