Code

2e29112ee785be2deea4c29041d920a170e26a99
[pkg-rrdtool.git] / doc / rrdgraph_rpn.pod
1 =head1 NAME
3 rrdgraph_rpn - About RPN Math in rrdtool graph
5 =head1 SYNOPSIS
7 I<RPN expression>:=I<vname>|I<operator>|I<value>[,I<RPN expression>]
9 =head1 DESCRIPTION
11 If you have ever used a traditional HP calculator you already know
12 B<RPN> (Reverse Polish Notation).
13 The idea behind B<RPN> is that you have a stack and push
14 your data onto this stack. Whenever you execute an operation, it
15 takes as many elements from the stack as needed. Pushing is done
16 implicitly, so whenever you specify a number or a variable, it gets
17 pushed onto the stack automatically.
19 At the end of the calculation there should be one and only one value left on
20 the stack.  This is the outcome of the function and this is what is put into
21 the I<vname>.  For B<CDEF> instructions, the stack is processed for each
22 data point on the graph. B<VDEF> instructions work on an entire data set in
23 one run. Note, that currently B<VDEF> instructions only support a limited
24 list of functions.
26 Example: C<VDEF:maximum=mydata,MAXIMUM>
28 This will set variable "maximum" which you now can use in the rest
29 of your RRD script.
31 Example: C<CDEF:mydatabits=mydata,8,*>
33 This means:  push variable I<mydata>, push the number 8, execute
34 the operator I<*>. The operator needs two elements and uses those
35 to return one value.  This value is then stored in I<mydatabits>.
36 As you may have guessed, this instruction means nothing more than
37 I<mydatabits = mydata * 8>.  The real power of B<RPN> lies in the
38 fact that it is always clear in which order to process the input.
39 For expressions like C<a = b + 3 * 5> you need to multiply 3 with
40 5 first before you add I<b> to get I<a>. However, with parentheses
41 you could change this order: C<a = (b + 3) * 5>. In B<RPN>, you
42 would do C<a = b, 3, +, 5, *> without the need for parentheses.
44 =head1 OPERATORS
46 =over 4
48 =item Boolean operators
50 B<LT, LE, GT, GE, EQ, NE>
52 Pop two elements from the stack, compare them for the selected condition
53 and return 1 for true or 0 for false. Comparing an I<unknown> or an
54 I<infinite> value will always result in 0 (false).
56 B<UN, ISINF>
58 Pop one element from the stack, compare this to I<unknown> respectively
59 to I<positive or negative infinity>. Returns 1 for true or 0 for false.
61 B<IF>
63 Pops three elements from the stack.  If the element popped last is 0
64 (false), the value popped first is pushed back onto the stack,
65 otherwise the value popped second is pushed back. This does, indeed,
66 mean that any value other than 0 is considered to be true.
68 Example: C<A,B,C,IF> should be read as C<if (A) then (B) else (C)>
70 Z<>
72 =item Comparing values
74 B<MIN, MAX>
76 Pops two elements from the stack and returns the smaller or larger,
77 respectively.  Note that I<infinite> is larger than anything else.
78 If one of the input numbers is I<unknown> then the result of the operation will be
79 I<unknown> too.
81 B<LIMIT>
83 Pops two elements from the stack and uses them to define a range.
84 Then it pops another element and if it falls inside the range, it
85 is pushed back. If not, an I<unknown> is pushed.
87 The range defined includes the two boundaries (so: a number equal
88 to one of the boundaries will be pushed back). If any of the three
89 numbers involved is either I<unknown> or I<infinite> this function
90 will always return an I<unknown>
92 Example: C<CDEF:a=alpha,0,100,LIMIT> will return I<unknown> if
93 alpha is lower than 0 or if it is higher than 100.
95 Z<>
97 =item Arithmetics
99 B<+, -, *, /, %>
101 Add, subtract, multiply, divide, modulo
103 B<ADDNAN>
105 NAN-safe addition. If one parameter is NAN/UNKNOWN it'll be treated as
106 zero. If both parameters are NAN/UNKNOWN, NAN/UNKNOWN will be returned.
108 B<SIN, COS, LOG, EXP, SQRT>
110 Sine and cosine (input in radians), log and exp (natural logarithm),
111 square root.
113 B<ATAN>
115 Arctangent (output in radians).
117 B<ATAN2>
119 Arctangent of y,x components (output in radians).
120 This pops one element from the stack, the x (cosine) component, and then
121 a second, which is the y (sine) component.
122 It then pushes the arctangent of their ratio, resolving the ambiguity between
123 quadrants.
125 Example: C<CDEF:angle=Y,X,ATAN2,RAD2DEG> will convert C<X,Y>
126 components into an angle in degrees.
128 B<FLOOR, CEIL>
130 Round down or up to the nearest integer.
132 B<DEG2RAD, RAD2DEG>
134 Convert angle in degrees to radians, or radians to degrees.
136 B<ABS>
138 Take the absolute value.
140 =item Set Operations
142 B<SORT, REV>
144 Pop one element from the stack.  This is the I<count> of items to be sorted
145 (or reversed).  The top I<count> of the remaining elements are then sorted
146 (or reversed) in place on the stack.
148 Example: C<CDEF:x=v1,v2,v3,v4,v5,v6,6,SORT,POP,5,REV,POP,+,+,+,4,/> will
149 compute the average of the values v1 to v6 after removing the smallest and
150 largest.
152 B<AVG>
154 Pop one element (I<count>) from the stack. Now pop I<count> elements and build the
155 average, ignoring all UNKNOWN values in the process.
157 Example: C<CDEF:x=a,b,c,d,4,AVG>
159 B<TREND, TRENDNAN>
161 Create a "sliding window" average of another data series.
163 Usage:
164 CDEF:smoothed=x,1800,TREND
166 This will create a half-hour (1800 second) sliding window average of x.  The
167 average is essentially computed as shown here:
169                  +---!---!---!---!---!---!---!---!--->
170                                                      now
171                        delay     t0
172                  <--------------->
173                          delay       t1
174                      <--------------->
175                               delay      t2
176                          <--------------->
179      Value at sample (t0) will be the average between (t0-delay) and (t0)
180      Value at sample (t1) will be the average between (t1-delay) and (t1)
181      Value at sample (t2) will be the average between (t2-delay) and (t2)
183 TRENDNAN is - in contrast to TREND - NAN-safe. If you use TREND and one 
184 source value is NAN the complete sliding window is affected. The TRENDNAN 
185 operation ignores all NAN-values in a sliding window and computes the 
186 average of the remaining values.
188 B<PREDICT, PREDICTSIGMA>
190 Create a "sliding window" average/sigma of another data series, that also
191 shifts the data series by given amounts of of time as well
193 Usage - explicit stating shifts:
194 CDEF:predict=<shift n>,...,<shift 1>,n,<window>,x,PREDICT
195 CDEF:sigma=<shift n>,...,<shift 1>,n,<window>,x,PREDICTSIGMA
197 Usage - shifts defined as a base shift and a number of time this is applied
198 CDEF:predict=<shift multiplier>,-n,<window>,x,PREDICT
199 CDEF:sigma=<shift multiplier>,-n,<window>,x,PREDICTSIGMA
201 Example:
202 CDEF:predict=172800,86400,2,1800,x,PREDICT
204 This will create a half-hour (1800 second) sliding window average/sigma of x, that
205 average is essentially computed as shown here:
207  +---!---!---!---!---!---!---!---!---!---!---!---!---!---!---!---!---!--->
208                                                                      now
209                                                   shift 1        t0
210                                          <----------------------->
211                                window
212                          <--------------->
213                                        shift 2
214                  <----------------------------------------------->
215        window
216  <--------------->
217                                                       shift 1        t1
218                                              <----------------------->
219                                    window
220                              <--------------->
221                                             shift 2
222                      <----------------------------------------------->
223            window
224      <--------------->
226  Value at sample (t0) will be the average between (t0-shift1-window) and (t0-shift1)
227                                       and between (t0-shift2-window) and (t0-shift2)
228  Value at sample (t1) will be the average between (t1-shift1-window) and (t1-shift1)
229                                       and between (t1-shift2-window) and (t1-shift2)
232 The function is by design NAN-safe. 
233 This also allows for extrapolation into the future (say a few days)
234 - you may need to define the data series whit the optional start= parameter, so that 
235 the source data series has enough data to provide prediction also at the beginning of a graph...
237 Here an example, that will create a 10 day graph that also shows the 
238 prediction 3 days into the future with its uncertainty value (as defined by avg+-4*sigma)
239 This also shows if the prediction is exceeded at a certain point.
241 rrdtool graph image.png --imgformat=PNG \
242  --start=-7days --end=+3days --width=1000 --height=200 --alt-autoscale-max \
243  DEF:value=value.rrd:value:AVERAGE:start=-14days \
244  LINE1:value#ff0000:value \
245  CDEF:predict=86400,-7,1800,value,PREDICT \
246  CDEF:sigma=86400,-7,1800,value,PREDICTSIGMA \
247  CDEF:upper=predict,sigma,3,*,+ \
248  CDEF:lower=predict,sigma,3,*,- \
249  LINE1:predict#00ff00:prediction \
250  LINE1:upper#0000ff:upper\ certainty\ limit \
251  LINE1:lower#0000ff:lower\ certainty\ limit \
252  CDEF:exceeds=value,UN,0,value,lower,upper,LIMIT,UN,IF \
253  TICK:exceeds#aa000080:1
255 Note: Experience has shown that a factor between 3 and 5 to scale sigma is a good 
256 discriminator to detect abnormal behaviour. This obviously depends also on the type 
257 of data and how "noisy" the data series is.
259 This prediction can only be used for short term extrapolations - say a few days into the future-
261 =item Special values
263 B<UNKN>
265 Pushes an unknown value on the stack
267 B<INF, NEGINF>
269 Pushes a positive or negative infinite value on the stack. When
270 such a value is graphed, it appears at the top or bottom of the
271 graph, no matter what the actual value on the y-axis is.
273 B<PREV>
275 Pushes an I<unknown> value if this is the first value of a data
276 set or otherwise the result of this B<CDEF> at the previous time
277 step. This allows you to do calculations across the data.  This
278 function cannot be used in B<VDEF> instructions.
280 B<PREV(vname)>
282 Pushes an I<unknown> value if this is the first value of a data
283 set or otherwise the result of the vname variable at the previous time
284 step. This allows you to do calculations across the data. This
285 function cannot be used in B<VDEF> instructions.
287 B<COUNT>
289 Pushes the number 1 if this is the first value of the data set, the
290 number 2 if it is the second, and so on. This special value allows
291 you to make calculations based on the position of the value within
292 the data set. This function cannot be used in B<VDEF> instructions.
294 =item Time
296 Time inside RRDtool is measured in seconds since the epoch. The
297 epoch is defined to be S<C<Thu Jan  1 00:00:00 UTC 1970>>.
299 B<NOW>
301 Pushes the current time on the stack.
303 B<TIME>
305 Pushes the time the currently processed value was taken at onto the stack.
307 B<LTIME>
309 Takes the time as defined by B<TIME>, applies the time zone offset
310 valid at that time including daylight saving time if your OS supports
311 it, and pushes the result on the stack.  There is an elaborate example
312 in the examples section below on how to use this.
314 =item Processing the stack directly
316 B<DUP, POP, EXC>
318 Duplicate the top element, remove the top element, exchange the two
319 top elements.
321 Z<>
323 =back
325 =head1 VARIABLES
327 These operators work only on B<VDEF> statements. Note that currently ONLY these work for B<VDEF>.
329 =over 4
331 =item MAXIMUM, MINIMUM, AVERAGE
333 Return the corresponding value, MAXIMUM and MINIMUM also return
334 the first occurrence of that value in the time component.
336 Example: C<VDEF:avg=mydata,AVERAGE>
338 =item STDEV
340 Returns the standard deviation of the values.
342 Example: C<VDEF:stdev=mydata,STDEV>
344 =item LAST, FIRST
346 Return the last/first value including its time.  The time for
347 FIRST is actually the start of the corresponding interval, whereas
348 LAST returns the end of the corresponding interval.
350 Example: C<VDEF:first=mydata,FIRST>
352 =item TOTAL
354 Returns the rate from each defined time slot multiplied with the
355 step size.  This can, for instance, return total bytes transfered
356 when you have logged bytes per second. The time component returns
357 the number of seconds.
359 Example: C<VDEF:total=mydata,TOTAL>
361 =item PERCENT, PERCENTNAN
363 This should follow a B<DEF> or B<CDEF> I<vname>. The I<vname> is popped,
364 another number is popped which is a certain percentage (0..100). The
365 data set is then sorted and the value returned is chosen such that
366 I<percentage> percent of the values is lower or equal than the result.
367 For PERCENTNAN I<Unknown> values are ignored, but for PERCENT
368 I<Unknown> values are considered lower than any finite number for this
369 purpose so if this operator returns an I<unknown> you have quite a lot
370 of them in your data.  B<Inf>inite numbers are lesser, or more, than the
371 finite numbers and are always more than the I<Unknown> numbers.
372 (NaN E<lt> -INF E<lt> finite values E<lt> INF)
374 Example: C<VDEF:perc95=mydata,95,PERCENT>
375          C<VDEF:percnan95=mydata,95,PERCENTNAN>
377 =item LSLSLOPE, LSLINT, LSLCORREL
379 Return the parameters for a B<L>east B<S>quares B<L>ine I<(y = mx +b)> 
380 which approximate the provided dataset.  LSLSLOPE is the slope I<(m)> of
381 the line related to the COUNT position of the data.  LSLINT is the 
382 y-intercept I<(b)>, which happens also to be the first data point on the 
383 graph. LSLCORREL is the Correlation Coefficient (also know as Pearson's 
384 Product Moment Correlation Coefficient).  It will range from 0 to +/-1 
385 and represents the quality of fit for the approximation.   
387 Example: C<VDEF:slope=mydata,LSLSLOPE>
389 =back
391 =head1 SEE ALSO
393 L<rrdgraph> gives an overview of how B<rrdtool graph> works.
394 L<rrdgraph_data> describes B<DEF>,B<CDEF> and B<VDEF> in detail.
395 L<rrdgraph_rpn> describes the B<RPN> language used in the B<?DEF> statements.
396 L<rrdgraph_graph> page describes all of the graph and print functions.
398 Make sure to read L<rrdgraph_examples> for tipsE<amp>tricks.
400 =head1 AUTHOR
402 Program by Tobias Oetiker E<lt>tobi@oetiker.chE<gt>
404 This manual page by Alex van den Bogaerdt E<lt>alex@vandenbogaerdt.nlE<gt>
405 with corrections and/or additions by several people