doc/rrdtool.txt

   1 RRDTOOL(1)                          rrdtool                         RRDTOOL(1)
   2
   3
   4
   5 N\bNA\bAM\bME\bE
   6        rrdtool - Round Robin Database Tool
   7
   8 S\bSY\bYN\bNO\bOP\bPS\bSI\bIS\bS
   9        r\brr\brd\bdt\bto\boo\bol\bl -\b- [workdir]| _\bf_\bu_\bn_\bc_\bt_\bi_\bo_\bn
  10
  11 D\bDE\bES\bSC\bCR\bRI\bIP\bPT\bTI\bIO\bON\bN
  12        O\bOV\bVE\bER\bRV\bVI\bIE\bEW\bW
  13
  14        It is pretty easy to gather status information from all sorts of
  15        things, ranging from the temperature in your office to the number of
  16        octets which have passed through the FDDI interface of your router. But
  17        it is not so trivial to store this data in an efficient and systematic
  18        manner. This is where R\bRR\bRD\bDt\bto\boo\bol\bl comes in handy. It lets you _\bl_\bo_\bg _\ba_\bn_\bd _\ba_\bn_\ba_\b-
  19        _\bl_\by_\bz_\be the data you gather from all kinds of data-sources (D\bDS\bS). The data
  20        analysis part of RRDtool is based on the ability to quickly generate
  21        graphical representations of the data values collected over a definable
  22        time period.
  23
  24        In this man page you will find general information on the design and
  25        functionality of the Round Robin Database Tool (RRDtool). For a more
  26        detailed description of how to use the individual functions of R\bRR\bRD\bDt\bto\boo\bol\bl
  27        check the corresponding man page.
  28
  29        For an introduction to the usage of RRDtool make sure you consult the
  30        rrdtutorial.
  31
  32        F\bFU\bUN\bNC\bCT\bTI\bIO\bON\bNS\bS
  33
  34        While the man pages talk of command line switches you have to set in
  35        order to make R\bRR\bRD\bDt\bto\boo\bol\bl work it is important to note that R\bRR\bRD\bDt\bto\boo\bol\bl can be
  36        remotely controlled through a set of pipes. This saves a considerable
  37        amount of startup time when you plan to make R\bRR\bRD\bDt\bto\boo\bol\bl do a lot of things
  38        quickly. Check the section on "Remote Control" further down. There is
  39        also a number of language bindings for RRDtool which allow you to use
  40        it directly from perl, python, tcl, php, etc.
  41
  42        c\bcr\bre\bea\bat\bte\be  Set up a new Round Robin Database (RRD). Check rrdcreate.
  43
  44        u\bup\bpd\bda\bat\bte\be  Store new data values into an RRD. Check rrdupdate.
  45
  46        u\bup\bpd\bda\bat\bte\bev\bv Operationally equivalent to u\bup\bpd\bda\bat\bte\be except for output. Check
  47                rrdupdate.
  48
  49        g\bgr\bra\bap\bph\bh   Create a graph from data stored in one or several RRDs. Apart
  50                from generating graphs, data can also be extracted to stdout.
  51                Check rrdgraph.
  52
  53        d\bdu\bum\bmp\bp    Dump the contents of an RRD in plain ASCII. In connection with
  54                restore you can use this to move an RRD from one computer
  55                architecture to another.  Check rrddump.
  56
  57        r\bre\bes\bst\bto\bor\bre\be Restore an RRD in XML format to a binary RRD. Check rrdrestore
  58
  59        f\bfe\bet\btc\bch\bh   Get data for a certain time period from a RRD. The graph func-
  60                tion uses fetch to retrieve its data from an RRD. Check rrd-
  61                fetch.
  62
  63        t\btu\bun\bne\be    Alter setup of an RRD. Check rrdtune.
  64
  65        l\bla\bas\bst\bt    Find the last update time of an RRD. Check rrdlast.
  66
  67        i\bin\bnf\bfo\bo    Get information about an RRD. Check rrdinfo.
  68
  69        r\brr\brd\bdr\bre\bes\bsi\biz\bze\be
  70                Change the size of individual RRAs. This is dangerous! Check
  71                rrdresize.
  72
  73        x\bxp\bpo\bor\brt\bt   Export data retrieved from one or several RRDs. Check rrdxport
  74
  75        r\brr\brd\bdc\bcg\bgi\bi  This is a standalone tool for producing RRD graphs on the fly.
  76                Check rrdcgi.
  77
  78        H\bHO\bOW\bW D\bDO\bOE\bES\bS R\bRR\bRD\bDT\bTO\bOO\bOL\bL W\bWO\bOR\bRK\bK?\b?
  79
  80
  81        Data Acquisition
  82                When monitoring the state of a system, it is convenient to have
  83                the data available at a constant time interval. Unfortunately,
  84                you may not always be able to fetch data at exactly the time
  85                you want to. Therefore R\bRR\bRD\bDt\bto\boo\bol\bl lets you update the logfile at
  86                any time you want. It will automatically interpolate the value
  87                of the data-source (D\bDS\bS) at the latest official time-slot
  88                (intervall) and write this interpolated value to the log. The
  89                original value you have supplied is stored as well and is also
  90                taken into account when interpolating the next log entry.
  91
  92        Consolidation
  93                You may log data at a 1 minute interval, but you might also be
  94                interested to know the development of the data over the last
  95                year. You could do this by simply storing the data in 1 minute
  96                intervals for the whole year. While this would take consider-
  97                able disk space it would also take a lot of time to analyze the
  98                data when you wanted to create a graph covering the whole year.
  99                R\bRR\bRD\bDt\bto\boo\bol\bl offers a solution to this problem through its data con-
 100                solidation feature. When setting up an Round Robin Database
 101                (R\bRR\bRD\bD), you can define at which interval this consolidation
 102                should occur, and what consolidation function (C\bCF\bF) (average,
 103                minimum, maximum, total, last) should be used to build the con-
 104                solidated values (see rrdcreate). You can define any number of
 105                different consolidation setups within one R\bRR\bRD\bD. They will all be
 106                maintained on the fly when new data is loaded into the R\bRR\bRD\bD.
 107
 108        Round Robin Archives
 109                Data values of the same consolidation setup are stored into
 110                Round Robin Archives (R\bRR\bRA\bA). This is a very efficient manner to
 111                store data for a certain amount of time, while using a known
 112                and constant amount of storage space.
 113
 114                It works like this: If you want to store 1'000 values in 5
 115                minute interval, R\bRR\bRD\bDt\bto\boo\bol\bl will allocate space for 1'000 data
 116                values and a header area. In the header it will store a pointer
 117                telling which slots (value) in the storage area was last writ-
 118                ten to. New values are written to the Round Robin Archive in,
 119                you guessed it, a round robin manner. This automatically limits
 120                the history to the last 1'000 values (in our example). Because
 121                you can define several R\bRR\bRA\bAs within a single R\bRR\bRD\bD, you can setup
 122                another one, for storing 750 data values at a 2 hour interval,
 123                for example, and thus keep a log for the last two months at a
 124                lower resolution.
 125
 126                The use of R\bRR\bRA\bAs guarantees that the R\bRR\bRD\bD does not grow over time
 127                and that old data is automatically eliminated. By using the
 128                consolidation feature, you can still keep data for a very long
 129                time, while gradually reducing the resolution of the data along
 130                the time axis.
 131
 132                Using different consolidation functions (C\bCF\bF) allows you to
 133                store exactly the type of information that actually interests
 134                you: the maximum one minute traffic on the LAN, the minimum
 135                temperature of your wine cellar, the total minutes of down
 136                time, etc.
 137
 138        Unknown Data
 139                As mentioned earlier, the R\bRR\bRD\bD stores data at a constant inter-
 140                val. Sometimes it may happen that no new data is available when
 141                a value has to be written to the R\bRR\bRD\bD. Data acquisition may not
 142                be possible for one reason or other. With R\bRR\bRD\bDt\bto\boo\bol\bl you can han-
 143                dle these situations by storing an _\b*_\bU_\bN_\bK_\bN_\bO_\bW_\bN_\b* value into the
 144                database. The value '_\b*_\bU_\bN_\bK_\bN_\bO_\bW_\bN_\b*' is supported through all the
 145                functions of the tool. When consolidating a data set, the
 146                amount of _\b*_\bU_\bN_\bK_\bN_\bO_\bW_\bN_\b* data values is accounted for and when a new
 147                consolidated value is ready to be written to its Round Robin
 148                Archive (R\bRR\bRA\bA), a validity check is performed to make sure that
 149                the percentage of unknown values in the data point is above a
 150                configurable level. If not, an _\b*_\bU_\bN_\bK_\bN_\bO_\bW_\bN_\b* value will be written
 151                to the R\bRR\bRA\bA.
 152
 153        Graphing
 154                R\bRR\bRD\bDt\bto\boo\bol\bl allows you to generate reports in numerical and graphi-
 155                cal form based on the data stored in one or several R\bRR\bRD\bDs. The
 156                graphing feature is fully configurable. Size, color and con-
 157                tents of the graph can be defined freely. Check rrdgraph for
 158                more information on this.
 159
 160        Aberrant Behavior Detection
 161                by Jake Brutlag
 162
 163                R\bRR\bRD\bDt\bto\boo\bol\bl provides the building blocks for near real-time aber-
 164                rant behavior detection. These components include:
 165
 166                *   An algorithm for predicting the value of a time series one
 167                    time step into the future.
 168
 169                *   A measure of deviation between predicted and observed val-
 170                    ues.
 171
 172                *   A mechanism to decide if and when an observed value or
 173                    sequence of observed values is _\bt_\bo_\bo _\bd_\be_\bv_\bi_\ba_\bn_\bt from the pre-
 174                    dicted value(s).
 175
 176                Here is a brief explanation of these components:
 177
 178                The Holt-Winters time series forecasting algorithm is an on-
 179                line (or incremental) algorithm that adaptively predicts future
 180                observations in a time series. Its forecast is the sum of three
 181                components: a baseline (or intercept), a linear trend over time
 182                (or slope), and a seasonal coefficient (a periodic effect, such
 183                as a daily cycle). There is one seasonal coefficient for each
 184                time point in the period (cycle). After a value is observed,
 185                each of these components is updated via exponential smoothing.
 186                This means that the algorithm "learns" from past values and
 187                uses them to predict the future. The rate of adaptation is gov-
 188                erned by 3 parameters, alpha (intercept), beta (slope), and
 189                gamma (seasonal). The prediction can also be viewed as a
 190                smoothed value for the time series.
 191
 192                The measure of deviation is a seasonal weighted absolute devia-
 193                tion. The term _\bs_\be_\ba_\bs_\bo_\bn_\ba_\bl means deviation is measured separately
 194                for each time point in the seasonal cycle. As with Holt-Winters
 195                forecasting, deviation is predicted using the measure computed
 196                from past values (but only at that point in the seasonal
 197                cycle). After the value is observed, the algorithm learns from
 198                the observed value via exponential smoothing. Confidence bands
 199                for the observed time series are generated by scaling the
 200                sequence of predicted deviation values (we usually think of the
 201                sequence as a continuous line rather than a set of discrete
 202                points).
 203
 204                Aberrant behavior (a potential failure) is reported whenever
 205                the number of times the observed value violates the confidence
 206                bands meets or exceeds a specified threshold within a specified
 207                temporal window (e.g. 5 violations during the past 45 minutes
 208                with a value observed every 5 minutes).
 209
 210                This functionality is embedded in a set of related R\bRR\bRA\bAs\bs. In
 211                particular, a FAILURES R\bRR\bRA\bA logs potential failures. With these
 212                data you could, for example, use a front-end application to
 213                R\bRR\bRD\bDt\bto\boo\bol\bl to initiate real-time alerts.
 214
 215                For a detailed description on how to set this up, see rrdcre-
 216                ate.
 217
 218        R\bRE\bEM\bMO\bOT\bTE\bE C\bCO\bON\bNT\bTR\bRO\bOL\bL
 219
 220        When you start R\bRR\bRD\bDt\bto\boo\bol\bl with the command line option '-\b-' it waits for
 221        input via standard input (STDIN). With this feature you can improve
 222        performance by attaching R\bRR\bRD\bDt\bto\boo\bol\bl to another process (MRTG is one exam-
 223        ple) through a set of pipes. Over these pipes R\bRR\bRD\bDt\bto\boo\bol\bl accepts the same
 224        arguments as on the command line and some special commands like q\bqu\bui\bit\bt,\b,
 225        c\bcd\bd,\b, m\bmk\bkd\bdi\bir\br and l\bls\bs. For detailed help on the server commands type:
 226
 227           rrdtool help cd|mkdir|pwd|ls|quit
 228
 229        When a command is completed, RRDtool will print the string  '"OK"',
 230        followed by timing information of the form u\bu:\b:_\bu_\bs_\be_\br_\bt_\bi_\bm_\be s\bs:\b:_\bs_\by_\bs_\bt_\be_\bm_\bt_\bi_\bm_\be.
 231        Both values are the running totals of seconds since RRDtool was
 232        started. If an error occurs, a line of the form '"ERROR:" _\bD_\be_\bs_\bc_\br_\bi_\bp_\bt_\bi_\bo_\bn
 233        _\bo_\bf _\be_\br_\br_\bo_\br' will be printed instead. R\bRR\bRD\bDt\bto\boo\bol\bl will not abort, unless some-
 234        thing realy serious happens. If a w\bwo\bor\brk\bkd\bdi\bir\br is specified and the UID is
 235        0, RRDtool will do a chroot to that workdir. If the UID is not 0, RRD-
 236        tool only changes the current directory to w\bwo\bor\brk\bkd\bdi\bir\br.
 237
 238        R\bRR\bRD\bD S\bSe\ber\brv\bve\ber\br
 239
 240        If you want to create a RRD-Server, you must choose a TCP/IP Service
 241        number and add them to _\b/_\be_\bt_\bc_\b/_\bs_\be_\br_\bv_\bi_\bc_\be_\bs like this:
 242
 243         rrdsrv      13900/tcp                       # RRD server
 244
 245        Attention: the TCP port 13900 isn't officially registered for rrdsrv.
 246        You can use any unused port in your services file, but the server and
 247        the client system must use the same port, of course.
 248
 249        With this configuration you can add RRDtool as meta-server to
 250        _\b/_\be_\bt_\bc_\b/_\bi_\bn_\be_\bt_\bd_\b._\bc_\bo_\bn_\bf. For example:
 251
 252         rrdsrv stream tcp nowait root /opt/rrd/bin/rrdtool rrdtool - /var/rrd
 253
 254        Don't forget to create the database directory /var/rrd and reinitialize
 255        your inetd.
 256
 257        If all was setup correctly, you can access the server with perl sock-
 258        ets, tools like netcat, or in a quick interactive test by using 'telnet
 259        localhost rrdsrv'.
 260
 261        N\bNO\bOT\bTE\bE:\b: that there is no authentication with this feature! Do not setup
 262        such a port unless you are sure what you are doing.
 263
 264 S\bSE\bEE\bE A\bAL\bLS\bSO\bO
 265        rrdcreate, rrdupdate, rrdgraph, rrddump, rrdfetch, rrdtune, rrdlast,
 266        rrdxport
 267
 268 B\bBU\bUG\bGS\bS
 269        Bugs? Features!
 270
 271 A\bAU\bUT\bTH\bHO\bOR\bR
 272        Tobias Oetiker <tobi@oetiker.ch>
 273
 274
 275
 276 1.3rc6                            2008-03-15                        RRDTOOL(1)