t/unit/frontend/parser_test.c

   1 /*
   2  * SysDB - t/unit/frontend/parser_test.c
   3  * Copyright (C) 2013 Sebastian 'tokkee' Harl <sh@tokkee.org>
   4  * All rights reserved.
   5  *
   6  * Redistribution and use in source and binary forms, with or without
   7  * modification, are permitted provided that the following conditions
   8  * are met:
   9  * 1. Redistributions of source code must retain the above copyright
  10  *    notice, this list of conditions and the following disclaimer.
  11  * 2. Redistributions in binary form must reproduce the above copyright
  12  *    notice, this list of conditions and the following disclaimer in the
  13  *    documentation and/or other materials provided with the distribution.
  14  *
  15  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  16  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED
  17  * TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  18  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDERS OR
  19  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  20  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  21  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS;
  22  * OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY,
  23  * WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR
  24  * OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF
  25  * ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  26  */
  27
  28 #include "frontend/connection.h"
  29 #include "frontend/parser.h"
  30 #include "core/store-private.h"
  31 #include "core/object.h"
  32 #include "libsysdb_test.h"
  33
  34 #include <check.h>
  35
  36 /*
  37  * tests
  38  */
  39
  40 START_TEST(test_parse)
  41 {
  42         struct {
  43                 const char *query;
  44                 int len;
  45                 int expected;
  46                 sdb_conn_state_t expected_cmd;
  47         } golden_data[] = {
  48                 /* empty commands */
  49                 { NULL,                  -1, -1, 0 },
  50                 { "",                    -1,  0, 0 },
  51                 { ";",                   -1,  0, 0 },
  52                 { ";;",                  -1,  0, 0 },
  53
  54                 /* valid commands */
  55                 { "FETCH host 'host'",   -1,  1, CONNECTION_FETCH  },
  56                 { "FETCH host 'host' FILTER "
  57                   "host = 'host'",       -1,  1, CONNECTION_FETCH  },
  58
  59                 { "LIST hosts",          -1,  1, CONNECTION_LIST   },
  60                 { "LIST hosts -- foo",   -1,  1, CONNECTION_LIST   },
  61                 { "LIST hosts;",         -1,  1, CONNECTION_LIST   },
  62                 { "LIST hosts; INVALID", 11,  1, CONNECTION_LIST   },
  63                 { "LIST hosts FILTER "
  64                   "host = 'host'",       -1,  1, CONNECTION_LIST   },
  65                 { "LIST services",       -1,  1, CONNECTION_LIST   },
  66                 { "LIST services FILTER "
  67                   "service = 'svc'",     -1,  1, CONNECTION_LIST   },
  68                 { "LIST metrics",        -1,  1, CONNECTION_LIST   },
  69                 { "LIST metrics FILTER "
  70                   "metric = 'metric'",   -1,  1, CONNECTION_LIST   },
  71
  72                 { "LOOKUP hosts",        -1,  1, CONNECTION_LOOKUP },
  73                 { "LOOKUP hosts MATCHING "
  74                   "host = 'host'",       -1,  1, CONNECTION_LOOKUP },
  75                 { "LOOKUP hosts MATCHING NOT "
  76                   "host = 'host'",       -1,  1, CONNECTION_LOOKUP },
  77                 { "LOOKUP hosts MATCHING "
  78                   "host =~ 'p' AND "
  79                   "service =~ 'p'",      -1,  1, CONNECTION_LOOKUP },
  80                 { "LOOKUP hosts MATCHING NOT "
  81                   "host =~ 'p' AND "
  82                   "service =~ 'p'",      -1,  1, CONNECTION_LOOKUP },
  83                 { "LOOKUP hosts MATCHING "
  84                   "host =~ 'p' AND "
  85                   "service =~ 'p' OR "
  86                   "service =~ 'r'",      -1,  1, CONNECTION_LOOKUP },
  87                 { "LOOKUP hosts MATCHING NOT "
  88                   "host =~ 'p' AND "
  89                   "service =~ 'p' OR "
  90                   "service =~ 'r'",      -1,  1, CONNECTION_LOOKUP },
  91                 { "LOOKUP hosts MATCHING "
  92                   "host =~ 'p' "
  93                   "FILTER .age > 1D",    -1,  1, CONNECTION_LOOKUP },
  94                 { "LOOKUP hosts MATCHING "
  95                   "host =~ 'p' "
  96                   "FILTER .age > 1D AND "
  97                   ".interval < 240s" ,   -1,  1, CONNECTION_LOOKUP },
  98                 { "LOOKUP hosts MATCHING "
  99                   "host =~ 'p' "
 100                   "FILTER NOT .age>1D",  -1,  1, CONNECTION_LOOKUP },
 101                 { "LOOKUP hosts MATCHING "
 102                   "host =~ 'p' "
 103                   "FILTER .age>"
 104                   ".interval",           -1,  1, CONNECTION_LOOKUP },
 105
 106                 { "TIMESERIES 'host'.'metric' "
 107                   "START 2014-01-01 "
 108                   "END 2014-12-31 "
 109                   "23:59:59",            -1,  1, CONNECTION_TIMESERIES },
 110                 { "TIMESERIES 'host'.'metric' "
 111                   "START 2014-02-02 "
 112                   "14:02",               -1,  1, CONNECTION_TIMESERIES },
 113                 { "TIMESERIES 'host'.'metric' "
 114                   "END 2014-02-02",      -1,  1, CONNECTION_TIMESERIES },
 115                 { "TIMESERIES "
 116                   "'host'.'metric'",     -1,  1, CONNECTION_TIMESERIES },
 117
 118                 /* string constants */
 119                 { "LOOKUP hosts MATCHING "
 120                   "host = ''''",         -1,  1, CONNECTION_LOOKUP },
 121                 { "LOOKUP hosts MATCHING "
 122                   "host = '''foo'",      -1,  1, CONNECTION_LOOKUP },
 123                 { "LOOKUP hosts MATCHING "
 124                   "host = 'f''oo'",      -1,  1, CONNECTION_LOOKUP },
 125                 { "LOOKUP hosts MATCHING "
 126                   "host = 'foo'''",      -1,  1, CONNECTION_LOOKUP },
 127                 { "LOOKUP hosts MATCHING "
 128                   "host = '''",          -1, -1, 0 },
 129
 130                 /* numeric constants */
 131                 { "LOOKUP hosts MATCHING "
 132                   "attribute[foo] = "
 133                   "1234",                -1,  1, CONNECTION_LOOKUP },
 134                 { "LOOKUP hosts MATCHING "
 135                   "attribute[foo] != "
 136                   "+234",                -1,  1, CONNECTION_LOOKUP },
 137                 { "LOOKUP hosts MATCHING "
 138                   "attribute[foo] < "
 139                   "-234",                -1,  1, CONNECTION_LOOKUP },
 140                 { "LOOKUP hosts MATCHING "
 141                   "attribute[foo] > "
 142                   "12.4",                -1,  1, CONNECTION_LOOKUP },
 143                 { "LOOKUP hosts MATCHING "
 144                   "attribute[foo] <= "
 145                   "12. + .3",            -1,  1, CONNECTION_LOOKUP },
 146                 { "LOOKUP hosts MATCHING "
 147                   "attribute[foo] <= "
 148                   "'f' || 'oo'",         -1,  1, CONNECTION_LOOKUP },
 149                 { "LOOKUP hosts MATCHING "
 150                   "attribute[foo] >= "
 151                   ".4",                  -1,  1, CONNECTION_LOOKUP },
 152                 { "LOOKUP hosts MATCHING "
 153                   "attribute[foo] = "
 154                   "+12e3",               -1,  1, CONNECTION_LOOKUP },
 155                 { "LOOKUP hosts MATCHING "
 156                   "attribute[foo] = "
 157                   "+12e-3",              -1,  1, CONNECTION_LOOKUP },
 158                 { "LOOKUP hosts MATCHING "
 159                   "attribute[foo] = "
 160                   "-12e+3",              -1,  1, CONNECTION_LOOKUP },
 161
 162                 /* date, time, interval constants */
 163                 { "LOOKUP hosts MATCHING "
 164                   "attribute[foo] = "
 165                   "1 Y 42D",             -1,  1, CONNECTION_LOOKUP },
 166                 { "LOOKUP hosts MATCHING "
 167                   "attribute[foo] = "
 168                   "1s 42D",              -1,  1, CONNECTION_LOOKUP },
 169                 /*
 170                  * TODO: Something like 1Y42D should work as well but it doesn't since
 171                  * the scanner will tokenize it into {digit}{identifier} :-/
 172                  *
 173                 { "LOOKUP hosts MATCHING "
 174                   "attribute[foo] = "
 175                   "1Y42D",               -1,  1, CONNECTION_LOOKUP },
 176                  */
 177
 178                 /* NULL */
 179                 { "LOOKUP hosts MATCHING "
 180                   "attribute[foo] "
 181                   "IS NULL",             -1,  1, CONNECTION_LOOKUP },
 182                 { "LOOKUP hosts MATCHING "
 183                   "attribute[foo] "
 184                   "IS NOT NULL",         -1,  1, CONNECTION_LOOKUP },
 185                 { "LOOKUP hosts MATCHING "
 186                   "NOT attribute[foo] "
 187                   "IS NULL",             -1,  1, CONNECTION_LOOKUP },
 188                 { "LOOKUP hosts MATCHING "
 189                   "host IS NULL",        -1, -1, 0 },
 190                 { "LOOKUP hosts MATCHING "
 191                   "service IS NULL",     -1, -1, 0 },
 192
 193                 /* invalid numeric constants */
 194                 { "LOOKUP hosts MATCHING "
 195                   "attribute[foo] = "
 196                   "+-12e+3",             -1, -1, 0 },
 197                 { "LOOKUP hosts MATCHING "
 198                   "attribute[foo] = "
 199                   "-12e-+3",             -1, -1, 0 },
 200                 { "LOOKUP hosts MATCHING "
 201                   "attribute[foo] = "
 202                   "e+3",                 -1, -1, 0 },
 203                 { "LOOKUP hosts MATCHING "
 204                   "attribute[foo] = "
 205                   "3e",                  -1, -1, 0 },
 206                 /* following SQL standard, we don't support hex numbers */
 207                 { "LOOKUP hosts MATCHING "
 208                   "attribute[foo] = "
 209                   "0x12",                -1, -1, 0 },
 210
 211                 /* invalid expressions */
 212                 { "LOOKUP hosts MATCHING "
 213                   "attribute[foo] = "
 214                   "1.23 + 'foo'",        -1, -1, 0 },
 215
 216                 /* comments */
 217                 { "/* some comment */",  -1,  0, 0 },
 218                 { "-- another comment",  -1,  0, 0 },
 219
 220                 /* syntax errors */
 221                 { "INVALID",             -1, -1, 0 },
 222                 { "FETCH host",          -1, -1, 0 },
 223                 { "FETCH 'host'",        -1, -1, 0 },
 224                 { "LIST hosts; INVALID", -1, -1, 0 },
 225                 { "/* some incomplete",  -1, -1, 0 },
 226
 227                 { "LIST",                -1, -1, 0 },
 228                 { "LIST foo",            -1, -1, 0 },
 229                 { "LIST hosts MATCHING "
 230                   "host = 'host'",       -1, -1, 0 },
 231                 { "LIST foo FILTER "
 232                   "host = 'host'",       -1, -1, 0 },
 233                 { "FETCH host 'host' MATCHING "
 234                   "host = 'host'",       -1, -1, 0 },
 235                 { "FETCH foo 'host'",    -1, -1, 0 },
 236                 { "FETCH foo 'host' FILTER "
 237                   "host = 'host'",       -1, -1, 0 },
 238
 239                 { "LOOKUP foo",          -1, -1, 0 },
 240                 { "LOOKUP foo MATCHING "
 241                   "host = 'host'",       -1, -1, 0 },
 242                 { "LOOKUP foo FILTER "
 243                   "host = 'host'",       -1, -1, 0 },
 244                 { "LOOKUP foo MATCHING "
 245                   "host = 'host' FILTER "
 246                   "host = 'host'",       -1, -1, 0 },
 247                 { "LOOKUP hosts MATCHING "
 248                   "attribute[foo] <= "
 249                   "f || 'oo'",           -1, -1, 0 },
 250                 { "LOOKUP hosts MATCHING "
 251                   "attribute[foo] <= "
 252                   "'f' || oo",           -1, -1, 0 },
 253         };
 254
 255         size_t i;
 256         sdb_llist_t *check;
 257
 258         for (i = 0; i < SDB_STATIC_ARRAY_LEN(golden_data); ++i) {
 259                 sdb_object_t *obj;
 260                 _Bool ok;
 261
 262                 check = sdb_fe_parse(golden_data[i].query, golden_data[i].len);
 263                 if (golden_data[i].expected < 0)
 264                         ok = check == 0;
 265                 else
 266                         ok = sdb_llist_len(check) == (size_t)golden_data[i].expected;
 267
 268                 fail_unless(ok, "sdb_fe_parse(%s) = %p (len: %zu); expected: %d",
 269                                 golden_data[i].query, check, sdb_llist_len(check),
 270                                 golden_data[i].expected);
 271
 272                 if (! check)
 273                         continue;
 274
 275                 if ((! golden_data[i].expected_cmd)
 276                                 || (golden_data[i].expected <= 0)) {
 277                         sdb_llist_destroy(check);
 278                         continue;
 279                 }
 280
 281                 obj = sdb_llist_get(check, 0);
 282                 fail_unless(SDB_CONN_NODE(obj)->cmd == golden_data[i].expected_cmd,
 283                                 "sdb_fe_parse(%s)->cmd = %i; expected: %d",
 284                                 golden_data[i].query, SDB_CONN_NODE(obj)->cmd,
 285                                 golden_data[i].expected_cmd);
 286                 sdb_object_deref(obj);
 287                 sdb_llist_destroy(check);
 288         }
 289 }
 290 END_TEST
 291
 292 START_TEST(test_parse_matcher)
 293 {
 294         struct {
 295                 const char *expr;
 296                 int len;
 297                 int expected;
 298         } golden_data[] = {
 299                 /* empty expressions */
 300                 { NULL,                         -1, -1 },
 301                 { "",                           -1, -1 },
 302
 303                 /* valid expressions */
 304                 { "host = 'localhost'",         -1,  MATCHER_NAME },
 305                 { "host != 'localhost'",        -1,  MATCHER_NOT },
 306                 { "host =~ 'host'",             -1,  MATCHER_NAME },
 307                 { "host !~ 'host'",             -1,  MATCHER_NOT },
 308                 { "host = 'localhost' -- foo",  -1,  MATCHER_NAME },
 309                 { "host = 'host' <garbage>",    13,  MATCHER_NAME },
 310                 /* match hosts by service */
 311                 { "service = 'name'",           -1,  MATCHER_NAME },
 312                 { "service != 'name'",          -1,  MATCHER_NOT },
 313                 { "service =~ 'pattern'",       -1,  MATCHER_NAME },
 314                 { "service !~ 'pattern'",       -1,  MATCHER_NOT },
 315                 /* match hosts by attribute */
 316                 { "attribute = 'name'",         -1,  MATCHER_NAME },
 317                 { "attribute != 'name'",        -1,  MATCHER_NOT },
 318                 { "attribute =~ 'pattern'",     -1,  MATCHER_NAME },
 319                 { "attribute !~ 'pattern'",     -1,  MATCHER_NOT },
 320                 /* composite expressions */
 321                 { "host =~ 'pattern' AND "
 322                   "service =~ 'pattern'",       -1,  MATCHER_AND },
 323                 { "host =~ 'pattern' OR "
 324                   "service =~ 'pattern'",       -1,  MATCHER_OR },
 325                 { "NOT host = 'host'",          -1,  MATCHER_NOT },
 326                 /* numeric expressions */
 327                 { "attribute[foo] < 123",       -1,  MATCHER_LT },
 328                 { "attribute[foo] <= 123",      -1,  MATCHER_LE },
 329                 { "attribute[foo] = 123",       -1,  MATCHER_EQ },
 330                 { "attribute[foo] >= 123",      -1,  MATCHER_GE },
 331                 { "attribute[foo] > 123",       -1,  MATCHER_GT },
 332                 /* datetime expressions */
 333                 { "attribute[foo] = "
 334                   "2014-08-16",                 -1,  MATCHER_EQ },
 335                 { "attribute[foo] = "
 336                   "17:23",                      -1,  MATCHER_EQ },
 337                 { "attribute[foo] = "
 338                   "17:23:53",                   -1,  MATCHER_EQ },
 339                 { "attribute[foo] = "
 340                   "17:23:53.123",               -1,  MATCHER_EQ },
 341                 { "attribute[foo] = "
 342                   "17:23:53.123456789",         -1,  MATCHER_EQ },
 343                 { "attribute[foo] = "
 344                   "2014-08-16 17:23",           -1,  MATCHER_EQ },
 345                 { "attribute[foo] = "
 346                   "2014-08-16 17:23:53",        -1,  MATCHER_EQ },
 347                 /* NULL; while this is an implementation detail,
 348                  * IS NULL currently maps to an equality matcher */
 349                 { "attribute[foo] IS NULL",     -1,  MATCHER_ISNULL },
 350                 { "attribute[foo] IS NOT NULL", -1,  MATCHER_NOT },
 351
 352                 /* object field matchers */
 353                 { ".last_update < 10s",         -1,  MATCHER_LT },
 354                 { ".AGE <= 1m",                 -1,  MATCHER_LE },
 355                 { ".interval = 10h",            -1,  MATCHER_EQ },
 356                 { ".Last_Update >= 24D",        -1,  MATCHER_GE },
 357                 { ".age > 1M",                  -1,  MATCHER_GT },
 358                 { ".age != 20Y",                -1,  MATCHER_NOT },
 359                 { ".backend != 'be'",           -1,  MATCHER_NOT },
 360                 { ".age <= 2 * .interval",      -1,  MATCHER_LE },
 361
 362                 /* check operator precedence */
 363                 { "host = 'name' OR "
 364                   "service = 'name' AND "
 365                   "attribute = 'name' OR "
 366                   "attribute[foo] = 'bar'",     -1,  MATCHER_OR },
 367                 { "host = 'name' AND "
 368                   "service = 'name' AND "
 369                   "attribute = 'name' OR "
 370                   "attribute[foo] = 'bar'",     -1,  MATCHER_OR },
 371                 { "host = 'name' AND "
 372                   "service = 'name' OR "
 373                   "attribute = 'name' AND "
 374                   "attribute[foo] = 'bar'",     -1,  MATCHER_OR },
 375                 { "(host = 'name' OR "
 376                   "service = 'name') AND "
 377                   "(attribute = 'name' OR "
 378                   "attribute[foo] = 'bar')",    -1,  MATCHER_AND },
 379                 { "NOT host = 'name' OR "
 380                   "service = 'name'",           -1,  MATCHER_OR },
 381                 { "NOT host = 'name' OR "
 382                   "NOT service = 'name'",       -1,  MATCHER_OR },
 383                 { "NOT (host = 'name' OR "
 384                   "NOT service = 'name')",      -1,  MATCHER_NOT },
 385
 386                 /* syntax errors */
 387                 { "LIST",                       -1, -1 },
 388                 { "foo &^ bar",                 -1, -1 },
 389         };
 390
 391         size_t i;
 392
 393         for (i = 0; i < SDB_STATIC_ARRAY_LEN(golden_data); ++i) {
 394                 sdb_store_matcher_t *m;
 395                 m = sdb_fe_parse_matcher(golden_data[i].expr, golden_data[i].len);
 396
 397                 if (golden_data[i].expected < 0) {
 398                         fail_unless(m == NULL,
 399                                         "sdb_fe_parse_matcher(%s) = %p; expected: NULL",
 400                                         golden_data[i].expr, m);
 401                         continue;
 402                 }
 403
 404                 fail_unless(m != NULL, "sdb_fe_parse_matcher(%s) = NULL; "
 405                                 "expected: <matcher>", golden_data[i].expr);
 406                 fail_unless(M(m)->type == golden_data[i].expected,
 407                                 "sdb_fe_parse_matcher(%s) returned matcher of type %d; "
 408                                 "expected: %d", golden_data[i].expr, M(m)->type,
 409                                 golden_data[i].expected);
 410
 411                 sdb_object_deref(SDB_OBJ(m));
 412         }
 413 }
 414 END_TEST
 415
 416 Suite *
 417 fe_parser_suite(void)
 418 {
 419         Suite *s = suite_create("frontend::parser");
 420         TCase *tc;
 421
 422         tc = tcase_create("core");
 423         tcase_add_test(tc, test_parse);
 424         tcase_add_test(tc, test_parse_matcher);
 425         suite_add_tcase(s, tc);
 426
 427         return s;
 428 } /* util_parser_suite */
 429
 430 /* vim: set tw=78 sw=4 ts=4 noexpandtab : */
 431