Code

store, frontend: Make IS (NOT) NULL an unary operator on expressions.
[sysdb.git] / t / unit / frontend / parser_test.c
1 /*
2  * SysDB - t/unit/frontend/parser_test.c
3  * Copyright (C) 2013 Sebastian 'tokkee' Harl <sh@tokkee.org>
4  * All rights reserved.
5  *
6  * Redistribution and use in source and binary forms, with or without
7  * modification, are permitted provided that the following conditions
8  * are met:
9  * 1. Redistributions of source code must retain the above copyright
10  *    notice, this list of conditions and the following disclaimer.
11  * 2. Redistributions in binary form must reproduce the above copyright
12  *    notice, this list of conditions and the following disclaimer in the
13  *    documentation and/or other materials provided with the distribution.
14  *
15  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
16  * ``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED
17  * TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
18  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDERS OR
19  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
20  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
21  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS;
22  * OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY,
23  * WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR
24  * OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF
25  * ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
26  */
28 #include "frontend/connection.h"
29 #include "frontend/parser.h"
30 #include "core/store-private.h"
31 #include "core/object.h"
32 #include "libsysdb_test.h"
34 #include <check.h>
35 #include <limits.h>
37 /*
38  * tests
39  */
41 START_TEST(test_parse)
42 {
43         struct {
44                 const char *query;
45                 int len;
46                 int expected;
47                 sdb_conn_state_t expected_cmd;
48         } golden_data[] = {
49                 /* empty commands */
50                 { NULL,                  -1, -1, 0 },
51                 { "",                    -1,  0, 0 },
52                 { ";",                   -1,  0, 0 },
53                 { ";;",                  -1,  0, 0 },
55                 /* valid commands */
56                 { "FETCH host 'host'",   -1,  1, CONNECTION_FETCH  },
57                 { "FETCH host 'host' FILTER "
58                   "host = 'host'",       -1,  1, CONNECTION_FETCH  },
60                 { "LIST hosts",          -1,  1, CONNECTION_LIST   },
61                 { "LIST hosts -- foo",   -1,  1, CONNECTION_LIST   },
62                 { "LIST hosts;",         -1,  1, CONNECTION_LIST   },
63                 { "LIST hosts; INVALID", 11,  1, CONNECTION_LIST   },
64                 { "LIST hosts FILTER "
65                   "host = 'host'",       -1,  1, CONNECTION_LIST   },
66                 { "LIST services",       -1,  1, CONNECTION_LIST   },
67                 { "LIST services FILTER "
68                   "service = 'svc'",     -1,  1, CONNECTION_LIST   },
69                 { "LIST metrics",        -1,  1, CONNECTION_LIST   },
70                 { "LIST metrics FILTER "
71                   "metric = 'metric'",   -1,  1, CONNECTION_LIST   },
73                 { "LOOKUP hosts",        -1,  1, CONNECTION_LOOKUP },
74                 { "LOOKUP hosts MATCHING "
75                   "host = 'host'",       -1,  1, CONNECTION_LOOKUP },
76                 { "LOOKUP hosts MATCHING NOT "
77                   "host = 'host'",       -1,  1, CONNECTION_LOOKUP },
78                 { "LOOKUP hosts MATCHING "
79                   "host =~ 'p' AND "
80                   "service =~ 'p'",      -1,  1, CONNECTION_LOOKUP },
81                 { "LOOKUP hosts MATCHING NOT "
82                   "host =~ 'p' AND "
83                   "service =~ 'p'",      -1,  1, CONNECTION_LOOKUP },
84                 { "LOOKUP hosts MATCHING "
85                   "host =~ 'p' AND "
86                   "service =~ 'p' OR "
87                   "service =~ 'r'",      -1,  1, CONNECTION_LOOKUP },
88                 { "LOOKUP hosts MATCHING NOT "
89                   "host =~ 'p' AND "
90                   "service =~ 'p' OR "
91                   "service =~ 'r'",      -1,  1, CONNECTION_LOOKUP },
92                 { "LOOKUP hosts MATCHING "
93                   "host =~ 'p' "
94                   "FILTER .age > 1D",    -1,  1, CONNECTION_LOOKUP },
95                 { "LOOKUP hosts MATCHING "
96                   "host =~ 'p' "
97                   "FILTER .age > 1D AND "
98                   ".interval < 240s" ,   -1,  1, CONNECTION_LOOKUP },
99                 { "LOOKUP hosts MATCHING "
100                   "host =~ 'p' "
101                   "FILTER NOT .age>1D",  -1,  1, CONNECTION_LOOKUP },
102                 { "LOOKUP hosts MATCHING "
103                   "host =~ 'p' "
104                   "FILTER .age>"
105                   ".interval",           -1,  1, CONNECTION_LOOKUP },
107                 { "TIMESERIES 'host'.'metric' "
108                   "START 2014-01-01 "
109                   "END 2014-12-31 "
110                   "23:59:59",            -1,  1, CONNECTION_TIMESERIES },
111                 { "TIMESERIES 'host'.'metric' "
112                   "START 2014-02-02 "
113                   "14:02",               -1,  1, CONNECTION_TIMESERIES },
114                 { "TIMESERIES 'host'.'metric' "
115                   "END 2014-02-02",      -1,  1, CONNECTION_TIMESERIES },
116                 { "TIMESERIES "
117                   "'host'.'metric'",     -1,  1, CONNECTION_TIMESERIES },
119                 /* string constants */
120                 { "LOOKUP hosts MATCHING "
121                   "host = ''''",         -1,  1, CONNECTION_LOOKUP },
122                 { "LOOKUP hosts MATCHING "
123                   "host = '''foo'",      -1,  1, CONNECTION_LOOKUP },
124                 { "LOOKUP hosts MATCHING "
125                   "host = 'f''oo'",      -1,  1, CONNECTION_LOOKUP },
126                 { "LOOKUP hosts MATCHING "
127                   "host = 'foo'''",      -1,  1, CONNECTION_LOOKUP },
128                 { "LOOKUP hosts MATCHING "
129                   "host = '''",          -1, -1, 0 },
131                 /* numeric constants */
132                 { "LOOKUP hosts MATCHING "
133                   "attribute[foo] = "
134                   "1234",                -1,  1, CONNECTION_LOOKUP },
135                 { "LOOKUP hosts MATCHING "
136                   "attribute[foo] != "
137                   "+234",                -1,  1, CONNECTION_LOOKUP },
138                 { "LOOKUP hosts MATCHING "
139                   "attribute[foo] < "
140                   "-234",                -1,  1, CONNECTION_LOOKUP },
141                 { "LOOKUP hosts MATCHING "
142                   "attribute[foo] > "
143                   "12.4",                -1,  1, CONNECTION_LOOKUP },
144                 { "LOOKUP hosts MATCHING "
145                   "attribute[foo] <= "
146                   "12. + .3",            -1,  1, CONNECTION_LOOKUP },
147                 { "LOOKUP hosts MATCHING "
148                   "attribute[foo] <= "
149                   "'f' || 'oo'",         -1,  1, CONNECTION_LOOKUP },
150                 { "LOOKUP hosts MATCHING "
151                   "attribute[foo] >= "
152                   ".4",                  -1,  1, CONNECTION_LOOKUP },
153                 { "LOOKUP hosts MATCHING "
154                   "attribute[foo] = "
155                   "+12e3",               -1,  1, CONNECTION_LOOKUP },
156                 { "LOOKUP hosts MATCHING "
157                   "attribute[foo] = "
158                   "+12e-3",              -1,  1, CONNECTION_LOOKUP },
159                 { "LOOKUP hosts MATCHING "
160                   "attribute[foo] = "
161                   "-12e+3",              -1,  1, CONNECTION_LOOKUP },
163                 /* date, time, interval constants */
164                 { "LOOKUP hosts MATCHING "
165                   "attribute[foo] = "
166                   "1 Y 42D",             -1,  1, CONNECTION_LOOKUP },
167                 { "LOOKUP hosts MATCHING "
168                   "attribute[foo] = "
169                   "1s 42D",              -1,  1, CONNECTION_LOOKUP },
170                 /*
171                  * TODO: Something like 1Y42D should work as well but it doesn't since
172                  * the scanner will tokenize it into {digit}{identifier} :-/
173                  *
174                 { "LOOKUP hosts MATCHING "
175                   "attribute[foo] = "
176                   "1Y42D",               -1,  1, CONNECTION_LOOKUP },
177                  */
179                 /* NULL */
180                 { "LOOKUP hosts MATCHING "
181                   "attribute[foo] "
182                   "IS NULL",             -1,  1, CONNECTION_LOOKUP },
183                 { "LOOKUP hosts MATCHING "
184                   "attribute[foo] "
185                   "IS NOT NULL",         -1,  1, CONNECTION_LOOKUP },
186                 { "LOOKUP hosts MATCHING "
187                   "NOT attribute[foo] "
188                   "IS NULL",             -1,  1, CONNECTION_LOOKUP },
189                 { "LOOKUP hosts MATCHING "
190                   "host IS NULL",        -1, -1, 0 },
191                 { "LOOKUP hosts MATCHING "
192                   "service IS NULL",     -1, -1, 0 },
194                 /* invalid numeric constants */
195                 { "LOOKUP hosts MATCHING "
196                   "attribute[foo] = "
197                   "+-12e+3",             -1, -1, 0 },
198                 { "LOOKUP hosts MATCHING "
199                   "attribute[foo] = "
200                   "-12e-+3",             -1, -1, 0 },
201                 { "LOOKUP hosts MATCHING "
202                   "attribute[foo] = "
203                   "e+3",                 -1, -1, 0 },
204                 { "LOOKUP hosts MATCHING "
205                   "attribute[foo] = "
206                   "3e",                  -1, -1, 0 },
207                 /* following SQL standard, we don't support hex numbers */
208                 { "LOOKUP hosts MATCHING "
209                   "attribute[foo] = "
210                   "0x12",                -1, -1, 0 },
212                 /* invalid expressions */
213                 { "LOOKUP hosts MATCHING "
214                   "attribute[foo] = "
215                   "1.23 + 'foo'",        -1, -1, 0 },
217                 /* comments */
218                 { "/* some comment */",  -1,  0, 0 },
219                 { "-- another comment",  -1,  0, 0 },
221                 /* syntax errors */
222                 { "INVALID",             -1, -1, 0 },
223                 { "FETCH host",          -1, -1, 0 },
224                 { "FETCH 'host'",        -1, -1, 0 },
225                 { "LIST hosts; INVALID", -1, -1, 0 },
226                 { "/* some incomplete",  -1, -1, 0 },
228                 { "LIST",                -1, -1, 0 },
229                 { "LIST foo",            -1, -1, 0 },
230                 { "LIST hosts MATCHING "
231                   "host = 'host'",       -1, -1, 0 },
232                 { "LIST foo FILTER "
233                   "host = 'host'",       -1, -1, 0 },
234                 { "FETCH host 'host' MATCHING "
235                   "host = 'host'",       -1, -1, 0 },
236                 { "FETCH foo 'host'",    -1, -1, 0 },
237                 { "FETCH foo 'host' FILTER "
238                   "host = 'host'",       -1, -1, 0 },
240                 { "LOOKUP foo",          -1, -1, 0 },
241                 { "LOOKUP foo MATCHING "
242                   "host = 'host'",       -1, -1, 0 },
243                 { "LOOKUP foo FILTER "
244                   "host = 'host'",       -1, -1, 0 },
245                 { "LOOKUP foo MATCHING "
246                   "host = 'host' FILTER "
247                   "host = 'host'",       -1, -1, 0 },
248                 { "LOOKUP hosts MATCHING "
249                   "attribute[foo] <= "
250                   "f || 'oo'",           -1, -1, 0 },
251                 { "LOOKUP hosts MATCHING "
252                   "attribute[foo] <= "
253                   "'f' || oo",           -1, -1, 0 },
254         };
256         size_t i;
257         sdb_llist_t *check;
259         for (i = 0; i < SDB_STATIC_ARRAY_LEN(golden_data); ++i) {
260                 sdb_object_t *obj;
261                 _Bool ok;
263                 check = sdb_fe_parse(golden_data[i].query, golden_data[i].len);
264                 if (golden_data[i].expected < 0)
265                         ok = check == 0;
266                 else
267                         ok = sdb_llist_len(check) == (size_t)golden_data[i].expected;
269                 fail_unless(ok, "sdb_fe_parse(%s) = %p (len: %zu); expected: %d",
270                                 golden_data[i].query, check, sdb_llist_len(check),
271                                 golden_data[i].expected);
273                 if (! check)
274                         continue;
276                 if ((! golden_data[i].expected_cmd)
277                                 || (golden_data[i].expected <= 0)) {
278                         sdb_llist_destroy(check);
279                         continue;
280                 }
282                 obj = sdb_llist_get(check, 0);
283                 fail_unless(SDB_CONN_NODE(obj)->cmd == golden_data[i].expected_cmd,
284                                 "sdb_fe_parse(%s)->cmd = %i; expected: %d",
285                                 golden_data[i].query, SDB_CONN_NODE(obj)->cmd,
286                                 golden_data[i].expected_cmd);
287                 sdb_object_deref(obj);
288                 sdb_llist_destroy(check);
289         }
291 END_TEST
293 START_TEST(test_parse_matcher)
295         struct {
296                 const char *expr;
297                 int len;
298                 int expected;
299         } golden_data[] = {
300                 /* empty expressions */
301                 { NULL,                         -1, -1 },
302                 { "",                           -1, -1 },
304                 /* valid expressions */
305                 { "host = 'localhost'",         -1,  MATCHER_NAME },
306                 { "host != 'localhost'",        -1,  MATCHER_NOT },
307                 { "host =~ 'host'",             -1,  MATCHER_NAME },
308                 { "host !~ 'host'",             -1,  MATCHER_NOT },
309                 { "host = 'localhost' -- foo",  -1,  MATCHER_NAME },
310                 { "host = 'host' <garbage>",    13,  MATCHER_NAME },
311                 /* match hosts by service */
312                 { "service = 'name'",           -1,  MATCHER_NAME },
313                 { "service != 'name'",          -1,  MATCHER_NOT },
314                 { "service =~ 'pattern'",       -1,  MATCHER_NAME },
315                 { "service !~ 'pattern'",       -1,  MATCHER_NOT },
316                 /* match hosts by attribute */
317                 { "attribute = 'name'",         -1,  MATCHER_NAME },
318                 { "attribute != 'name'",        -1,  MATCHER_NOT },
319                 { "attribute =~ 'pattern'",     -1,  MATCHER_NAME },
320                 { "attribute !~ 'pattern'",     -1,  MATCHER_NOT },
321                 /* composite expressions */
322                 { "host =~ 'pattern' AND "
323                   "service =~ 'pattern'",       -1,  MATCHER_AND },
324                 { "host =~ 'pattern' OR "
325                   "service =~ 'pattern'",       -1,  MATCHER_OR },
326                 { "NOT host = 'host'",          -1,  MATCHER_NOT },
327                 /* numeric expressions */
328                 { "attribute[foo] < 123",       -1,  MATCHER_LT },
329                 { "attribute[foo] <= 123",      -1,  MATCHER_LE },
330                 { "attribute[foo] = 123",       -1,  MATCHER_EQ },
331                 { "attribute[foo] >= 123",      -1,  MATCHER_GE },
332                 { "attribute[foo] > 123",       -1,  MATCHER_GT },
333                 /* datetime expressions */
334                 { "attribute[foo] = "
335                   "2014-08-16",                 -1,  MATCHER_EQ },
336                 { "attribute[foo] = "
337                   "17:23",                      -1,  MATCHER_EQ },
338                 { "attribute[foo] = "
339                   "17:23:53",                   -1,  MATCHER_EQ },
340                 { "attribute[foo] = "
341                   "17:23:53.123",               -1,  MATCHER_EQ },
342                 { "attribute[foo] = "
343                   "17:23:53.123456789",         -1,  MATCHER_EQ },
344                 { "attribute[foo] = "
345                   "2014-08-16 17:23",           -1,  MATCHER_EQ },
346                 { "attribute[foo] = "
347                   "2014-08-16 17:23:53",        -1,  MATCHER_EQ },
348                 /* NULL; while this is an implementation detail,
349                  * IS NULL currently maps to an equality matcher */
350                 { "attribute[foo] IS NULL",     -1,  MATCHER_ISNULL },
351                 { "attribute[foo] IS NOT NULL", -1,  MATCHER_ISNNULL },
353                 /* object field matchers */
354                 { ".last_update < 10s",         -1,  MATCHER_LT },
355                 { ".AGE <= 1m",                 -1,  MATCHER_LE },
356                 { ".interval = 10h",            -1,  MATCHER_EQ },
357                 { ".Last_Update >= 24D",        -1,  MATCHER_GE },
358                 { ".age > 1M",                  -1,  MATCHER_GT },
359                 { ".age != 20Y",                -1,  MATCHER_NOT },
360                 { ".backend != 'be'",           -1,  MATCHER_NOT },
361                 { ".age <= 2 * .interval",      -1,  MATCHER_LE },
363                 /* check operator precedence */
364                 { "host = 'name' OR "
365                   "service = 'name' AND "
366                   "attribute = 'name' OR "
367                   "attribute[foo] = 'bar'",     -1,  MATCHER_OR },
368                 { "host = 'name' AND "
369                   "service = 'name' AND "
370                   "attribute = 'name' OR "
371                   "attribute[foo] = 'bar'",     -1,  MATCHER_OR },
372                 { "host = 'name' AND "
373                   "service = 'name' OR "
374                   "attribute = 'name' AND "
375                   "attribute[foo] = 'bar'",     -1,  MATCHER_OR },
376                 { "(host = 'name' OR "
377                   "service = 'name') AND "
378                   "(attribute = 'name' OR "
379                   "attribute[foo] = 'bar')",    -1,  MATCHER_AND },
380                 { "NOT host = 'name' OR "
381                   "service = 'name'",           -1,  MATCHER_OR },
382                 { "NOT host = 'name' OR "
383                   "NOT service = 'name'",       -1,  MATCHER_OR },
384                 { "NOT (host = 'name' OR "
385                   "NOT service = 'name')",      -1,  MATCHER_NOT },
387                 /* syntax errors */
388                 { "LIST",                       -1, -1 },
389                 { "foo &^ bar",                 -1, -1 },
390                 { ".invalid",                   -1, -1 },
391         };
393         size_t i;
395         for (i = 0; i < SDB_STATIC_ARRAY_LEN(golden_data); ++i) {
396                 sdb_store_matcher_t *m;
397                 m = sdb_fe_parse_matcher(golden_data[i].expr, golden_data[i].len);
399                 if (golden_data[i].expected < 0) {
400                         fail_unless(m == NULL,
401                                         "sdb_fe_parse_matcher(%s) = %p; expected: NULL",
402                                         golden_data[i].expr, m);
403                         continue;
404                 }
406                 fail_unless(m != NULL, "sdb_fe_parse_matcher(%s) = NULL; "
407                                 "expected: <matcher>", golden_data[i].expr);
408                 fail_unless(M(m)->type == golden_data[i].expected,
409                                 "sdb_fe_parse_matcher(%s) returned matcher of type %d; "
410                                 "expected: %d", golden_data[i].expr, M(m)->type,
411                                 golden_data[i].expected);
413                 sdb_object_deref(SDB_OBJ(m));
414         }
416 END_TEST
418 START_TEST(test_parse_expr)
420         struct {
421                 const char *expr;
422                 int len;
423                 int expected;
424         } golden_data[] = {
425                 /* empty expressions */
426                 { NULL,                   -1, INT_MAX },
427                 { "",                     -1, INT_MAX },
429                 /* constant expressions */
430                 { "'localhost'",          -1, 0 },
431                 { "123",                  -1, 0 },
432                 { "2014-08-16",           -1, 0 },
433                 { "17:23",                -1, 0 },
434                 { "17:23:53",             -1, 0 },
435                 { "17:23:53.123",         -1, 0 },
436                 { "17:23:53.123456789",   -1, 0 },
437                 { "2014-08-16 17:23",     -1, 0 },
438                 { "2014-08-16 17:23:53",  -1, 0 },
439                 { "10s",                  -1, 0 },
440                 { "60m",                  -1, 0 },
441                 { "10Y 24D 1h",           -1, 0 },
443                 { "123 + 456",            -1, 0 },
444                 { "'foo' || 'bar'",       -1, 0 },
445                 { "456 - 123",            -1, 0 },
446                 { "1.2 * 3.4",            -1, 0 },
447                 { "1.2 / 3.4",            -1, 0 },
448                 { "5 % 2",                -1, 0 },
450                 /* queryable fields */
451                 { ".last_update",         -1, FIELD_VALUE },
452                 { ".AGE",                 -1, FIELD_VALUE },
453                 { ".interval",            -1, FIELD_VALUE },
454                 { ".Last_Update",         -1, FIELD_VALUE },
455                 { ".backend",             -1, FIELD_VALUE },
457                 /* attributes */
458                 { "attribute[foo]",       -1, ATTR_VALUE },
460                 /* arithmetic expressions */
461                 { ".age + .age",          -1, SDB_DATA_ADD },
462                 { ".age - .age",          -1, SDB_DATA_SUB },
463                 { ".age * .age",          -1, SDB_DATA_MUL },
464                 { ".age / .age",          -1, SDB_DATA_DIV },
465                 { ".age % .age",          -1, SDB_DATA_MOD },
466                 { ".age || .age",         -1, SDB_DATA_CONCAT },
468                 /* operator precedence */
469                 { ".age + .age * .age",   -1, SDB_DATA_ADD },
470                 { ".age * .age + .age",   -1, SDB_DATA_ADD },
471                 { ".age + .age - .age",   -1, SDB_DATA_SUB },
472                 { ".age - .age + .age",   -1, SDB_DATA_ADD },
473                 { "(.age + .age) * .age", -1, SDB_DATA_MUL },
474                 { ".age + (.age * .age)", -1, SDB_DATA_ADD },
476                 /* syntax errors */
477                 { "LIST",                 -1, INT_MAX },
478                 { "foo &^ bar",           -1, INT_MAX },
479                 { ".invalid",             -1, INT_MAX },
480         };
482         size_t i;
484         for (i = 0; i < SDB_STATIC_ARRAY_LEN(golden_data); ++i) {
485                 sdb_store_expr_t *e;
486                 e = sdb_fe_parse_expr(golden_data[i].expr, golden_data[i].len);
488                 if (golden_data[i].expected == INT_MAX) {
489                         fail_unless(e == NULL,
490                                         "sdb_fe_parse_expr(%s) = %p; expected: NULL",
491                                         golden_data[i].expr, e);
492                         continue;
493                 }
495                 fail_unless(e != NULL, "sdb_fe_parse_expr(%s) = NULL; "
496                                 "expected: <expr>", golden_data[i].expr);
497                 fail_unless(e->type == golden_data[i].expected,
498                                 "sdb_fe_parse_expr(%s) returned expression of type %d; "
499                                 "expected: %d", golden_data[i].expr, e->type,
500                                 golden_data[i].expected);
502                 sdb_object_deref(SDB_OBJ(e));
503         }
505 END_TEST
507 Suite *
508 fe_parser_suite(void)
510         Suite *s = suite_create("frontend::parser");
511         TCase *tc;
513         tc = tcase_create("core");
514         tcase_add_test(tc, test_parse);
515         tcase_add_test(tc, test_parse_matcher);
516         tcase_add_test(tc, test_parse_expr);
517         suite_add_tcase(s, tc);
519         return s;
520 } /* util_parser_suite */
522 /* vim: set tw=78 sw=4 ts=4 noexpandtab : */