src/intel_rdt.c

   1 /**
   2  * collectd - src/intel_rdt.c
   3  *
   4  * Copyright(c) 2016 Intel Corporation. All rights reserved.
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a copy
   7  * of this software and associated documentation files (the "Software"), to deal
   8  * in the Software without restriction, including without limitation the rights
   9  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
  10  * copies of the Software, and to permit persons to whom the Software is
  11  * furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in
  14  * all copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  19  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  22  * SOFTWARE.
  23  *
  24  * Authors:
  25  *   Serhiy Pshyk <serhiyx.pshyk@intel.com>
  26  **/
  27
  28 #include "collectd.h"
  29 #include "common.h"
  30
  31 #include <pqos.h>
  32
  33 #define RDT_PLUGIN "intel_rdt"
  34
  35 #define RDT_MAX_SOCKETS 8
  36 #define RDT_MAX_SOCKET_CORES 64
  37 #define RDT_MAX_CORES (RDT_MAX_SOCKET_CORES * RDT_MAX_SOCKETS)
  38
  39 struct rdt_core_group_s {
  40   char *desc;
  41   size_t num_cores;
  42   unsigned *cores;
  43   enum pqos_mon_event events;
  44 };
  45 typedef struct rdt_core_group_s rdt_core_group_t;
  46
  47 struct rdt_ctx_s {
  48   rdt_core_group_t cgroups[RDT_MAX_CORES];
  49   struct pqos_mon_data *pgroups[RDT_MAX_CORES];
  50   size_t num_groups;
  51   const struct pqos_cpuinfo *pqos_cpu;
  52   const struct pqos_cap *pqos_cap;
  53   const struct pqos_capability *cap_mon;
  54 };
  55 typedef struct rdt_ctx_s rdt_ctx_t;
  56
  57 static rdt_ctx_t *g_rdt = NULL;
  58
  59 static int isdup(const uint64_t *nums, size_t size, uint64_t val) {
  60   for (size_t i = 0; i < size; i++)
  61     if (nums[i] == val)
  62       return 1;
  63   return 0;
  64 }
  65
  66 static int strtouint64(const char *s, uint64_t *n) {
  67   char *endptr = NULL;
  68
  69   assert(s != NULL);
  70   assert(n != NULL);
  71
  72   *n = strtoull(s, &endptr, 0);
  73
  74   if (!(*s != '\0' && *endptr == '\0')) {
  75     DEBUG(RDT_PLUGIN ": Error converting '%s' to unsigned number.", s);
  76     return (-EINVAL);
  77   }
  78
  79   return (0);
  80 }
  81
  82 /*
  83  * NAME
  84  *   strlisttonums
  85  *
  86  * DESCRIPTION
  87  *   Converts string of characters representing list of numbers into array of
  88  *   numbers. Allowed formats are:
  89  *     0,1,2,3
  90  *     0-10,20-18
  91  *     1,3,5-8,10,0x10-12
  92  *
  93  *   Numbers can be in decimal or hexadecimal format.
  94  *
  95  * PARAMETERS
  96  *   `s'         String representing list of unsigned numbers.
  97  *   `nums'      Array to put converted numeric values into.
  98  *   `max'       Maximum number of elements that nums can accommodate.
  99  *
 100  * RETURN VALUE
 101  *    Number of elements placed into nums.
 102  */
 103 static size_t strlisttonums(char *s, uint64_t *nums, size_t max) {
 104   int ret;
 105   size_t index = 0;
 106   char *saveptr = NULL;
 107
 108   if (s == NULL || nums == NULL || max == 0)
 109     return index;
 110
 111   for (;;) {
 112     char *p = NULL;
 113     char *token = NULL;
 114
 115     token = strtok_r(s, ",", &saveptr);
 116     if (token == NULL)
 117       break;
 118
 119     s = NULL;
 120
 121     while (isspace(*token))
 122       token++;
 123     if (*token == '\0')
 124       continue;
 125
 126     p = strchr(token, '-');
 127     if (p != NULL) {
 128       uint64_t n, start, end;
 129       *p = '\0';
 130       ret = strtouint64(token, &start);
 131       if (ret < 0)
 132         return (0);
 133       ret = strtouint64(p + 1, &end);
 134       if (ret < 0)
 135         return (0);
 136       if (start > end) {
 137         return (0);
 138       }
 139       for (n = start; n <= end; n++) {
 140         if (!(isdup(nums, index, n))) {
 141           nums[index] = n;
 142           index++;
 143         }
 144         if (index >= max)
 145           return index;
 146       }
 147     } else {
 148       uint64_t val;
 149
 150       ret = strtouint64(token, &val);
 151       if (ret < 0)
 152         return (0);
 153
 154       if (!(isdup(nums, index, val))) {
 155         nums[index] = val;
 156         index++;
 157       }
 158       if (index >= max)
 159         return index;
 160     }
 161   }
 162
 163   return index;
 164 }
 165
 166 /*
 167  * NAME
 168  *   cgroup_cmp
 169  *
 170  * DESCRIPTION
 171  *   Function to compare cores in 2 core groups.
 172  *
 173  * PARAMETERS
 174  *   `cg_a'      Pointer to core group a.
 175  *   `cg_b'      Pointer to core group b.
 176  *
 177  * RETURN VALUE
 178  *    1 if both groups contain the same cores
 179  *    0 if none of their cores match
 180  *    -1 if some but not all cores match
 181  */
 182 static int cgroup_cmp(const rdt_core_group_t *cg_a,
 183                       const rdt_core_group_t *cg_b) {
 184   int found = 0;
 185
 186   assert(cg_a != NULL);
 187   assert(cg_b != NULL);
 188
 189   const int sz_a = cg_a->num_cores;
 190   const int sz_b = cg_b->num_cores;
 191   const unsigned *tab_a = cg_a->cores;
 192   const unsigned *tab_b = cg_b->cores;
 193
 194   for (int i = 0; i < sz_a; i++) {
 195     for (int j = 0; j < sz_b; j++)
 196       if (tab_a[i] == tab_b[j])
 197         found++;
 198   }
 199   /* if no cores are the same */
 200   if (!found)
 201     return 0;
 202   /* if group contains same cores */
 203   if (sz_a == sz_b && sz_b == found)
 204     return 1;
 205   /* if not all cores are the same */
 206   return -1;
 207 }
 208
 209 static int cgroup_set(rdt_core_group_t *cg, char *desc, uint64_t *cores,
 210                       size_t num_cores) {
 211   assert(cg != NULL);
 212   assert(desc != NULL);
 213   assert(cores != NULL);
 214   assert(num_cores > 0);
 215
 216   cg->cores = calloc(num_cores, sizeof(unsigned));
 217   if (cg->cores == NULL) {
 218     ERROR(RDT_PLUGIN ": Error allocating core group table");
 219     return (-ENOMEM);
 220   }
 221   cg->num_cores = num_cores;
 222   cg->desc = strdup(desc);
 223   if (cg->desc == NULL) {
 224     ERROR(RDT_PLUGIN ": Error allocating core group description");
 225     sfree(cg->cores);
 226     return (-ENOMEM);
 227   }
 228
 229   for (size_t i = 0; i < num_cores; i++)
 230     cg->cores[i] = (unsigned)cores[i];
 231
 232   return 0;
 233 }
 234
 235 /*
 236  * NAME
 237  *   oconfig_to_cgroups
 238  *
 239  * DESCRIPTION
 240  *   Function to set the descriptions and cores for each core group.
 241  *   Takes a config option containing list of strings that are used to set
 242  *   core group values.
 243  *
 244  * PARAMETERS
 245  *   `item'        Config option containing core groups.
 246  *   `groups'      Table of core groups to set values in.
 247  *   `max_groups'  Maximum number of core groups allowed.
 248  *   `max_core'    Maximum allowed core value.
 249  *
 250  * RETURN VALUE
 251  *   On success, the number of core groups set up. On error, appropriate
 252  *   negative error value.
 253  */
 254 static int oconfig_to_cgroups(oconfig_item_t *item, rdt_core_group_t *groups,
 255                               size_t max_groups, uint64_t max_core) {
 256   int index = 0;
 257
 258   assert(groups != NULL);
 259   assert(max_groups > 0);
 260   assert(item != NULL);
 261
 262   for (int j = 0; j < item->values_num; j++) {
 263     int ret;
 264     size_t n;
 265     uint64_t cores[RDT_MAX_CORES] = {0};
 266     char value[DATA_MAX_NAME_LEN];
 267
 268     if ((item->values[j].value.string == NULL) ||
 269         (strlen(item->values[j].value.string) == 0))
 270       continue;
 271
 272     sstrncpy(value, item->values[j].value.string, sizeof(value));
 273
 274     n = strlisttonums(value, cores, STATIC_ARRAY_SIZE(cores));
 275     if (n == 0) {
 276       ERROR(RDT_PLUGIN ": Error parsing core group (%s)",
 277             item->values[j].value.string);
 278       return (-EINVAL);
 279     }
 280
 281     for (int i = 0; i < n; i++) {
 282       if (cores[i] > max_core) {
 283         ERROR(RDT_PLUGIN ": Core group (%s) contains invalid core id (%d)",
 284               item->values[j].value.string, (int)cores[i]);
 285         return (-EINVAL);
 286       }
 287     }
 288
 289     /* set core group info */
 290     ret = cgroup_set(&groups[index], item->values[j].value.string, cores, n);
 291     if (ret < 0)
 292       return ret;
 293
 294     index++;
 295
 296     if (index >= max_groups) {
 297       WARNING(RDT_PLUGIN ": Too many core groups configured");
 298       return index;
 299     }
 300   }
 301
 302   return index;
 303 }
 304
 305 #if COLLECT_DEBUG
 306 static void rdt_dump_cgroups(void) {
 307   char cores[RDT_MAX_CORES * 4];
 308
 309   if (g_rdt == NULL)
 310     return;
 311
 312   DEBUG(RDT_PLUGIN ": Core Groups Dump");
 313   DEBUG(RDT_PLUGIN ":  groups count: %zu", g_rdt->num_groups);
 314
 315   for (int i = 0; i < g_rdt->num_groups; i++) {
 316
 317     memset(cores, 0, sizeof(cores));
 318     for (int j = 0; j < g_rdt->cgroups[i].num_cores; j++) {
 319       snprintf(cores + strlen(cores), sizeof(cores) - strlen(cores) - 1, " %d",
 320                g_rdt->cgroups[i].cores[j]);
 321     }
 322
 323     DEBUG(RDT_PLUGIN ":  group[%d]:", i);
 324     DEBUG(RDT_PLUGIN ":    description: %s", g_rdt->cgroups[i].desc);
 325     DEBUG(RDT_PLUGIN ":    cores: %s", cores);
 326     DEBUG(RDT_PLUGIN ":    events: 0x%X", g_rdt->cgroups[i].events);
 327   }
 328
 329   return;
 330 }
 331
 332 static inline double bytes_to_kb(const double bytes) { return bytes / 1024.0; }
 333
 334 static inline double bytes_to_mb(const double bytes) {
 335   return bytes / (1024.0 * 1024.0);
 336 }
 337
 338 static void rdt_dump_data(void) {
 339   /*
 340    * CORE - monitored group of cores
 341    * RMID - Resource Monitoring ID associated with the monitored group
 342    * LLC - last level cache occupancy
 343    * MBL - local memory bandwidth
 344    * MBR - remote memory bandwidth
 345    */
 346   DEBUG("  CORE     RMID    LLC[KB]   MBL[MB]    MBR[MB]");
 347   for (int i = 0; i < g_rdt->num_groups; i++) {
 348
 349     const struct pqos_event_values *pv = &g_rdt->pgroups[i]->values;
 350
 351     double llc = bytes_to_kb(pv->llc);
 352     double mbr = bytes_to_mb(pv->mbm_remote_delta);
 353     double mbl = bytes_to_mb(pv->mbm_local_delta);
 354
 355     DEBUG(" [%s] %8u %10.1f %10.1f %10.1f", g_rdt->cgroups[i].desc,
 356           g_rdt->pgroups[i]->poll_ctx[0].rmid, llc, mbl, mbr);
 357   }
 358 }
 359 #endif /* COLLECT_DEBUG */
 360
 361 static void rdt_free_cgroups(void) {
 362   for (int i = 0; i < RDT_MAX_CORES; i++) {
 363     sfree(g_rdt->cgroups[i].desc);
 364
 365     sfree(g_rdt->cgroups[i].cores);
 366     g_rdt->cgroups[i].num_cores = 0;
 367
 368     sfree(g_rdt->pgroups[i]);
 369   }
 370 }
 371
 372 static int rdt_default_cgroups(void) {
 373   int ret;
 374
 375   /* configure each core in separate group */
 376   for (unsigned i = 0; i < g_rdt->pqos_cpu->num_cores; i++) {
 377     char desc[DATA_MAX_NAME_LEN];
 378     uint64_t core = i;
 379
 380     ssnprintf(desc, sizeof(desc), "%d", g_rdt->pqos_cpu->cores[i].lcore);
 381
 382     /* set core group info */
 383     ret = cgroup_set(&g_rdt->cgroups[i], desc, &core, 1);
 384     if (ret < 0)
 385       return ret;
 386   }
 387
 388   return g_rdt->pqos_cpu->num_cores;
 389 }
 390
 391 static int rdt_config_cgroups(oconfig_item_t *item) {
 392   int n = 0;
 393   enum pqos_mon_event events = 0;
 394
 395   if (item == NULL) {
 396     DEBUG(RDT_PLUGIN ": cgroups_config: Invalid argument.");
 397     return (-EINVAL);
 398   }
 399
 400   DEBUG(RDT_PLUGIN ": Core groups [%d]:", item->values_num);
 401   for (int j = 0; j < item->values_num; j++) {
 402     if (item->values[j].type != OCONFIG_TYPE_STRING) {
 403       ERROR(RDT_PLUGIN ": given core group value is not a string [idx=%d]", j);
 404       return (-EINVAL);
 405     }
 406     DEBUG(RDT_PLUGIN ":  [%d]: %s", j, item->values[j].value.string);
 407   }
 408
 409   n = oconfig_to_cgroups(item, g_rdt->cgroups, RDT_MAX_CORES,
 410                          g_rdt->pqos_cpu->num_cores - 1);
 411   if (n < 0) {
 412     rdt_free_cgroups();
 413     ERROR(RDT_PLUGIN ": Error parsing core groups configuration.");
 414     return (-EINVAL);
 415   }
 416
 417   if (n == 0) {
 418     /* create default core groups if "Cores" config option is empty */
 419     n = rdt_default_cgroups();
 420     if (n < 0) {
 421       rdt_free_cgroups();
 422       ERROR(RDT_PLUGIN ": Error creating default core groups configuration.");
 423       return n;
 424     }
 425     INFO(RDT_PLUGIN
 426          ": No core groups configured. Default core groups created.");
 427   }
 428
 429   /* Get all available events on this platform */
 430   for (int i = 0; i < g_rdt->cap_mon->u.mon->num_events; i++)
 431     events |= g_rdt->cap_mon->u.mon->events[i].type;
 432
 433   events &= ~(PQOS_PERF_EVENT_LLC_MISS);
 434
 435   DEBUG(RDT_PLUGIN ": Number of cores in the system: %u",
 436         g_rdt->pqos_cpu->num_cores);
 437   DEBUG(RDT_PLUGIN ": Available events to monitor: %#x", events);
 438
 439   g_rdt->num_groups = n;
 440   for (int i = 0; i < n; i++) {
 441     for (int j = 0; j < i; j++) {
 442       int found = 0;
 443       found = cgroup_cmp(&g_rdt->cgroups[j], &g_rdt->cgroups[i]);
 444       if (found != 0) {
 445         rdt_free_cgroups();
 446         ERROR(RDT_PLUGIN ": Cannot monitor same cores in different groups.");
 447         return (-EINVAL);
 448       }
 449     }
 450
 451     g_rdt->cgroups[i].events = events;
 452     g_rdt->pgroups[i] = calloc(1, sizeof(*g_rdt->pgroups[i]));
 453     if (g_rdt->pgroups[i] == NULL) {
 454       rdt_free_cgroups();
 455       ERROR(RDT_PLUGIN ": Failed to allocate memory for monitoring data.");
 456       return (-ENOMEM);
 457     }
 458   }
 459
 460   return (0);
 461 }
 462
 463 static int rdt_preinit(void) {
 464   int ret;
 465
 466   if (g_rdt != NULL) {
 467     /* already initialized if config callback was called before init callback */
 468     return (0);
 469   }
 470
 471   g_rdt = calloc(1, sizeof(*g_rdt));
 472   if (g_rdt == NULL) {
 473     ERROR(RDT_PLUGIN ": Failed to allocate memory for rdt context.");
 474     return (-ENOMEM);
 475   }
 476
 477   /* In case previous instance of the application was not closed properly
 478    * call fini and ignore return code. */
 479   pqos_fini();
 480
 481   /* TODO:
 482    * stdout should not be used here. Will be reworked when support of log
 483    * callback is added to PQoS library.
 484   */
 485   ret = pqos_init(&(struct pqos_config){.fd_log = STDOUT_FILENO});
 486   if (ret != PQOS_RETVAL_OK) {
 487     ERROR(RDT_PLUGIN ": Error initializing PQoS library!");
 488     goto rdt_preinit_error1;
 489   }
 490
 491   ret = pqos_cap_get(&g_rdt->pqos_cap, &g_rdt->pqos_cpu);
 492   if (ret != PQOS_RETVAL_OK) {
 493     ERROR(RDT_PLUGIN ": Error retrieving PQoS capabilities.");
 494     goto rdt_preinit_error2;
 495   }
 496
 497   ret = pqos_cap_get_type(g_rdt->pqos_cap, PQOS_CAP_TYPE_MON, &g_rdt->cap_mon);
 498   if (ret == PQOS_RETVAL_PARAM) {
 499     ERROR(RDT_PLUGIN ": Error retrieving monitoring capabilities.");
 500     goto rdt_preinit_error2;
 501   }
 502
 503   if (g_rdt->cap_mon == NULL) {
 504     ERROR(
 505         RDT_PLUGIN
 506         ": Monitoring capability not detected. Nothing to do for the plugin.");
 507     goto rdt_preinit_error2;
 508   }
 509
 510   return (0);
 511
 512 rdt_preinit_error2:
 513   pqos_fini();
 514
 515 rdt_preinit_error1:
 516
 517   sfree(g_rdt);
 518
 519   return (-1);
 520 }
 521
 522 static int rdt_config(oconfig_item_t *ci) {
 523   int ret = 0;
 524
 525   ret = rdt_preinit();
 526   if (ret != 0)
 527     return ret;
 528
 529   for (int i = 0; i < ci->children_num; i++) {
 530     oconfig_item_t *child = ci->children + i;
 531
 532     if (strcasecmp("Cores", child->key) == 0) {
 533
 534       ret = rdt_config_cgroups(child);
 535       if (ret != 0)
 536         return ret;
 537
 538 #if COLLECT_DEBUG
 539       rdt_dump_cgroups();
 540 #endif /* COLLECT_DEBUG */
 541
 542     } else {
 543       ERROR(RDT_PLUGIN ": Unknown configuration parameter \"%s\".", child->key);
 544     }
 545   }
 546
 547   return (0);
 548 }
 549
 550 static void rdt_submit_derive(char *cgroup, char *type, char *type_instance,
 551                               derive_t value) {
 552   value_list_t vl = VALUE_LIST_INIT;
 553
 554   vl.values = &(value_t){.derive = value};
 555   vl.values_len = 1;
 556
 557   sstrncpy(vl.plugin, RDT_PLUGIN, sizeof(vl.plugin));
 558   snprintf(vl.plugin_instance, sizeof(vl.plugin_instance), "%s", cgroup);
 559   sstrncpy(vl.type, type, sizeof(vl.type));
 560   if (type_instance)
 561     sstrncpy(vl.type_instance, type_instance, sizeof(vl.type_instance));
 562
 563   plugin_dispatch_values(&vl);
 564 }
 565
 566 static void rdt_submit_gauge(char *cgroup, char *type, char *type_instance,
 567                              gauge_t value) {
 568   value_list_t vl = VALUE_LIST_INIT;
 569
 570   vl.values = &(value_t){.gauge = value};
 571   vl.values_len = 1;
 572
 573   sstrncpy(vl.plugin, RDT_PLUGIN, sizeof(vl.plugin));
 574   snprintf(vl.plugin_instance, sizeof(vl.plugin_instance), "%s", cgroup);
 575   sstrncpy(vl.type, type, sizeof(vl.type));
 576   if (type_instance)
 577     sstrncpy(vl.type_instance, type_instance, sizeof(vl.type_instance));
 578
 579   plugin_dispatch_values(&vl);
 580 }
 581
 582 static int rdt_read(__attribute__((unused)) user_data_t *ud) {
 583   int ret;
 584
 585   if (g_rdt == NULL) {
 586     ERROR(RDT_PLUGIN ": rdt_read: plugin not initialized.");
 587     return (-EINVAL);
 588   }
 589
 590   ret = pqos_mon_poll(&g_rdt->pgroups[0], (unsigned)g_rdt->num_groups);
 591   if (ret != PQOS_RETVAL_OK) {
 592     ERROR(RDT_PLUGIN ": Failed to poll monitoring data.");
 593     return (-1);
 594   }
 595
 596 #if COLLECT_DEBUG
 597   rdt_dump_data();
 598 #endif /* COLLECT_DEBUG */
 599
 600   for (int i = 0; i < g_rdt->num_groups; i++) {
 601     enum pqos_mon_event mbm_events =
 602         (PQOS_MON_EVENT_LMEM_BW | PQOS_MON_EVENT_TMEM_BW |
 603          PQOS_MON_EVENT_RMEM_BW);
 604
 605     const struct pqos_event_values *pv = &g_rdt->pgroups[i]->values;
 606
 607     /* Submit only monitored events data */
 608
 609     if (g_rdt->cgroups[i].events & PQOS_MON_EVENT_L3_OCCUP)
 610       rdt_submit_gauge(g_rdt->cgroups[i].desc, "bytes", "llc", pv->llc);
 611
 612     if (g_rdt->cgroups[i].events & PQOS_PERF_EVENT_IPC)
 613       rdt_submit_gauge(g_rdt->cgroups[i].desc, "ipc", NULL, pv->ipc);
 614
 615     if (g_rdt->cgroups[i].events & mbm_events) {
 616       rdt_submit_derive(g_rdt->cgroups[i].desc, "memory_bandwidth", "local",
 617                         pv->mbm_local_delta);
 618       rdt_submit_derive(g_rdt->cgroups[i].desc, "memory_bandwidth", "remote",
 619                         pv->mbm_remote_delta);
 620     }
 621   }
 622
 623   return (0);
 624 }
 625
 626 static int rdt_init(void) {
 627   int ret;
 628
 629   ret = rdt_preinit();
 630   if (ret != 0)
 631     return ret;
 632
 633   /* Start monitoring */
 634   for (int i = 0; i < g_rdt->num_groups; i++) {
 635     rdt_core_group_t *cg = &g_rdt->cgroups[i];
 636
 637     ret = pqos_mon_start(cg->num_cores, cg->cores, cg->events, (void *)cg->desc,
 638                          g_rdt->pgroups[i]);
 639
 640     if (ret != PQOS_RETVAL_OK)
 641       ERROR(RDT_PLUGIN ": Error starting monitoring group %s (pqos status=%d)",
 642             cg->desc, ret);
 643   }
 644
 645   return (0);
 646 }
 647
 648 static int rdt_shutdown(void) {
 649   int ret;
 650
 651   DEBUG(RDT_PLUGIN ": rdt_shutdown.");
 652
 653   if (g_rdt == NULL)
 654     return (0);
 655
 656   /* Stop monitoring */
 657   for (int i = 0; i < g_rdt->num_groups; i++) {
 658     pqos_mon_stop(g_rdt->pgroups[i]);
 659   }
 660
 661   ret = pqos_fini();
 662   if (ret != PQOS_RETVAL_OK)
 663     ERROR(RDT_PLUGIN ": Error shutting down PQoS library.");
 664
 665   rdt_free_cgroups();
 666   sfree(g_rdt);
 667
 668   return (0);
 669 }
 670
 671 void module_register(void) {
 672   plugin_register_init(RDT_PLUGIN, rdt_init);
 673   plugin_register_complex_config(RDT_PLUGIN, rdt_config);
 674   plugin_register_complex_read(NULL, RDT_PLUGIN, rdt_read, 0, NULL);
 675   plugin_register_shutdown(RDT_PLUGIN, rdt_shutdown);
 676 }