]> Git Repo - qemu.git/blob - numa.c
net/rocker: Cleanup the useless return value check
[qemu.git] / numa.c
1 /*
2  * NUMA parameter parsing routines
3  *
4  * Copyright (c) 2014 Fujitsu Ltd.
5  *
6  * Permission is hereby granted, free of charge, to any person obtaining a copy
7  * of this software and associated documentation files (the "Software"), to deal
8  * in the Software without restriction, including without limitation the rights
9  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
10  * copies of the Software, and to permit persons to whom the Software is
11  * furnished to do so, subject to the following conditions:
12  *
13  * The above copyright notice and this permission notice shall be included in
14  * all copies or substantial portions of the Software.
15  *
16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
19  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
22  * THE SOFTWARE.
23  */
24
25 #include "qemu/osdep.h"
26 #include "sysemu/numa.h"
27 #include "exec/cpu-common.h"
28 #include "exec/ramlist.h"
29 #include "qemu/bitmap.h"
30 #include "qom/cpu.h"
31 #include "qemu/error-report.h"
32 #include "include/exec/cpu-common.h" /* for RAM_ADDR_FMT */
33 #include "qapi-visit.h"
34 #include "qapi/opts-visitor.h"
35 #include "hw/boards.h"
36 #include "sysemu/hostmem.h"
37 #include "qmp-commands.h"
38 #include "hw/mem/pc-dimm.h"
39 #include "qemu/option.h"
40 #include "qemu/config-file.h"
41
42 QemuOptsList qemu_numa_opts = {
43     .name = "numa",
44     .implied_opt_name = "type",
45     .head = QTAILQ_HEAD_INITIALIZER(qemu_numa_opts.head),
46     .desc = { { 0 } } /* validated with OptsVisitor */
47 };
48
49 static int have_memdevs = -1;
50 static int max_numa_nodeid; /* Highest specified NUMA node ID, plus one.
51                              * For all nodes, nodeid < max_numa_nodeid
52                              */
53 int nb_numa_nodes;
54 bool have_numa_distance;
55 NodeInfo numa_info[MAX_NODES];
56
57 void numa_set_mem_node_id(ram_addr_t addr, uint64_t size, uint32_t node)
58 {
59     struct numa_addr_range *range;
60
61     /*
62      * Memory-less nodes can come here with 0 size in which case,
63      * there is nothing to do.
64      */
65     if (!size) {
66         return;
67     }
68
69     range = g_malloc0(sizeof(*range));
70     range->mem_start = addr;
71     range->mem_end = addr + size - 1;
72     QLIST_INSERT_HEAD(&numa_info[node].addr, range, entry);
73 }
74
75 void numa_unset_mem_node_id(ram_addr_t addr, uint64_t size, uint32_t node)
76 {
77     struct numa_addr_range *range, *next;
78
79     QLIST_FOREACH_SAFE(range, &numa_info[node].addr, entry, next) {
80         if (addr == range->mem_start && (addr + size - 1) == range->mem_end) {
81             QLIST_REMOVE(range, entry);
82             g_free(range);
83             return;
84         }
85     }
86 }
87
88 static void numa_set_mem_ranges(void)
89 {
90     int i;
91     ram_addr_t mem_start = 0;
92
93     /*
94      * Deduce start address of each node and use it to store
95      * the address range info in numa_info address range list
96      */
97     for (i = 0; i < nb_numa_nodes; i++) {
98         numa_set_mem_node_id(mem_start, numa_info[i].node_mem, i);
99         mem_start += numa_info[i].node_mem;
100     }
101 }
102
103 /*
104  * Check if @addr falls under NUMA @node.
105  */
106 static bool numa_addr_belongs_to_node(ram_addr_t addr, uint32_t node)
107 {
108     struct numa_addr_range *range;
109
110     QLIST_FOREACH(range, &numa_info[node].addr, entry) {
111         if (addr >= range->mem_start && addr <= range->mem_end) {
112             return true;
113         }
114     }
115     return false;
116 }
117
118 /*
119  * Given an address, return the index of the NUMA node to which the
120  * address belongs to.
121  */
122 uint32_t numa_get_node(ram_addr_t addr, Error **errp)
123 {
124     uint32_t i;
125
126     /* For non NUMA configurations, check if the addr falls under node 0 */
127     if (!nb_numa_nodes) {
128         if (numa_addr_belongs_to_node(addr, 0)) {
129             return 0;
130         }
131     }
132
133     for (i = 0; i < nb_numa_nodes; i++) {
134         if (numa_addr_belongs_to_node(addr, i)) {
135             return i;
136         }
137     }
138
139     error_setg(errp, "Address 0x" RAM_ADDR_FMT " doesn't belong to any "
140                 "NUMA node", addr);
141     return -1;
142 }
143
144 static void parse_numa_node(MachineState *ms, NumaNodeOptions *node,
145                             QemuOpts *opts, Error **errp)
146 {
147     uint16_t nodenr;
148     uint16List *cpus = NULL;
149     MachineClass *mc = MACHINE_GET_CLASS(ms);
150
151     if (node->has_nodeid) {
152         nodenr = node->nodeid;
153     } else {
154         nodenr = nb_numa_nodes;
155     }
156
157     if (nodenr >= MAX_NODES) {
158         error_setg(errp, "Max number of NUMA nodes reached: %"
159                    PRIu16 "", nodenr);
160         return;
161     }
162
163     if (numa_info[nodenr].present) {
164         error_setg(errp, "Duplicate NUMA nodeid: %" PRIu16, nodenr);
165         return;
166     }
167
168     if (!mc->cpu_index_to_instance_props) {
169         error_report("NUMA is not supported by this machine-type");
170         exit(1);
171     }
172     for (cpus = node->cpus; cpus; cpus = cpus->next) {
173         CpuInstanceProperties props;
174         if (cpus->value >= max_cpus) {
175             error_setg(errp,
176                        "CPU index (%" PRIu16 ")"
177                        " should be smaller than maxcpus (%d)",
178                        cpus->value, max_cpus);
179             return;
180         }
181         props = mc->cpu_index_to_instance_props(ms, cpus->value);
182         props.node_id = nodenr;
183         props.has_node_id = true;
184         machine_set_cpu_numa_node(ms, &props, &error_fatal);
185     }
186
187     if (node->has_mem && node->has_memdev) {
188         error_setg(errp, "cannot specify both mem= and memdev=");
189         return;
190     }
191
192     if (have_memdevs == -1) {
193         have_memdevs = node->has_memdev;
194     }
195     if (node->has_memdev != have_memdevs) {
196         error_setg(errp, "memdev option must be specified for either "
197                    "all or no nodes");
198         return;
199     }
200
201     if (node->has_mem) {
202         uint64_t mem_size = node->mem;
203         const char *mem_str = qemu_opt_get(opts, "mem");
204         /* Fix up legacy suffix-less format */
205         if (g_ascii_isdigit(mem_str[strlen(mem_str) - 1])) {
206             mem_size <<= 20;
207         }
208         numa_info[nodenr].node_mem = mem_size;
209     }
210     if (node->has_memdev) {
211         Object *o;
212         o = object_resolve_path_type(node->memdev, TYPE_MEMORY_BACKEND, NULL);
213         if (!o) {
214             error_setg(errp, "memdev=%s is ambiguous", node->memdev);
215             return;
216         }
217
218         object_ref(o);
219         numa_info[nodenr].node_mem = object_property_get_int(o, "size", NULL);
220         numa_info[nodenr].node_memdev = MEMORY_BACKEND(o);
221     }
222     numa_info[nodenr].present = true;
223     max_numa_nodeid = MAX(max_numa_nodeid, nodenr + 1);
224 }
225
226 static void parse_numa_distance(NumaDistOptions *dist, Error **errp)
227 {
228     uint16_t src = dist->src;
229     uint16_t dst = dist->dst;
230     uint8_t val = dist->val;
231
232     if (src >= MAX_NODES || dst >= MAX_NODES) {
233         error_setg(errp,
234                    "Invalid node %d, max possible could be %d",
235                    MAX(src, dst), MAX_NODES);
236         return;
237     }
238
239     if (!numa_info[src].present || !numa_info[dst].present) {
240         error_setg(errp, "Source/Destination NUMA node is missing. "
241                    "Please use '-numa node' option to declare it first.");
242         return;
243     }
244
245     if (val < NUMA_DISTANCE_MIN) {
246         error_setg(errp, "NUMA distance (%" PRIu8 ") is invalid, "
247                    "it shouldn't be less than %d.",
248                    val, NUMA_DISTANCE_MIN);
249         return;
250     }
251
252     if (src == dst && val != NUMA_DISTANCE_MIN) {
253         error_setg(errp, "Local distance of node %d should be %d.",
254                    src, NUMA_DISTANCE_MIN);
255         return;
256     }
257
258     numa_info[src].distance[dst] = val;
259     have_numa_distance = true;
260 }
261
262 static int parse_numa(void *opaque, QemuOpts *opts, Error **errp)
263 {
264     NumaOptions *object = NULL;
265     MachineState *ms = opaque;
266     Error *err = NULL;
267
268     {
269         Visitor *v = opts_visitor_new(opts);
270         visit_type_NumaOptions(v, NULL, &object, &err);
271         visit_free(v);
272     }
273
274     if (err) {
275         goto end;
276     }
277
278     switch (object->type) {
279     case NUMA_OPTIONS_TYPE_NODE:
280         parse_numa_node(ms, &object->u.node, opts, &err);
281         if (err) {
282             goto end;
283         }
284         nb_numa_nodes++;
285         break;
286     case NUMA_OPTIONS_TYPE_DIST:
287         parse_numa_distance(&object->u.dist, &err);
288         if (err) {
289             goto end;
290         }
291         break;
292     case NUMA_OPTIONS_TYPE_CPU:
293         if (!object->u.cpu.has_node_id) {
294             error_setg(&err, "Missing mandatory node-id property");
295             goto end;
296         }
297         if (!numa_info[object->u.cpu.node_id].present) {
298             error_setg(&err, "Invalid node-id=%" PRId64 ", NUMA node must be "
299                 "defined with -numa node,nodeid=ID before it's used with "
300                 "-numa cpu,node-id=ID", object->u.cpu.node_id);
301             goto end;
302         }
303
304         machine_set_cpu_numa_node(ms, qapi_NumaCpuOptions_base(&object->u.cpu),
305                                   &err);
306         break;
307     default:
308         abort();
309     }
310
311 end:
312     qapi_free_NumaOptions(object);
313     if (err) {
314         error_report_err(err);
315         return -1;
316     }
317
318     return 0;
319 }
320
321 /* If all node pair distances are symmetric, then only distances
322  * in one direction are enough. If there is even one asymmetric
323  * pair, though, then all distances must be provided. The
324  * distance from a node to itself is always NUMA_DISTANCE_MIN,
325  * so providing it is never necessary.
326  */
327 static void validate_numa_distance(void)
328 {
329     int src, dst;
330     bool is_asymmetrical = false;
331
332     for (src = 0; src < nb_numa_nodes; src++) {
333         for (dst = src; dst < nb_numa_nodes; dst++) {
334             if (numa_info[src].distance[dst] == 0 &&
335                 numa_info[dst].distance[src] == 0) {
336                 if (src != dst) {
337                     error_report("The distance between node %d and %d is "
338                                  "missing, at least one distance value "
339                                  "between each nodes should be provided.",
340                                  src, dst);
341                     exit(EXIT_FAILURE);
342                 }
343             }
344
345             if (numa_info[src].distance[dst] != 0 &&
346                 numa_info[dst].distance[src] != 0 &&
347                 numa_info[src].distance[dst] !=
348                 numa_info[dst].distance[src]) {
349                 is_asymmetrical = true;
350             }
351         }
352     }
353
354     if (is_asymmetrical) {
355         for (src = 0; src < nb_numa_nodes; src++) {
356             for (dst = 0; dst < nb_numa_nodes; dst++) {
357                 if (src != dst && numa_info[src].distance[dst] == 0) {
358                     error_report("At least one asymmetrical pair of "
359                             "distances is given, please provide distances "
360                             "for both directions of all node pairs.");
361                     exit(EXIT_FAILURE);
362                 }
363             }
364         }
365     }
366 }
367
368 static void complete_init_numa_distance(void)
369 {
370     int src, dst;
371
372     /* Fixup NUMA distance by symmetric policy because if it is an
373      * asymmetric distance table, it should be a complete table and
374      * there would not be any missing distance except local node, which
375      * is verified by validate_numa_distance above.
376      */
377     for (src = 0; src < nb_numa_nodes; src++) {
378         for (dst = 0; dst < nb_numa_nodes; dst++) {
379             if (numa_info[src].distance[dst] == 0) {
380                 if (src == dst) {
381                     numa_info[src].distance[dst] = NUMA_DISTANCE_MIN;
382                 } else {
383                     numa_info[src].distance[dst] = numa_info[dst].distance[src];
384                 }
385             }
386         }
387     }
388 }
389
390 void numa_legacy_auto_assign_ram(MachineClass *mc, NodeInfo *nodes,
391                                  int nb_nodes, ram_addr_t size)
392 {
393     int i;
394     uint64_t usedmem = 0;
395
396     /* Align each node according to the alignment
397      * requirements of the machine class
398      */
399
400     for (i = 0; i < nb_nodes - 1; i++) {
401         nodes[i].node_mem = (size / nb_nodes) &
402                             ~((1 << mc->numa_mem_align_shift) - 1);
403         usedmem += nodes[i].node_mem;
404     }
405     nodes[i].node_mem = size - usedmem;
406 }
407
408 void numa_default_auto_assign_ram(MachineClass *mc, NodeInfo *nodes,
409                                   int nb_nodes, ram_addr_t size)
410 {
411     int i;
412     uint64_t usedmem = 0, node_mem;
413     uint64_t granularity = size / nb_nodes;
414     uint64_t propagate = 0;
415
416     for (i = 0; i < nb_nodes - 1; i++) {
417         node_mem = (granularity + propagate) &
418                    ~((1 << mc->numa_mem_align_shift) - 1);
419         propagate = granularity + propagate - node_mem;
420         nodes[i].node_mem = node_mem;
421         usedmem += node_mem;
422     }
423     nodes[i].node_mem = size - usedmem;
424 }
425
426 void parse_numa_opts(MachineState *ms)
427 {
428     int i;
429     const CPUArchIdList *possible_cpus;
430     MachineClass *mc = MACHINE_GET_CLASS(ms);
431
432     if (qemu_opts_foreach(qemu_find_opts("numa"), parse_numa, ms, NULL)) {
433         exit(1);
434     }
435
436     assert(max_numa_nodeid <= MAX_NODES);
437
438     /* No support for sparse NUMA node IDs yet: */
439     for (i = max_numa_nodeid - 1; i >= 0; i--) {
440         /* Report large node IDs first, to make mistakes easier to spot */
441         if (!numa_info[i].present) {
442             error_report("numa: Node ID missing: %d", i);
443             exit(1);
444         }
445     }
446
447     /* This must be always true if all nodes are present: */
448     assert(nb_numa_nodes == max_numa_nodeid);
449
450     if (nb_numa_nodes > 0) {
451         uint64_t numa_total;
452
453         if (nb_numa_nodes > MAX_NODES) {
454             nb_numa_nodes = MAX_NODES;
455         }
456
457         /* If no memory size is given for any node, assume the default case
458          * and distribute the available memory equally across all nodes
459          */
460         for (i = 0; i < nb_numa_nodes; i++) {
461             if (numa_info[i].node_mem != 0) {
462                 break;
463             }
464         }
465         if (i == nb_numa_nodes) {
466             assert(mc->numa_auto_assign_ram);
467             mc->numa_auto_assign_ram(mc, numa_info, nb_numa_nodes, ram_size);
468         }
469
470         numa_total = 0;
471         for (i = 0; i < nb_numa_nodes; i++) {
472             numa_total += numa_info[i].node_mem;
473         }
474         if (numa_total != ram_size) {
475             error_report("total memory for NUMA nodes (0x%" PRIx64 ")"
476                          " should equal RAM size (0x" RAM_ADDR_FMT ")",
477                          numa_total, ram_size);
478             exit(1);
479         }
480
481         for (i = 0; i < nb_numa_nodes; i++) {
482             QLIST_INIT(&numa_info[i].addr);
483         }
484
485         numa_set_mem_ranges();
486
487         /* assign CPUs to nodes using board provided default mapping */
488         if (!mc->cpu_index_to_instance_props || !mc->possible_cpu_arch_ids) {
489             error_report("default CPUs to NUMA node mapping isn't supported");
490             exit(1);
491         }
492
493         possible_cpus = mc->possible_cpu_arch_ids(ms);
494         for (i = 0; i < possible_cpus->len; i++) {
495             if (possible_cpus->cpus[i].props.has_node_id) {
496                 break;
497             }
498         }
499
500         /* no CPUs are assigned to NUMA nodes */
501         if (i == possible_cpus->len) {
502             for (i = 0; i < max_cpus; i++) {
503                 CpuInstanceProperties props;
504                 /* fetch default mapping from board and enable it */
505                 props = mc->cpu_index_to_instance_props(ms, i);
506                 props.has_node_id = true;
507
508                 machine_set_cpu_numa_node(ms, &props, &error_fatal);
509             }
510         }
511
512         /* QEMU needs at least all unique node pair distances to build
513          * the whole NUMA distance table. QEMU treats the distance table
514          * as symmetric by default, i.e. distance A->B == distance B->A.
515          * Thus, QEMU is able to complete the distance table
516          * initialization even though only distance A->B is provided and
517          * distance B->A is not. QEMU knows the distance of a node to
518          * itself is always 10, so A->A distances may be omitted. When
519          * the distances of two nodes of a pair differ, i.e. distance
520          * A->B != distance B->A, then that means the distance table is
521          * asymmetric. In this case, the distances for both directions
522          * of all node pairs are required.
523          */
524         if (have_numa_distance) {
525             /* Validate enough NUMA distance information was provided. */
526             validate_numa_distance();
527
528             /* Validation succeeded, now fill in any missing distances. */
529             complete_init_numa_distance();
530         }
531     } else {
532         numa_set_mem_node_id(0, ram_size, 0);
533     }
534 }
535
536 static void allocate_system_memory_nonnuma(MemoryRegion *mr, Object *owner,
537                                            const char *name,
538                                            uint64_t ram_size)
539 {
540     if (mem_path) {
541 #ifdef __linux__
542         Error *err = NULL;
543         memory_region_init_ram_from_file(mr, owner, name, ram_size, false,
544                                          mem_path, &err);
545         if (err) {
546             error_report_err(err);
547             if (mem_prealloc) {
548                 exit(1);
549             }
550
551             /* Legacy behavior: if allocation failed, fall back to
552              * regular RAM allocation.
553              */
554             memory_region_init_ram(mr, owner, name, ram_size, &error_fatal);
555         }
556 #else
557         fprintf(stderr, "-mem-path not supported on this host\n");
558         exit(1);
559 #endif
560     } else {
561         memory_region_init_ram(mr, owner, name, ram_size, &error_fatal);
562     }
563     vmstate_register_ram_global(mr);
564 }
565
566 void memory_region_allocate_system_memory(MemoryRegion *mr, Object *owner,
567                                           const char *name,
568                                           uint64_t ram_size)
569 {
570     uint64_t addr = 0;
571     int i;
572
573     if (nb_numa_nodes == 0 || !have_memdevs) {
574         allocate_system_memory_nonnuma(mr, owner, name, ram_size);
575         return;
576     }
577
578     memory_region_init(mr, owner, name, ram_size);
579     for (i = 0; i < MAX_NODES; i++) {
580         uint64_t size = numa_info[i].node_mem;
581         HostMemoryBackend *backend = numa_info[i].node_memdev;
582         if (!backend) {
583             continue;
584         }
585         MemoryRegion *seg = host_memory_backend_get_memory(backend,
586                                                            &error_fatal);
587
588         if (memory_region_is_mapped(seg)) {
589             char *path = object_get_canonical_path_component(OBJECT(backend));
590             error_report("memory backend %s is used multiple times. Each "
591                          "-numa option must use a different memdev value.",
592                          path);
593             exit(1);
594         }
595
596         host_memory_backend_set_mapped(backend, true);
597         memory_region_add_subregion(mr, addr, seg);
598         vmstate_register_ram_global(seg);
599         addr += size;
600     }
601 }
602
603 static void numa_stat_memory_devices(uint64_t node_mem[])
604 {
605     MemoryDeviceInfoList *info_list = NULL;
606     MemoryDeviceInfoList **prev = &info_list;
607     MemoryDeviceInfoList *info;
608
609     qmp_pc_dimm_device_list(qdev_get_machine(), &prev);
610     for (info = info_list; info; info = info->next) {
611         MemoryDeviceInfo *value = info->value;
612
613         if (value) {
614             switch (value->type) {
615             case MEMORY_DEVICE_INFO_KIND_DIMM:
616                 node_mem[value->u.dimm.data->node] += value->u.dimm.data->size;
617                 break;
618             default:
619                 break;
620             }
621         }
622     }
623     qapi_free_MemoryDeviceInfoList(info_list);
624 }
625
626 void query_numa_node_mem(uint64_t node_mem[])
627 {
628     int i;
629
630     if (nb_numa_nodes <= 0) {
631         return;
632     }
633
634     numa_stat_memory_devices(node_mem);
635     for (i = 0; i < nb_numa_nodes; i++) {
636         node_mem[i] += numa_info[i].node_mem;
637     }
638 }
639
640 static int query_memdev(Object *obj, void *opaque)
641 {
642     MemdevList **list = opaque;
643     MemdevList *m = NULL;
644
645     if (object_dynamic_cast(obj, TYPE_MEMORY_BACKEND)) {
646         m = g_malloc0(sizeof(*m));
647
648         m->value = g_malloc0(sizeof(*m->value));
649
650         m->value->id = object_property_get_str(obj, "id", NULL);
651         m->value->has_id = !!m->value->id;
652
653         m->value->size = object_property_get_int(obj, "size",
654                                                  &error_abort);
655         m->value->merge = object_property_get_bool(obj, "merge",
656                                                    &error_abort);
657         m->value->dump = object_property_get_bool(obj, "dump",
658                                                   &error_abort);
659         m->value->prealloc = object_property_get_bool(obj,
660                                                       "prealloc",
661                                                       &error_abort);
662         m->value->policy = object_property_get_enum(obj,
663                                                     "policy",
664                                                     "HostMemPolicy",
665                                                     &error_abort);
666         object_property_get_uint16List(obj, "host-nodes",
667                                        &m->value->host_nodes,
668                                        &error_abort);
669
670         m->next = *list;
671         *list = m;
672     }
673
674     return 0;
675 }
676
677 MemdevList *qmp_query_memdev(Error **errp)
678 {
679     Object *obj = object_get_objects_root();
680     MemdevList *list = NULL;
681
682     object_child_foreach(obj, query_memdev, &list);
683     return list;
684 }
685
686 void ram_block_notifier_add(RAMBlockNotifier *n)
687 {
688     QLIST_INSERT_HEAD(&ram_list.ramblock_notifiers, n, next);
689 }
690
691 void ram_block_notifier_remove(RAMBlockNotifier *n)
692 {
693     QLIST_REMOVE(n, next);
694 }
695
696 void ram_block_notify_add(void *host, size_t size)
697 {
698     RAMBlockNotifier *notifier;
699
700     QLIST_FOREACH(notifier, &ram_list.ramblock_notifiers, next) {
701         notifier->ram_block_added(notifier, host, size);
702     }
703 }
704
705 void ram_block_notify_remove(void *host, size_t size)
706 {
707     RAMBlockNotifier *notifier;
708
709     QLIST_FOREACH(notifier, &ram_list.ramblock_notifiers, next) {
710         notifier->ram_block_removed(notifier, host, size);
711     }
712 }
This page took 0.063591 seconds and 4 git commands to generate.