drivers/of/fdt.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  * Functions for working with the Flattened Device Tree data format
   4  *
   5  * Copyright 2009 Benjamin Herrenschmidt, IBM Corp
   6  * [email protected]
   7  */
   8
   9 #define pr_fmt(fmt)     "OF: fdt: " fmt
  10
  11 #include <linux/crash_dump.h>
  12 #include <linux/crc32.h>
  13 #include <linux/kernel.h>
  14 #include <linux/initrd.h>
  15 #include <linux/memblock.h>
  16 #include <linux/mutex.h>
  17 #include <linux/of.h>
  18 #include <linux/of_fdt.h>
  19 #include <linux/of_reserved_mem.h>
  20 #include <linux/sizes.h>
  21 #include <linux/string.h>
  22 #include <linux/errno.h>
  23 #include <linux/slab.h>
  24 #include <linux/libfdt.h>
  25 #include <linux/debugfs.h>
  26 #include <linux/serial_core.h>
  27 #include <linux/sysfs.h>
  28 #include <linux/random.h>
  29 #include <linux/kmemleak.h>
  30
  31 #include <asm/setup.h>  /* for COMMAND_LINE_SIZE */
  32 #include <asm/page.h>
  33
  34 #include "of_private.h"
  35
  36 /*
  37  * of_fdt_limit_memory - limit the number of regions in the /memory node
  38  * @limit: maximum entries
  39  *
  40  * Adjust the flattened device tree to have at most 'limit' number of
  41  * memory entries in the /memory node. This function may be called
  42  * any time after initial_boot_param is set.
  43  */
  44 void __init of_fdt_limit_memory(int limit)
  45 {
  46         int memory;
  47         int len;
  48         const void *val;
  49         int nr_address_cells = OF_ROOT_NODE_ADDR_CELLS_DEFAULT;
  50         int nr_size_cells = OF_ROOT_NODE_SIZE_CELLS_DEFAULT;
  51         const __be32 *addr_prop;
  52         const __be32 *size_prop;
  53         int root_offset;
  54         int cell_size;
  55
  56         root_offset = fdt_path_offset(initial_boot_params, "/");
  57         if (root_offset < 0)
  58                 return;
  59
  60         addr_prop = fdt_getprop(initial_boot_params, root_offset,
  61                                 "#address-cells", NULL);
  62         if (addr_prop)
  63                 nr_address_cells = fdt32_to_cpu(*addr_prop);
  64
  65         size_prop = fdt_getprop(initial_boot_params, root_offset,
  66                                 "#size-cells", NULL);
  67         if (size_prop)
  68                 nr_size_cells = fdt32_to_cpu(*size_prop);
  69
  70         cell_size = sizeof(uint32_t)*(nr_address_cells + nr_size_cells);
  71
  72         memory = fdt_path_offset(initial_boot_params, "/memory");
  73         if (memory > 0) {
  74                 val = fdt_getprop(initial_boot_params, memory, "reg", &len);
  75                 if (len > limit*cell_size) {
  76                         len = limit*cell_size;
  77                         pr_debug("Limiting number of entries to %d\n", limit);
  78                         fdt_setprop(initial_boot_params, memory, "reg", val,
  79                                         len);
  80                 }
  81         }
  82 }
  83
  84 static bool of_fdt_device_is_available(const void *blob, unsigned long node)
  85 {
  86         const char *status = fdt_getprop(blob, node, "status", NULL);
  87
  88         if (!status)
  89                 return true;
  90
  91         if (!strcmp(status, "ok") || !strcmp(status, "okay"))
  92                 return true;
  93
  94         return false;
  95 }
  96
  97 static void *unflatten_dt_alloc(void **mem, unsigned long size,
  98                                        unsigned long align)
  99 {
 100         void *res;
 101
 102         *mem = PTR_ALIGN(*mem, align);
 103         res = *mem;
 104         *mem += size;
 105
 106         return res;
 107 }
 108
 109 static void populate_properties(const void *blob,
 110                                 int offset,
 111                                 void **mem,
 112                                 struct device_node *np,
 113                                 const char *nodename,
 114                                 bool dryrun)
 115 {
 116         struct property *pp, **pprev = NULL;
 117         int cur;
 118         bool has_name = false;
 119
 120         pprev = &np->properties;
 121         for (cur = fdt_first_property_offset(blob, offset);
 122              cur >= 0;
 123              cur = fdt_next_property_offset(blob, cur)) {
 124                 const __be32 *val;
 125                 const char *pname;
 126                 u32 sz;
 127
 128                 val = fdt_getprop_by_offset(blob, cur, &pname, &sz);
 129                 if (!val) {
 130                         pr_warn("Cannot locate property at 0x%x\n", cur);
 131                         continue;
 132                 }
 133
 134                 if (!pname) {
 135                         pr_warn("Cannot find property name at 0x%x\n", cur);
 136                         continue;
 137                 }
 138
 139                 if (!strcmp(pname, "name"))
 140                         has_name = true;
 141
 142                 pp = unflatten_dt_alloc(mem, sizeof(struct property),
 143                                         __alignof__(struct property));
 144                 if (dryrun)
 145                         continue;
 146
 147                 /* We accept flattened tree phandles either in
 148                  * ePAPR-style "phandle" properties, or the
 149                  * legacy "linux,phandle" properties.  If both
 150                  * appear and have different values, things
 151                  * will get weird. Don't do that.
 152                  */
 153                 if (!strcmp(pname, "phandle") ||
 154                     !strcmp(pname, "linux,phandle")) {
 155                         if (!np->phandle)
 156                                 np->phandle = be32_to_cpup(val);
 157                 }
 158
 159                 /* And we process the "ibm,phandle" property
 160                  * used in pSeries dynamic device tree
 161                  * stuff
 162                  */
 163                 if (!strcmp(pname, "ibm,phandle"))
 164                         np->phandle = be32_to_cpup(val);
 165
 166                 pp->name   = (char *)pname;
 167                 pp->length = sz;
 168                 pp->value  = (__be32 *)val;
 169                 *pprev     = pp;
 170                 pprev      = &pp->next;
 171         }
 172
 173         /* With version 0x10 we may not have the name property,
 174          * recreate it here from the unit name if absent
 175          */
 176         if (!has_name) {
 177                 const char *p = nodename, *ps = p, *pa = NULL;
 178                 int len;
 179
 180                 while (*p) {
 181                         if ((*p) == '@')
 182                                 pa = p;
 183                         else if ((*p) == '/')
 184                                 ps = p + 1;
 185                         p++;
 186                 }
 187
 188                 if (pa < ps)
 189                         pa = p;
 190                 len = (pa - ps) + 1;
 191                 pp = unflatten_dt_alloc(mem, sizeof(struct property) + len,
 192                                         __alignof__(struct property));
 193                 if (!dryrun) {
 194                         pp->name   = "name";
 195                         pp->length = len;
 196                         pp->value  = pp + 1;
 197                         *pprev     = pp;
 198                         memcpy(pp->value, ps, len - 1);
 199                         ((char *)pp->value)[len - 1] = 0;
 200                         pr_debug("fixed up name for %s -> %s\n",
 201                                  nodename, (char *)pp->value);
 202                 }
 203         }
 204 }
 205
 206 static int populate_node(const void *blob,
 207                           int offset,
 208                           void **mem,
 209                           struct device_node *dad,
 210                           struct device_node **pnp,
 211                           bool dryrun)
 212 {
 213         struct device_node *np;
 214         const char *pathp;
 215         int len;
 216
 217         pathp = fdt_get_name(blob, offset, &len);
 218         if (!pathp) {
 219                 *pnp = NULL;
 220                 return len;
 221         }
 222
 223         len++;
 224
 225         np = unflatten_dt_alloc(mem, sizeof(struct device_node) + len,
 226                                 __alignof__(struct device_node));
 227         if (!dryrun) {
 228                 char *fn;
 229                 of_node_init(np);
 230                 np->full_name = fn = ((char *)np) + sizeof(*np);
 231
 232                 memcpy(fn, pathp, len);
 233
 234                 if (dad != NULL) {
 235                         np->parent = dad;
 236                         np->sibling = dad->child;
 237                         dad->child = np;
 238                 }
 239         }
 240
 241         populate_properties(blob, offset, mem, np, pathp, dryrun);
 242         if (!dryrun) {
 243                 np->name = of_get_property(np, "name", NULL);
 244                 if (!np->name)
 245                         np->name = "<NULL>";
 246         }
 247
 248         *pnp = np;
 249         return true;
 250 }
 251
 252 static void reverse_nodes(struct device_node *parent)
 253 {
 254         struct device_node *child, *next;
 255
 256         /* In-depth first */
 257         child = parent->child;
 258         while (child) {
 259                 reverse_nodes(child);
 260
 261                 child = child->sibling;
 262         }
 263
 264         /* Reverse the nodes in the child list */
 265         child = parent->child;
 266         parent->child = NULL;
 267         while (child) {
 268                 next = child->sibling;
 269
 270                 child->sibling = parent->child;
 271                 parent->child = child;
 272                 child = next;
 273         }
 274 }
 275
 276 /**
 277  * unflatten_dt_nodes - Alloc and populate a device_node from the flat tree
 278  * @blob: The parent device tree blob
 279  * @mem: Memory chunk to use for allocating device nodes and properties
 280  * @dad: Parent struct device_node
 281  * @nodepp: The device_node tree created by the call
 282  *
 283  * Return: The size of unflattened device tree or error code
 284  */
 285 static int unflatten_dt_nodes(const void *blob,
 286                               void *mem,
 287                               struct device_node *dad,
 288                               struct device_node **nodepp)
 289 {
 290         struct device_node *root;
 291         int offset = 0, depth = 0, initial_depth = 0;
 292 #define FDT_MAX_DEPTH   64
 293         struct device_node *nps[FDT_MAX_DEPTH];
 294         void *base = mem;
 295         bool dryrun = !base;
 296         int ret;
 297
 298         if (nodepp)
 299                 *nodepp = NULL;
 300
 301         /*
 302          * We're unflattening device sub-tree if @dad is valid. There are
 303          * possibly multiple nodes in the first level of depth. We need
 304          * set @depth to 1 to make fdt_next_node() happy as it bails
 305          * immediately when negative @depth is found. Otherwise, the device
 306          * nodes except the first one won't be unflattened successfully.
 307          */
 308         if (dad)
 309                 depth = initial_depth = 1;
 310
 311         root = dad;
 312         nps[depth] = dad;
 313
 314         for (offset = 0;
 315              offset >= 0 && depth >= initial_depth;
 316              offset = fdt_next_node(blob, offset, &depth)) {
 317                 if (WARN_ON_ONCE(depth >= FDT_MAX_DEPTH))
 318                         continue;
 319
 320                 if (!IS_ENABLED(CONFIG_OF_KOBJ) &&
 321                     !of_fdt_device_is_available(blob, offset))
 322                         continue;
 323
 324                 ret = populate_node(blob, offset, &mem, nps[depth],
 325                                    &nps[depth+1], dryrun);
 326                 if (ret < 0)
 327                         return ret;
 328
 329                 if (!dryrun && nodepp && !*nodepp)
 330                         *nodepp = nps[depth+1];
 331                 if (!dryrun && !root)
 332                         root = nps[depth+1];
 333         }
 334
 335         if (offset < 0 && offset != -FDT_ERR_NOTFOUND) {
 336                 pr_err("Error %d processing FDT\n", offset);
 337                 return -EINVAL;
 338         }
 339
 340         /*
 341          * Reverse the child list. Some drivers assumes node order matches .dts
 342          * node order
 343          */
 344         if (!dryrun)
 345                 reverse_nodes(root);
 346
 347         return mem - base;
 348 }
 349
 350 /**
 351  * __unflatten_device_tree - create tree of device_nodes from flat blob
 352  * @blob: The blob to expand
 353  * @dad: Parent device node
 354  * @mynodes: The device_node tree created by the call
 355  * @dt_alloc: An allocator that provides a virtual address to memory
 356  * for the resulting tree
 357  * @detached: if true set OF_DETACHED on @mynodes
 358  *
 359  * unflattens a device-tree, creating the tree of struct device_node. It also
 360  * fills the "name" and "type" pointers of the nodes so the normal device-tree
 361  * walking functions can be used.
 362  *
 363  * Return: NULL on failure or the memory chunk containing the unflattened
 364  * device tree on success.
 365  */
 366 void *__unflatten_device_tree(const void *blob,
 367                               struct device_node *dad,
 368                               struct device_node **mynodes,
 369                               void *(*dt_alloc)(u64 size, u64 align),
 370                               bool detached)
 371 {
 372         int size;
 373         void *mem;
 374         int ret;
 375
 376         if (mynodes)
 377                 *mynodes = NULL;
 378
 379         pr_debug(" -> unflatten_device_tree()\n");
 380
 381         if (!blob) {
 382                 pr_debug("No device tree pointer\n");
 383                 return NULL;
 384         }
 385
 386         pr_debug("Unflattening device tree:\n");
 387         pr_debug("magic: %08x\n", fdt_magic(blob));
 388         pr_debug("size: %08x\n", fdt_totalsize(blob));
 389         pr_debug("version: %08x\n", fdt_version(blob));
 390
 391         if (fdt_check_header(blob)) {
 392                 pr_err("Invalid device tree blob header\n");
 393                 return NULL;
 394         }
 395
 396         /* First pass, scan for size */
 397         size = unflatten_dt_nodes(blob, NULL, dad, NULL);
 398         if (size <= 0)
 399                 return NULL;
 400
 401         size = ALIGN(size, 4);
 402         pr_debug("  size is %d, allocating...\n", size);
 403
 404         /* Allocate memory for the expanded device tree */
 405         mem = dt_alloc(size + 4, __alignof__(struct device_node));
 406         if (!mem)
 407                 return NULL;
 408
 409         memset(mem, 0, size);
 410
 411         *(__be32 *)(mem + size) = cpu_to_be32(0xdeadbeef);
 412
 413         pr_debug("  unflattening %p...\n", mem);
 414
 415         /* Second pass, do actual unflattening */
 416         ret = unflatten_dt_nodes(blob, mem, dad, mynodes);
 417
 418         if (be32_to_cpup(mem + size) != 0xdeadbeef)
 419                 pr_warn("End of tree marker overwritten: %08x\n",
 420                         be32_to_cpup(mem + size));
 421
 422         if (ret <= 0)
 423                 return NULL;
 424
 425         if (detached && mynodes && *mynodes) {
 426                 of_node_set_flag(*mynodes, OF_DETACHED);
 427                 pr_debug("unflattened tree is detached\n");
 428         }
 429
 430         pr_debug(" <- unflatten_device_tree()\n");
 431         return mem;
 432 }
 433
 434 static void *kernel_tree_alloc(u64 size, u64 align)
 435 {
 436         return kzalloc(size, GFP_KERNEL);
 437 }
 438
 439 static DEFINE_MUTEX(of_fdt_unflatten_mutex);
 440
 441 /**
 442  * of_fdt_unflatten_tree - create tree of device_nodes from flat blob
 443  * @blob: Flat device tree blob
 444  * @dad: Parent device node
 445  * @mynodes: The device tree created by the call
 446  *
 447  * unflattens the device-tree passed by the firmware, creating the
 448  * tree of struct device_node. It also fills the "name" and "type"
 449  * pointers of the nodes so the normal device-tree walking functions
 450  * can be used.
 451  *
 452  * Return: NULL on failure or the memory chunk containing the unflattened
 453  * device tree on success.
 454  */
 455 void *of_fdt_unflatten_tree(const unsigned long *blob,
 456                             struct device_node *dad,
 457                             struct device_node **mynodes)
 458 {
 459         void *mem;
 460
 461         mutex_lock(&of_fdt_unflatten_mutex);
 462         mem = __unflatten_device_tree(blob, dad, mynodes, &kernel_tree_alloc,
 463                                       true);
 464         mutex_unlock(&of_fdt_unflatten_mutex);
 465
 466         return mem;
 467 }
 468 EXPORT_SYMBOL_GPL(of_fdt_unflatten_tree);
 469
 470 /* Everything below here references initial_boot_params directly. */
 471 int __initdata dt_root_addr_cells;
 472 int __initdata dt_root_size_cells;
 473
 474 void *initial_boot_params __ro_after_init;
 475
 476 #ifdef CONFIG_OF_EARLY_FLATTREE
 477
 478 static u32 of_fdt_crc32;
 479
 480 static int __init early_init_dt_reserve_memory_arch(phys_addr_t base,
 481                                         phys_addr_t size, bool nomap)
 482 {
 483         if (nomap) {
 484                 /*
 485                  * If the memory is already reserved (by another region), we
 486                  * should not allow it to be marked nomap.
 487                  */
 488                 if (memblock_is_region_reserved(base, size))
 489                         return -EBUSY;
 490
 491                 return memblock_mark_nomap(base, size);
 492         }
 493         return memblock_reserve(base, size);
 494 }
 495
 496 /*
 497  * __reserved_mem_reserve_reg() - reserve all memory described in 'reg' property
 498  */
 499 static int __init __reserved_mem_reserve_reg(unsigned long node,
 500                                              const char *uname)
 501 {
 502         int t_len = (dt_root_addr_cells + dt_root_size_cells) * sizeof(__be32);
 503         phys_addr_t base, size;
 504         int len;
 505         const __be32 *prop;
 506         int first = 1;
 507         bool nomap;
 508
 509         prop = of_get_flat_dt_prop(node, "reg", &len);
 510         if (!prop)
 511                 return -ENOENT;
 512
 513         if (len && len % t_len != 0) {
 514                 pr_err("Reserved memory: invalid reg property in '%s', skipping node.\n",
 515                        uname);
 516                 return -EINVAL;
 517         }
 518
 519         nomap = of_get_flat_dt_prop(node, "no-map", NULL) != NULL;
 520
 521         while (len >= t_len) {
 522                 base = dt_mem_next_cell(dt_root_addr_cells, &prop);
 523                 size = dt_mem_next_cell(dt_root_size_cells, &prop);
 524
 525                 if (size &&
 526                     early_init_dt_reserve_memory_arch(base, size, nomap) == 0) {
 527                         pr_debug("Reserved memory: reserved region for node '%s': base %pa, size %lu MiB\n",
 528                                 uname, &base, (unsigned long)(size / SZ_1M));
 529                         if (!nomap)
 530                                 kmemleak_alloc_phys(base, size, 0, 0);
 531                 }
 532                 else
 533                         pr_info("Reserved memory: failed to reserve memory for node '%s': base %pa, size %lu MiB\n",
 534                                 uname, &base, (unsigned long)(size / SZ_1M));
 535
 536                 len -= t_len;
 537                 if (first) {
 538                         fdt_reserved_mem_save_node(node, uname, base, size);
 539                         first = 0;
 540                 }
 541         }
 542         return 0;
 543 }
 544
 545 /*
 546  * __reserved_mem_check_root() - check if #size-cells, #address-cells provided
 547  * in /reserved-memory matches the values supported by the current implementation,
 548  * also check if ranges property has been provided
 549  */
 550 static int __init __reserved_mem_check_root(unsigned long node)
 551 {
 552         const __be32 *prop;
 553
 554         prop = of_get_flat_dt_prop(node, "#size-cells", NULL);
 555         if (!prop || be32_to_cpup(prop) != dt_root_size_cells)
 556                 return -EINVAL;
 557
 558         prop = of_get_flat_dt_prop(node, "#address-cells", NULL);
 559         if (!prop || be32_to_cpup(prop) != dt_root_addr_cells)
 560                 return -EINVAL;
 561
 562         prop = of_get_flat_dt_prop(node, "ranges", NULL);
 563         if (!prop)
 564                 return -EINVAL;
 565         return 0;
 566 }
 567
 568 /*
 569  * fdt_scan_reserved_mem() - scan a single FDT node for reserved memory
 570  */
 571 static int __init fdt_scan_reserved_mem(void)
 572 {
 573         int node, child;
 574         const void *fdt = initial_boot_params;
 575
 576         node = fdt_path_offset(fdt, "/reserved-memory");
 577         if (node < 0)
 578                 return -ENODEV;
 579
 580         if (__reserved_mem_check_root(node) != 0) {
 581                 pr_err("Reserved memory: unsupported node format, ignoring\n");
 582                 return -EINVAL;
 583         }
 584
 585         fdt_for_each_subnode(child, fdt, node) {
 586                 const char *uname;
 587                 int err;
 588
 589                 if (!of_fdt_device_is_available(fdt, child))
 590                         continue;
 591
 592                 uname = fdt_get_name(fdt, child, NULL);
 593
 594                 err = __reserved_mem_reserve_reg(child, uname);
 595                 if (err == -ENOENT && of_get_flat_dt_prop(child, "size", NULL))
 596                         fdt_reserved_mem_save_node(child, uname, 0, 0);
 597         }
 598         return 0;
 599 }
 600
 601 /*
 602  * fdt_reserve_elfcorehdr() - reserves memory for elf core header
 603  *
 604  * This function reserves the memory occupied by an elf core header
 605  * described in the device tree. This region contains all the
 606  * information about primary kernel's core image and is used by a dump
 607  * capture kernel to access the system memory on primary kernel.
 608  */
 609 static void __init fdt_reserve_elfcorehdr(void)
 610 {
 611         if (!IS_ENABLED(CONFIG_CRASH_DUMP) || !elfcorehdr_size)
 612                 return;
 613
 614         if (memblock_is_region_reserved(elfcorehdr_addr, elfcorehdr_size)) {
 615                 pr_warn("elfcorehdr is overlapped\n");
 616                 return;
 617         }
 618
 619         memblock_reserve(elfcorehdr_addr, elfcorehdr_size);
 620
 621         pr_info("Reserving %llu KiB of memory at 0x%llx for elfcorehdr\n",
 622                 elfcorehdr_size >> 10, elfcorehdr_addr);
 623 }
 624
 625 /**
 626  * early_init_fdt_scan_reserved_mem() - create reserved memory regions
 627  *
 628  * This function grabs memory from early allocator for device exclusive use
 629  * defined in device tree structures. It should be called by arch specific code
 630  * once the early allocator (i.e. memblock) has been fully activated.
 631  */
 632 void __init early_init_fdt_scan_reserved_mem(void)
 633 {
 634         int n;
 635         u64 base, size;
 636
 637         if (!initial_boot_params)
 638                 return;
 639
 640         /* Process header /memreserve/ fields */
 641         for (n = 0; ; n++) {
 642                 fdt_get_mem_rsv(initial_boot_params, n, &base, &size);
 643                 if (!size)
 644                         break;
 645                 early_init_dt_reserve_memory_arch(base, size, false);
 646         }
 647
 648         fdt_scan_reserved_mem();
 649         fdt_init_reserved_mem();
 650         fdt_reserve_elfcorehdr();
 651 }
 652
 653 /**
 654  * early_init_fdt_reserve_self() - reserve the memory used by the FDT blob
 655  */
 656 void __init early_init_fdt_reserve_self(void)
 657 {
 658         if (!initial_boot_params)
 659                 return;
 660
 661         /* Reserve the dtb region */
 662         early_init_dt_reserve_memory_arch(__pa(initial_boot_params),
 663                                           fdt_totalsize(initial_boot_params),
 664                                           false);
 665 }
 666
 667 /**
 668  * of_scan_flat_dt - scan flattened tree blob and call callback on each.
 669  * @it: callback function
 670  * @data: context data pointer
 671  *
 672  * This function is used to scan the flattened device-tree, it is
 673  * used to extract the memory information at boot before we can
 674  * unflatten the tree
 675  */
 676 int __init of_scan_flat_dt(int (*it)(unsigned long node,
 677                                      const char *uname, int depth,
 678                                      void *data),
 679                            void *data)
 680 {
 681         const void *blob = initial_boot_params;
 682         const char *pathp;
 683         int offset, rc = 0, depth = -1;
 684
 685         if (!blob)
 686                 return 0;
 687
 688         for (offset = fdt_next_node(blob, -1, &depth);
 689              offset >= 0 && depth >= 0 && !rc;
 690              offset = fdt_next_node(blob, offset, &depth)) {
 691
 692                 pathp = fdt_get_name(blob, offset, NULL);
 693                 rc = it(offset, pathp, depth, data);
 694         }
 695         return rc;
 696 }
 697
 698 /**
 699  * of_scan_flat_dt_subnodes - scan sub-nodes of a node call callback on each.
 700  * @parent: parent node
 701  * @it: callback function
 702  * @data: context data pointer
 703  *
 704  * This function is used to scan sub-nodes of a node.
 705  */
 706 int __init of_scan_flat_dt_subnodes(unsigned long parent,
 707                                     int (*it)(unsigned long node,
 708                                               const char *uname,
 709                                               void *data),
 710                                     void *data)
 711 {
 712         const void *blob = initial_boot_params;
 713         int node;
 714
 715         fdt_for_each_subnode(node, blob, parent) {
 716                 const char *pathp;
 717                 int rc;
 718
 719                 pathp = fdt_get_name(blob, node, NULL);
 720                 rc = it(node, pathp, data);
 721                 if (rc)
 722                         return rc;
 723         }
 724         return 0;
 725 }
 726
 727 /**
 728  * of_get_flat_dt_subnode_by_name - get the subnode by given name
 729  *
 730  * @node: the parent node
 731  * @uname: the name of subnode
 732  * @return offset of the subnode, or -FDT_ERR_NOTFOUND if there is none
 733  */
 734
 735 int __init of_get_flat_dt_subnode_by_name(unsigned long node, const char *uname)
 736 {
 737         return fdt_subnode_offset(initial_boot_params, node, uname);
 738 }
 739
 740 /*
 741  * of_get_flat_dt_root - find the root node in the flat blob
 742  */
 743 unsigned long __init of_get_flat_dt_root(void)
 744 {
 745         return 0;
 746 }
 747
 748 /*
 749  * of_get_flat_dt_prop - Given a node in the flat blob, return the property ptr
 750  *
 751  * This function can be used within scan_flattened_dt callback to get
 752  * access to properties
 753  */
 754 const void *__init of_get_flat_dt_prop(unsigned long node, const char *name,
 755                                        int *size)
 756 {
 757         return fdt_getprop(initial_boot_params, node, name, size);
 758 }
 759
 760 /**
 761  * of_fdt_is_compatible - Return true if given node from the given blob has
 762  * compat in its compatible list
 763  * @blob: A device tree blob
 764  * @node: node to test
 765  * @compat: compatible string to compare with compatible list.
 766  *
 767  * Return: a non-zero value on match with smaller values returned for more
 768  * specific compatible values.
 769  */
 770 static int of_fdt_is_compatible(const void *blob,
 771                       unsigned long node, const char *compat)
 772 {
 773         const char *cp;
 774         int cplen;
 775         unsigned long l, score = 0;
 776
 777         cp = fdt_getprop(blob, node, "compatible", &cplen);
 778         if (cp == NULL)
 779                 return 0;
 780         while (cplen > 0) {
 781                 score++;
 782                 if (of_compat_cmp(cp, compat, strlen(compat)) == 0)
 783                         return score;
 784                 l = strlen(cp) + 1;
 785                 cp += l;
 786                 cplen -= l;
 787         }
 788
 789         return 0;
 790 }
 791
 792 /**
 793  * of_flat_dt_is_compatible - Return true if given node has compat in compatible list
 794  * @node: node to test
 795  * @compat: compatible string to compare with compatible list.
 796  */
 797 int __init of_flat_dt_is_compatible(unsigned long node, const char *compat)
 798 {
 799         return of_fdt_is_compatible(initial_boot_params, node, compat);
 800 }
 801
 802 /*
 803  * of_flat_dt_match - Return true if node matches a list of compatible values
 804  */
 805 static int __init of_flat_dt_match(unsigned long node, const char *const *compat)
 806 {
 807         unsigned int tmp, score = 0;
 808
 809         if (!compat)
 810                 return 0;
 811
 812         while (*compat) {
 813                 tmp = of_fdt_is_compatible(initial_boot_params, node, *compat);
 814                 if (tmp && (score == 0 || (tmp < score)))
 815                         score = tmp;
 816                 compat++;
 817         }
 818
 819         return score;
 820 }
 821
 822 /*
 823  * of_get_flat_dt_phandle - Given a node in the flat blob, return the phandle
 824  */
 825 uint32_t __init of_get_flat_dt_phandle(unsigned long node)
 826 {
 827         return fdt_get_phandle(initial_boot_params, node);
 828 }
 829
 830 struct fdt_scan_status {
 831         const char *name;
 832         int namelen;
 833         int depth;
 834         int found;
 835         int (*iterator)(unsigned long node, const char *uname, int depth, void *data);
 836         void *data;
 837 };
 838
 839 const char * __init of_flat_dt_get_machine_name(void)
 840 {
 841         const char *name;
 842         unsigned long dt_root = of_get_flat_dt_root();
 843
 844         name = of_get_flat_dt_prop(dt_root, "model", NULL);
 845         if (!name)
 846                 name = of_get_flat_dt_prop(dt_root, "compatible", NULL);
 847         return name;
 848 }
 849
 850 /**
 851  * of_flat_dt_match_machine - Iterate match tables to find matching machine.
 852  *
 853  * @default_match: A machine specific ptr to return in case of no match.
 854  * @get_next_compat: callback function to return next compatible match table.
 855  *
 856  * Iterate through machine match tables to find the best match for the machine
 857  * compatible string in the FDT.
 858  */
 859 const void * __init of_flat_dt_match_machine(const void *default_match,
 860                 const void * (*get_next_compat)(const char * const**))
 861 {
 862         const void *data = NULL;
 863         const void *best_data = default_match;
 864         const char *const *compat;
 865         unsigned long dt_root;
 866         unsigned int best_score = ~1, score = 0;
 867
 868         dt_root = of_get_flat_dt_root();
 869         while ((data = get_next_compat(&compat))) {
 870                 score = of_flat_dt_match(dt_root, compat);
 871                 if (score > 0 && score < best_score) {
 872                         best_data = data;
 873                         best_score = score;
 874                 }
 875         }
 876         if (!best_data) {
 877                 const char *prop;
 878                 int size;
 879
 880                 pr_err("\n unrecognized device tree list:\n[ ");
 881
 882                 prop = of_get_flat_dt_prop(dt_root, "compatible", &size);
 883                 if (prop) {
 884                         while (size > 0) {
 885                                 printk("'%s' ", prop);
 886                                 size -= strlen(prop) + 1;
 887                                 prop += strlen(prop) + 1;
 888                         }
 889                 }
 890                 printk("]\n\n");
 891                 return NULL;
 892         }
 893
 894         pr_info("Machine model: %s\n", of_flat_dt_get_machine_name());
 895
 896         return best_data;
 897 }
 898
 899 static void __early_init_dt_declare_initrd(unsigned long start,
 900                                            unsigned long end)
 901 {
 902         /* ARM64 would cause a BUG to occur here when CONFIG_DEBUG_VM is
 903          * enabled since __va() is called too early. ARM64 does make use
 904          * of phys_initrd_start/phys_initrd_size so we can skip this
 905          * conversion.
 906          */
 907         if (!IS_ENABLED(CONFIG_ARM64)) {
 908                 initrd_start = (unsigned long)__va(start);
 909                 initrd_end = (unsigned long)__va(end);
 910                 initrd_below_start_ok = 1;
 911         }
 912 }
 913
 914 /**
 915  * early_init_dt_check_for_initrd - Decode initrd location from flat tree
 916  * @node: reference to node containing initrd location ('chosen')
 917  */
 918 static void __init early_init_dt_check_for_initrd(unsigned long node)
 919 {
 920         u64 start, end;
 921         int len;
 922         const __be32 *prop;
 923
 924         if (!IS_ENABLED(CONFIG_BLK_DEV_INITRD))
 925                 return;
 926
 927         pr_debug("Looking for initrd properties... ");
 928
 929         prop = of_get_flat_dt_prop(node, "linux,initrd-start", &len);
 930         if (!prop)
 931                 return;
 932         start = of_read_number(prop, len/4);
 933
 934         prop = of_get_flat_dt_prop(node, "linux,initrd-end", &len);
 935         if (!prop)
 936                 return;
 937         end = of_read_number(prop, len/4);
 938
 939         __early_init_dt_declare_initrd(start, end);
 940         phys_initrd_start = start;
 941         phys_initrd_size = end - start;
 942
 943         pr_debug("initrd_start=0x%llx  initrd_end=0x%llx\n", start, end);
 944 }
 945
 946 /**
 947  * early_init_dt_check_for_elfcorehdr - Decode elfcorehdr location from flat
 948  * tree
 949  * @node: reference to node containing elfcorehdr location ('chosen')
 950  */
 951 static void __init early_init_dt_check_for_elfcorehdr(unsigned long node)
 952 {
 953         const __be32 *prop;
 954         int len;
 955
 956         if (!IS_ENABLED(CONFIG_CRASH_DUMP))
 957                 return;
 958
 959         pr_debug("Looking for elfcorehdr property... ");
 960
 961         prop = of_get_flat_dt_prop(node, "linux,elfcorehdr", &len);
 962         if (!prop || (len < (dt_root_addr_cells + dt_root_size_cells)))
 963                 return;
 964
 965         elfcorehdr_addr = dt_mem_next_cell(dt_root_addr_cells, &prop);
 966         elfcorehdr_size = dt_mem_next_cell(dt_root_size_cells, &prop);
 967
 968         pr_debug("elfcorehdr_start=0x%llx elfcorehdr_size=0x%llx\n",
 969                  elfcorehdr_addr, elfcorehdr_size);
 970 }
 971
 972 static phys_addr_t cap_mem_addr;
 973 static phys_addr_t cap_mem_size;
 974
 975 /**
 976  * early_init_dt_check_for_usable_mem_range - Decode usable memory range
 977  * location from flat tree
 978  * @node: reference to node containing usable memory range location ('chosen')
 979  */
 980 static void __init early_init_dt_check_for_usable_mem_range(unsigned long node)
 981 {
 982         const __be32 *prop;
 983         int len;
 984
 985         pr_debug("Looking for usable-memory-range property... ");
 986
 987         prop = of_get_flat_dt_prop(node, "linux,usable-memory-range", &len);
 988         if (!prop || (len < (dt_root_addr_cells + dt_root_size_cells)))
 989                 return;
 990
 991         cap_mem_addr = dt_mem_next_cell(dt_root_addr_cells, &prop);
 992         cap_mem_size = dt_mem_next_cell(dt_root_size_cells, &prop);
 993
 994         pr_debug("cap_mem_start=%pa cap_mem_size=%pa\n", &cap_mem_addr,
 995                  &cap_mem_size);
 996 }
 997
 998 #ifdef CONFIG_SERIAL_EARLYCON
 999
1000 int __init early_init_dt_scan_chosen_stdout(void)
1001 {
1002         int offset;
1003         const char *p, *q, *options = NULL;
1004         int l;
1005         const struct earlycon_id *match;
1006         const void *fdt = initial_boot_params;
1007
1008         offset = fdt_path_offset(fdt, "/chosen");
1009         if (offset < 0)
1010                 offset = fdt_path_offset(fdt, "/chosen@0");
1011         if (offset < 0)
1012                 return -ENOENT;
1013
1014         p = fdt_getprop(fdt, offset, "stdout-path", &l);
1015         if (!p)
1016                 p = fdt_getprop(fdt, offset, "linux,stdout-path", &l);
1017         if (!p || !l)
1018                 return -ENOENT;
1019
1020         q = strchrnul(p, ':');
1021         if (*q != '\0')
1022                 options = q + 1;
1023         l = q - p;
1024
1025         /* Get the node specified by stdout-path */
1026         offset = fdt_path_offset_namelen(fdt, p, l);
1027         if (offset < 0) {
1028                 pr_warn("earlycon: stdout-path %.*s not found\n", l, p);
1029                 return 0;
1030         }
1031
1032         for (match = __earlycon_table; match < __earlycon_table_end; match++) {
1033                 if (!match->compatible[0])
1034                         continue;
1035
1036                 if (fdt_node_check_compatible(fdt, offset, match->compatible))
1037                         continue;
1038
1039                 if (of_setup_earlycon(match, offset, options) == 0)
1040                         return 0;
1041         }
1042         return -ENODEV;
1043 }
1044 #endif
1045
1046 /*
1047  * early_init_dt_scan_root - fetch the top level address and size cells
1048  */
1049 int __init early_init_dt_scan_root(unsigned long node, const char *uname,
1050                                    int depth, void *data)
1051 {
1052         const __be32 *prop;
1053
1054         if (depth != 0)
1055                 return 0;
1056
1057         dt_root_size_cells = OF_ROOT_NODE_SIZE_CELLS_DEFAULT;
1058         dt_root_addr_cells = OF_ROOT_NODE_ADDR_CELLS_DEFAULT;
1059
1060         prop = of_get_flat_dt_prop(node, "#size-cells", NULL);
1061         if (prop)
1062                 dt_root_size_cells = be32_to_cpup(prop);
1063         pr_debug("dt_root_size_cells = %x\n", dt_root_size_cells);
1064
1065         prop = of_get_flat_dt_prop(node, "#address-cells", NULL);
1066         if (prop)
1067                 dt_root_addr_cells = be32_to_cpup(prop);
1068         pr_debug("dt_root_addr_cells = %x\n", dt_root_addr_cells);
1069
1070         /* break now */
1071         return 1;
1072 }
1073
1074 u64 __init dt_mem_next_cell(int s, const __be32 **cellp)
1075 {
1076         const __be32 *p = *cellp;
1077
1078         *cellp = p + s;
1079         return of_read_number(p, s);
1080 }
1081
1082 /*
1083  * early_init_dt_scan_memory - Look for and parse memory nodes
1084  */
1085 int __init early_init_dt_scan_memory(unsigned long node, const char *uname,
1086                                      int depth, void *data)
1087 {
1088         const char *type = of_get_flat_dt_prop(node, "device_type", NULL);
1089         const __be32 *reg, *endp;
1090         int l;
1091         bool hotpluggable;
1092
1093         /* We are scanning "memory" nodes only */
1094         if (type == NULL || strcmp(type, "memory") != 0)
1095                 return 0;
1096
1097         reg = of_get_flat_dt_prop(node, "linux,usable-memory", &l);
1098         if (reg == NULL)
1099                 reg = of_get_flat_dt_prop(node, "reg", &l);
1100         if (reg == NULL)
1101                 return 0;
1102
1103         endp = reg + (l / sizeof(__be32));
1104         hotpluggable = of_get_flat_dt_prop(node, "hotpluggable", NULL);
1105
1106         pr_debug("memory scan node %s, reg size %d,\n", uname, l);
1107
1108         while ((endp - reg) >= (dt_root_addr_cells + dt_root_size_cells)) {
1109                 u64 base, size;
1110
1111                 base = dt_mem_next_cell(dt_root_addr_cells, &reg);
1112                 size = dt_mem_next_cell(dt_root_size_cells, &reg);
1113
1114                 if (size == 0)
1115                         continue;
1116                 pr_debug(" - %llx, %llx\n", base, size);
1117
1118                 early_init_dt_add_memory_arch(base, size);
1119
1120                 if (!hotpluggable)
1121                         continue;
1122
1123                 if (memblock_mark_hotplug(base, size))
1124                         pr_warn("failed to mark hotplug range 0x%llx - 0x%llx\n",
1125                                 base, base + size);
1126         }
1127
1128         return 0;
1129 }
1130
1131 int __init early_init_dt_scan_chosen(unsigned long node, const char *uname,
1132                                      int depth, void *data)
1133 {
1134         int l;
1135         const char *p;
1136         const void *rng_seed;
1137
1138         pr_debug("search \"chosen\", depth: %d, uname: %s\n", depth, uname);
1139
1140         if (depth != 1 || !data ||
1141             (strcmp(uname, "chosen") != 0 && strcmp(uname, "chosen@0") != 0))
1142                 return 0;
1143
1144         early_init_dt_check_for_initrd(node);
1145         early_init_dt_check_for_elfcorehdr(node);
1146         early_init_dt_check_for_usable_mem_range(node);
1147
1148         /* Retrieve command line */
1149         p = of_get_flat_dt_prop(node, "bootargs", &l);
1150         if (p != NULL && l > 0)
1151                 strlcpy(data, p, min(l, COMMAND_LINE_SIZE));
1152
1153         /*
1154          * CONFIG_CMDLINE is meant to be a default in case nothing else
1155          * managed to set the command line, unless CONFIG_CMDLINE_FORCE
1156          * is set in which case we override whatever was found earlier.
1157          */
1158 #ifdef CONFIG_CMDLINE
1159 #if defined(CONFIG_CMDLINE_EXTEND)
1160         strlcat(data, " ", COMMAND_LINE_SIZE);
1161         strlcat(data, CONFIG_CMDLINE, COMMAND_LINE_SIZE);
1162 #elif defined(CONFIG_CMDLINE_FORCE)
1163         strlcpy(data, CONFIG_CMDLINE, COMMAND_LINE_SIZE);
1164 #else
1165         /* No arguments from boot loader, use kernel's  cmdl*/
1166         if (!((char *)data)[0])
1167                 strlcpy(data, CONFIG_CMDLINE, COMMAND_LINE_SIZE);
1168 #endif
1169 #endif /* CONFIG_CMDLINE */
1170
1171         pr_debug("Command line is: %s\n", (char *)data);
1172
1173         rng_seed = of_get_flat_dt_prop(node, "rng-seed", &l);
1174         if (rng_seed && l > 0) {
1175                 add_bootloader_randomness(rng_seed, l);
1176
1177                 /* try to clear seed so it won't be found. */
1178                 fdt_nop_property(initial_boot_params, node, "rng-seed");
1179
1180                 /* update CRC check value */
1181                 of_fdt_crc32 = crc32_be(~0, initial_boot_params,
1182                                 fdt_totalsize(initial_boot_params));
1183         }
1184
1185         /* break now */
1186         return 1;
1187 }
1188
1189 #ifndef MIN_MEMBLOCK_ADDR
1190 #define MIN_MEMBLOCK_ADDR       __pa(PAGE_OFFSET)
1191 #endif
1192 #ifndef MAX_MEMBLOCK_ADDR
1193 #define MAX_MEMBLOCK_ADDR       ((phys_addr_t)~0)
1194 #endif
1195
1196 void __init __weak early_init_dt_add_memory_arch(u64 base, u64 size)
1197 {
1198         const u64 phys_offset = MIN_MEMBLOCK_ADDR;
1199
1200         if (size < PAGE_SIZE - (base & ~PAGE_MASK)) {
1201                 pr_warn("Ignoring memory block 0x%llx - 0x%llx\n",
1202                         base, base + size);
1203                 return;
1204         }
1205
1206         if (!PAGE_ALIGNED(base)) {
1207                 size -= PAGE_SIZE - (base & ~PAGE_MASK);
1208                 base = PAGE_ALIGN(base);
1209         }
1210         size &= PAGE_MASK;
1211
1212         if (base > MAX_MEMBLOCK_ADDR) {
1213                 pr_warn("Ignoring memory block 0x%llx - 0x%llx\n",
1214                         base, base + size);
1215                 return;
1216         }
1217
1218         if (base + size - 1 > MAX_MEMBLOCK_ADDR) {
1219                 pr_warn("Ignoring memory range 0x%llx - 0x%llx\n",
1220                         ((u64)MAX_MEMBLOCK_ADDR) + 1, base + size);
1221                 size = MAX_MEMBLOCK_ADDR - base + 1;
1222         }
1223
1224         if (base + size < phys_offset) {
1225                 pr_warn("Ignoring memory block 0x%llx - 0x%llx\n",
1226                         base, base + size);
1227                 return;
1228         }
1229         if (base < phys_offset) {
1230                 pr_warn("Ignoring memory range 0x%llx - 0x%llx\n",
1231                         base, phys_offset);
1232                 size -= phys_offset - base;
1233                 base = phys_offset;
1234         }
1235         memblock_add(base, size);
1236 }
1237
1238 static void * __init early_init_dt_alloc_memory_arch(u64 size, u64 align)
1239 {
1240         void *ptr = memblock_alloc(size, align);
1241
1242         if (!ptr)
1243                 panic("%s: Failed to allocate %llu bytes align=0x%llx\n",
1244                       __func__, size, align);
1245
1246         return ptr;
1247 }
1248
1249 bool __init early_init_dt_verify(void *params)
1250 {
1251         if (!params)
1252                 return false;
1253
1254         /* check device tree validity */
1255         if (fdt_check_header(params))
1256                 return false;
1257
1258         /* Setup flat device-tree pointer */
1259         initial_boot_params = params;
1260         of_fdt_crc32 = crc32_be(~0, initial_boot_params,
1261                                 fdt_totalsize(initial_boot_params));
1262         return true;
1263 }
1264
1265
1266 void __init early_init_dt_scan_nodes(void)
1267 {
1268         int rc = 0;
1269
1270         /* Initialize {size,address}-cells info */
1271         of_scan_flat_dt(early_init_dt_scan_root, NULL);
1272
1273         /* Retrieve various information from the /chosen node */
1274         rc = of_scan_flat_dt(early_init_dt_scan_chosen, boot_command_line);
1275         if (!rc)
1276                 pr_warn("No chosen node found, continuing without\n");
1277
1278         /* Setup memory, calling early_init_dt_add_memory_arch */
1279         of_scan_flat_dt(early_init_dt_scan_memory, NULL);
1280
1281         /* Handle linux,usable-memory-range property */
1282         memblock_cap_memory_range(cap_mem_addr, cap_mem_size);
1283 }
1284
1285 bool __init early_init_dt_scan(void *params)
1286 {
1287         bool status;
1288
1289         status = early_init_dt_verify(params);
1290         if (!status)
1291                 return false;
1292
1293         early_init_dt_scan_nodes();
1294         return true;
1295 }
1296
1297 /**
1298  * unflatten_device_tree - create tree of device_nodes from flat blob
1299  *
1300  * unflattens the device-tree passed by the firmware, creating the
1301  * tree of struct device_node. It also fills the "name" and "type"
1302  * pointers of the nodes so the normal device-tree walking functions
1303  * can be used.
1304  */
1305 void __init unflatten_device_tree(void)
1306 {
1307         __unflatten_device_tree(initial_boot_params, NULL, &of_root,
1308                                 early_init_dt_alloc_memory_arch, false);
1309
1310         /* Get pointer to "/chosen" and "/aliases" nodes for use everywhere */
1311         of_alias_scan(early_init_dt_alloc_memory_arch);
1312
1313         unittest_unflatten_overlay_base();
1314 }
1315
1316 /**
1317  * unflatten_and_copy_device_tree - copy and create tree of device_nodes from flat blob
1318  *
1319  * Copies and unflattens the device-tree passed by the firmware, creating the
1320  * tree of struct device_node. It also fills the "name" and "type"
1321  * pointers of the nodes so the normal device-tree walking functions
1322  * can be used. This should only be used when the FDT memory has not been
1323  * reserved such is the case when the FDT is built-in to the kernel init
1324  * section. If the FDT memory is reserved already then unflatten_device_tree
1325  * should be used instead.
1326  */
1327 void __init unflatten_and_copy_device_tree(void)
1328 {
1329         int size;
1330         void *dt;
1331
1332         if (!initial_boot_params) {
1333                 pr_warn("No valid device tree found, continuing without\n");
1334                 return;
1335         }
1336
1337         size = fdt_totalsize(initial_boot_params);
1338         dt = early_init_dt_alloc_memory_arch(size,
1339                                              roundup_pow_of_two(FDT_V17_SIZE));
1340
1341         if (dt) {
1342                 memcpy(dt, initial_boot_params, size);
1343                 initial_boot_params = dt;
1344         }
1345         unflatten_device_tree();
1346 }
1347
1348 #ifdef CONFIG_SYSFS
1349 static ssize_t of_fdt_raw_read(struct file *filp, struct kobject *kobj,
1350                                struct bin_attribute *bin_attr,
1351                                char *buf, loff_t off, size_t count)
1352 {
1353         memcpy(buf, initial_boot_params + off, count);
1354         return count;
1355 }
1356
1357 static int __init of_fdt_raw_init(void)
1358 {
1359         static struct bin_attribute of_fdt_raw_attr =
1360                 __BIN_ATTR(fdt, S_IRUSR, of_fdt_raw_read, NULL, 0);
1361
1362         if (!initial_boot_params)
1363                 return 0;
1364
1365         if (of_fdt_crc32 != crc32_be(~0, initial_boot_params,
1366                                      fdt_totalsize(initial_boot_params))) {
1367                 pr_warn("not creating '/sys/firmware/fdt': CRC check failed\n");
1368                 return 0;
1369         }
1370         of_fdt_raw_attr.size = fdt_totalsize(initial_boot_params);
1371         return sysfs_create_bin_file(firmware_kobj, &of_fdt_raw_attr);
1372 }
1373 late_initcall(of_fdt_raw_init);
1374 #endif
1375
1376 #endif /* CONFIG_OF_EARLY_FLATTREE */