lib/lmb.c

   1 // SPDX-License-Identifier: GPL-2.0+
   2 /*
   3  * Procedures for maintaining information about logical memory blocks.
   4  *
   5  * Peter Bergner, IBM Corp.     June 2001.
   6  * Copyright (C) 2001 Peter Bergner.
   7  */
   8
   9 #include <alist.h>
  10 #include <efi_loader.h>
  11 #include <event.h>
  12 #include <image.h>
  13 #include <mapmem.h>
  14 #include <lmb.h>
  15 #include <log.h>
  16 #include <malloc.h>
  17 #include <spl.h>
  18
  19 #include <asm/global_data.h>
  20 #include <asm/sections.h>
  21 #include <linux/kernel.h>
  22 #include <linux/sizes.h>
  23
  24 DECLARE_GLOBAL_DATA_PTR;
  25
  26 #define MAP_OP_RESERVE          (u8)0x1
  27 #define MAP_OP_FREE             (u8)0x2
  28 #define MAP_OP_ADD              (u8)0x3
  29
  30 /*
  31  * The following low level LMB functions must not access the global LMB memory
  32  * map since they are also used to manage IOVA memory maps in iommu drivers like
  33  * apple_dart.
  34  */
  35
  36 static long lmb_addrs_overlap(phys_addr_t base1, phys_size_t size1,
  37                               phys_addr_t base2, phys_size_t size2)
  38 {
  39         const phys_addr_t base1_end = base1 + size1 - 1;
  40         const phys_addr_t base2_end = base2 + size2 - 1;
  41
  42         return ((base1 <= base2_end) && (base2 <= base1_end));
  43 }
  44
  45 static long lmb_addrs_adjacent(phys_addr_t base1, phys_size_t size1,
  46                                phys_addr_t base2, phys_size_t size2)
  47 {
  48         if (base2 == base1 + size1)
  49                 return 1;
  50         else if (base1 == base2 + size2)
  51                 return -1;
  52
  53         return 0;
  54 }
  55
  56 static long lmb_regions_overlap(struct alist *lmb_rgn_lst, unsigned long r1,
  57                                 unsigned long r2)
  58 {
  59         struct lmb_region *rgn = lmb_rgn_lst->data;
  60
  61         phys_addr_t base1 = rgn[r1].base;
  62         phys_size_t size1 = rgn[r1].size;
  63         phys_addr_t base2 = rgn[r2].base;
  64         phys_size_t size2 = rgn[r2].size;
  65
  66         return lmb_addrs_overlap(base1, size1, base2, size2);
  67 }
  68
  69 static long lmb_regions_adjacent(struct alist *lmb_rgn_lst, unsigned long r1,
  70                                  unsigned long r2)
  71 {
  72         struct lmb_region *rgn = lmb_rgn_lst->data;
  73
  74         phys_addr_t base1 = rgn[r1].base;
  75         phys_size_t size1 = rgn[r1].size;
  76         phys_addr_t base2 = rgn[r2].base;
  77         phys_size_t size2 = rgn[r2].size;
  78         return lmb_addrs_adjacent(base1, size1, base2, size2);
  79 }
  80
  81 static void lmb_remove_region(struct alist *lmb_rgn_lst, unsigned long r)
  82 {
  83         unsigned long i;
  84         struct lmb_region *rgn = lmb_rgn_lst->data;
  85
  86         for (i = r; i < lmb_rgn_lst->count - 1; i++) {
  87                 rgn[i].base = rgn[i + 1].base;
  88                 rgn[i].size = rgn[i + 1].size;
  89                 rgn[i].flags = rgn[i + 1].flags;
  90         }
  91         lmb_rgn_lst->count--;
  92 }
  93
  94 /* Assumption: base addr of region 1 < base addr of region 2 */
  95 static void lmb_coalesce_regions(struct alist *lmb_rgn_lst, unsigned long r1,
  96                                  unsigned long r2)
  97 {
  98         struct lmb_region *rgn = lmb_rgn_lst->data;
  99
 100         rgn[r1].size += rgn[r2].size;
 101         lmb_remove_region(lmb_rgn_lst, r2);
 102 }
 103
 104 /*Assumption : base addr of region 1 < base addr of region 2*/
 105 static void lmb_fix_over_lap_regions(struct alist *lmb_rgn_lst,
 106                                      unsigned long r1, unsigned long r2)
 107 {
 108         struct lmb_region *rgn = lmb_rgn_lst->data;
 109
 110         phys_addr_t base1 = rgn[r1].base;
 111         phys_size_t size1 = rgn[r1].size;
 112         phys_addr_t base2 = rgn[r2].base;
 113         phys_size_t size2 = rgn[r2].size;
 114
 115         if (base1 + size1 > base2 + size2) {
 116                 printf("This will not be a case any time\n");
 117                 return;
 118         }
 119         rgn[r1].size = base2 + size2 - base1;
 120         lmb_remove_region(lmb_rgn_lst, r2);
 121 }
 122
 123 static long lmb_resize_regions(struct alist *lmb_rgn_lst,
 124                                unsigned long idx_start,
 125                                phys_addr_t base, phys_size_t size)
 126 {
 127         phys_size_t rgnsize;
 128         unsigned long rgn_cnt, idx, idx_end;
 129         phys_addr_t rgnbase, rgnend;
 130         phys_addr_t mergebase, mergeend;
 131         struct lmb_region *rgn = lmb_rgn_lst->data;
 132
 133         rgn_cnt = 0;
 134         idx = idx_start;
 135         idx_end = idx_start;
 136
 137         /*
 138          * First thing to do is to identify how many regions
 139          * the requested region overlaps.
 140          * If the flags match, combine all these overlapping
 141          * regions into a single region, and remove the merged
 142          * regions.
 143          */
 144         while (idx <= lmb_rgn_lst->count - 1) {
 145                 rgnbase = rgn[idx].base;
 146                 rgnsize = rgn[idx].size;
 147
 148                 if (lmb_addrs_overlap(base, size, rgnbase,
 149                                       rgnsize)) {
 150                         if (rgn[idx].flags != LMB_NONE)
 151                                 return -1;
 152                         rgn_cnt++;
 153                         idx_end = idx;
 154                 }
 155                 idx++;
 156         }
 157
 158         /* The merged region's base and size */
 159         rgnbase = rgn[idx_start].base;
 160         mergebase = min(base, rgnbase);
 161         rgnend = rgn[idx_end].base + rgn[idx_end].size;
 162         mergeend = max(rgnend, (base + size));
 163
 164         rgn[idx_start].base = mergebase;
 165         rgn[idx_start].size = mergeend - mergebase;
 166
 167         /* Now remove the merged regions */
 168         while (--rgn_cnt)
 169                 lmb_remove_region(lmb_rgn_lst, idx_start + 1);
 170
 171         return 0;
 172 }
 173
 174 /**
 175  * lmb_add_region_flags() - Add an lmb region to the given list
 176  * @lmb_rgn_lst: LMB list to which region is to be added(free/used)
 177  * @base: Start address of the region
 178  * @size: Size of the region to be added
 179  * @flags: Attributes of the LMB region
 180  *
 181  * Add a region of memory to the list. If the region does not exist, add
 182  * it to the list. Depending on the attributes of the region to be added,
 183  * the function might resize an already existing region or coalesce two
 184  * adjacent regions.
 185  *
 186  *
 187  * Returns: 0 if the region addition successful, -1 on failure
 188  */
 189 static long lmb_add_region_flags(struct alist *lmb_rgn_lst, phys_addr_t base,
 190                                  phys_size_t size, enum lmb_flags flags)
 191 {
 192         unsigned long coalesced = 0;
 193         long ret, i;
 194         struct lmb_region *rgn = lmb_rgn_lst->data;
 195
 196         if (alist_err(lmb_rgn_lst))
 197                 return -1;
 198
 199         /* First try and coalesce this LMB with another. */
 200         for (i = 0; i < lmb_rgn_lst->count; i++) {
 201                 phys_addr_t rgnbase = rgn[i].base;
 202                 phys_size_t rgnsize = rgn[i].size;
 203                 phys_size_t rgnflags = rgn[i].flags;
 204
 205                 ret = lmb_addrs_adjacent(base, size, rgnbase, rgnsize);
 206                 if (ret > 0) {
 207                         if (flags != rgnflags)
 208                                 break;
 209                         rgn[i].base -= size;
 210                         rgn[i].size += size;
 211                         coalesced++;
 212                         break;
 213                 } else if (ret < 0) {
 214                         if (flags != rgnflags)
 215                                 break;
 216                         rgn[i].size += size;
 217                         coalesced++;
 218                         break;
 219                 } else if (lmb_addrs_overlap(base, size, rgnbase, rgnsize)) {
 220                         if (flags == LMB_NONE) {
 221                                 ret = lmb_resize_regions(lmb_rgn_lst, i, base,
 222                                                          size);
 223                                 if (ret < 0)
 224                                         return -1;
 225
 226                                 coalesced++;
 227                                 break;
 228                         } else {
 229                                 return -1;
 230                         }
 231                 }
 232         }
 233
 234         if (lmb_rgn_lst->count && i < lmb_rgn_lst->count - 1) {
 235                 rgn = lmb_rgn_lst->data;
 236                 if (rgn[i].flags == rgn[i + 1].flags) {
 237                         if (lmb_regions_adjacent(lmb_rgn_lst, i, i + 1)) {
 238                                 lmb_coalesce_regions(lmb_rgn_lst, i, i + 1);
 239                                 coalesced++;
 240                         } else if (lmb_regions_overlap(lmb_rgn_lst, i, i + 1)) {
 241                                 /* fix overlapping area */
 242                                 lmb_fix_over_lap_regions(lmb_rgn_lst, i, i + 1);
 243                                 coalesced++;
 244                         }
 245                 }
 246         }
 247
 248         if (coalesced)
 249                 return 0;
 250
 251         if (alist_full(lmb_rgn_lst) &&
 252             !alist_expand_by(lmb_rgn_lst, lmb_rgn_lst->alloc))
 253                 return -1;
 254         rgn = lmb_rgn_lst->data;
 255
 256         /* Couldn't coalesce the LMB, so add it to the sorted table. */
 257         for (i = lmb_rgn_lst->count; i >= 0; i--) {
 258                 if (i && base < rgn[i - 1].base) {
 259                         rgn[i] = rgn[i - 1];
 260                 } else {
 261                         rgn[i].base = base;
 262                         rgn[i].size = size;
 263                         rgn[i].flags = flags;
 264                         break;
 265                 }
 266         }
 267
 268         lmb_rgn_lst->count++;
 269
 270         return 0;
 271 }
 272
 273 static long _lmb_free(struct alist *lmb_rgn_lst, phys_addr_t base,
 274                       phys_size_t size)
 275 {
 276         struct lmb_region *rgn;
 277         phys_addr_t rgnbegin, rgnend;
 278         phys_addr_t end = base + size - 1;
 279         int i;
 280
 281         rgnbegin = rgnend = 0; /* supress gcc warnings */
 282         rgn = lmb_rgn_lst->data;
 283         /* Find the region where (base, size) belongs to */
 284         for (i = 0; i < lmb_rgn_lst->count; i++) {
 285                 rgnbegin = rgn[i].base;
 286                 rgnend = rgnbegin + rgn[i].size - 1;
 287
 288                 if ((rgnbegin <= base) && (end <= rgnend))
 289                         break;
 290         }
 291
 292         /* Didn't find the region */
 293         if (i == lmb_rgn_lst->count)
 294                 return -1;
 295
 296         /* Check to see if we are removing entire region */
 297         if ((rgnbegin == base) && (rgnend == end)) {
 298                 lmb_remove_region(lmb_rgn_lst, i);
 299                 return 0;
 300         }
 301
 302         /* Check to see if region is matching at the front */
 303         if (rgnbegin == base) {
 304                 rgn[i].base = end + 1;
 305                 rgn[i].size -= size;
 306                 return 0;
 307         }
 308
 309         /* Check to see if the region is matching at the end */
 310         if (rgnend == end) {
 311                 rgn[i].size -= size;
 312                 return 0;
 313         }
 314
 315         /*
 316          * We need to split the entry -  adjust the current one to the
 317          * beginging of the hole and add the region after hole.
 318          */
 319         rgn[i].size = base - rgn[i].base;
 320         return lmb_add_region_flags(lmb_rgn_lst, end + 1, rgnend - end,
 321                                     rgn[i].flags);
 322 }
 323
 324 static long lmb_overlaps_region(struct alist *lmb_rgn_lst, phys_addr_t base,
 325                                 phys_size_t size)
 326 {
 327         unsigned long i;
 328         struct lmb_region *rgn = lmb_rgn_lst->data;
 329
 330         for (i = 0; i < lmb_rgn_lst->count; i++) {
 331                 phys_addr_t rgnbase = rgn[i].base;
 332                 phys_size_t rgnsize = rgn[i].size;
 333                 if (lmb_addrs_overlap(base, size, rgnbase, rgnsize))
 334                         break;
 335         }
 336
 337         return (i < lmb_rgn_lst->count) ? i : -1;
 338 }
 339
 340 static phys_addr_t lmb_align_down(phys_addr_t addr, phys_size_t size)
 341 {
 342         return addr & ~(size - 1);
 343 }
 344
 345 /*
 346  * IOVA LMB memory maps using lmb pointers instead of the global LMB memory map.
 347  */
 348
 349 int io_lmb_setup(struct lmb *io_lmb)
 350 {
 351         int ret;
 352
 353         ret = alist_init(&io_lmb->free_mem, sizeof(struct lmb_region),
 354                          (uint)LMB_ALIST_INITIAL_SIZE);
 355         if (!ret) {
 356                 log_debug("Unable to initialise the list for LMB free IOVA\n");
 357                 return -ENOMEM;
 358         }
 359
 360         ret = alist_init(&io_lmb->used_mem, sizeof(struct lmb_region),
 361                          (uint)LMB_ALIST_INITIAL_SIZE);
 362         if (!ret) {
 363                 log_debug("Unable to initialise the list for LMB used IOVA\n");
 364                 return -ENOMEM;
 365         }
 366
 367         io_lmb->test = false;
 368
 369         return 0;
 370 }
 371
 372 void io_lmb_teardown(struct lmb *io_lmb)
 373 {
 374         alist_uninit(&io_lmb->free_mem);
 375         alist_uninit(&io_lmb->used_mem);
 376 }
 377
 378 long io_lmb_add(struct lmb *io_lmb, phys_addr_t base, phys_size_t size)
 379 {
 380         return lmb_add_region_flags(&io_lmb->free_mem, base, size, LMB_NONE);
 381 }
 382
 383 /* derived and simplified from _lmb_alloc_base() */
 384 phys_addr_t io_lmb_alloc(struct lmb *io_lmb, phys_size_t size, ulong align)
 385 {
 386         long i, rgn;
 387         phys_addr_t base = 0;
 388         phys_addr_t res_base;
 389         struct lmb_region *lmb_used = io_lmb->used_mem.data;
 390         struct lmb_region *lmb_memory = io_lmb->free_mem.data;
 391
 392         for (i = io_lmb->free_mem.count - 1; i >= 0; i--) {
 393                 phys_addr_t lmbbase = lmb_memory[i].base;
 394                 phys_size_t lmbsize = lmb_memory[i].size;
 395
 396                 if (lmbsize < size)
 397                         continue;
 398                 base = lmb_align_down(lmbbase + lmbsize - size, align);
 399
 400                 while (base && lmbbase <= base) {
 401                         rgn = lmb_overlaps_region(&io_lmb->used_mem, base, size);
 402                         if (rgn < 0) {
 403                                 /* This area isn't reserved, take it */
 404                                 if (lmb_add_region_flags(&io_lmb->used_mem, base,
 405                                                          size, LMB_NONE) < 0)
 406                                         return 0;
 407
 408                                 return base;
 409                         }
 410
 411                         res_base = lmb_used[rgn].base;
 412                         if (res_base < size)
 413                                 break;
 414                         base = lmb_align_down(res_base - size, align);
 415                 }
 416         }
 417         return 0;
 418 }
 419
 420 long io_lmb_free(struct lmb *io_lmb, phys_addr_t base, phys_size_t size)
 421 {
 422         return _lmb_free(&io_lmb->used_mem, base, size);
 423 }
 424
 425 /*
 426  * Low level LMB functions are used to manage IOVA memory maps for the Apple
 427  * dart iommu. They must not access the global LMB memory map.
 428  * So keep the global LMB variable declaration unreachable from them.
 429  */
 430
 431 static struct lmb lmb;
 432
 433 static bool lmb_should_notify(enum lmb_flags flags)
 434 {
 435         return !lmb.test && !(flags & LMB_NONOTIFY) &&
 436                 CONFIG_IS_ENABLED(EFI_LOADER);
 437 }
 438
 439 static int lmb_map_update_notify(phys_addr_t addr, phys_size_t size, u8 op,
 440                                  enum lmb_flags flags)
 441 {
 442         u64 efi_addr;
 443         u64 pages;
 444         efi_status_t status;
 445
 446         if (op != MAP_OP_RESERVE && op != MAP_OP_FREE && op != MAP_OP_ADD) {
 447                 log_err("Invalid map update op received (%d)\n", op);
 448                 return -1;
 449         }
 450
 451         if (!lmb_should_notify(flags))
 452                 return 0;
 453
 454         efi_addr = (uintptr_t)map_sysmem(addr, 0);
 455         pages = efi_size_in_pages(size + (efi_addr & EFI_PAGE_MASK));
 456         efi_addr &= ~EFI_PAGE_MASK;
 457
 458         status = efi_add_memory_map_pg(efi_addr, pages,
 459                                        op == MAP_OP_RESERVE ?
 460                                        EFI_BOOT_SERVICES_DATA :
 461                                        EFI_CONVENTIONAL_MEMORY,
 462                                        false);
 463         if (status != EFI_SUCCESS) {
 464                 log_err("%s: LMB Map notify failure %lu\n", __func__,
 465                         status & ~EFI_ERROR_MASK);
 466                 return -1;
 467         }
 468         unmap_sysmem((void *)(uintptr_t)efi_addr);
 469
 470         return 0;
 471 }
 472
 473 static void lmb_print_region_flags(enum lmb_flags flags)
 474 {
 475         const char *flag_str[] = { "none", "no-map", "no-overwrite", "no-notify" };
 476         unsigned int pflags = flags &
 477                               (LMB_NOMAP | LMB_NOOVERWRITE | LMB_NONOTIFY);
 478
 479         if (flags != pflags) {
 480                 printf("invalid %#x\n", flags);
 481                 return;
 482         }
 483
 484         do {
 485                 int bitpos = pflags ? fls(pflags) - 1 : 0;
 486
 487                 printf("%s", flag_str[bitpos]);
 488                 pflags &= ~(1u << bitpos);
 489                 puts(pflags ? ", " : "\n");
 490         } while (pflags);
 491 }
 492
 493 static void lmb_dump_region(struct alist *lmb_rgn_lst, char *name)
 494 {
 495         struct lmb_region *rgn = lmb_rgn_lst->data;
 496         unsigned long long base, size, end;
 497         enum lmb_flags flags;
 498         int i;
 499
 500         printf(" %s.count = %#x\n", name, lmb_rgn_lst->count);
 501
 502         for (i = 0; i < lmb_rgn_lst->count; i++) {
 503                 base = rgn[i].base;
 504                 size = rgn[i].size;
 505                 end = base + size - 1;
 506                 flags = rgn[i].flags;
 507
 508                 printf(" %s[%d]\t[%#llx-%#llx], %#llx bytes, flags: ",
 509                        name, i, base, end, size);
 510                 lmb_print_region_flags(flags);
 511         }
 512 }
 513
 514 void lmb_dump_all_force(void)
 515 {
 516         printf("lmb_dump_all:\n");
 517         lmb_dump_region(&lmb.free_mem, "memory");
 518         lmb_dump_region(&lmb.used_mem, "reserved");
 519 }
 520
 521 void lmb_dump_all(void)
 522 {
 523 #ifdef DEBUG
 524         lmb_dump_all_force();
 525 #endif
 526 }
 527
 528 static void lmb_reserve_uboot_region(void)
 529 {
 530         int bank;
 531         ulong end, bank_end;
 532         phys_addr_t rsv_start;
 533
 534         rsv_start = gd->start_addr_sp - CONFIG_STACK_SIZE;
 535         end = gd->ram_top;
 536
 537         /*
 538          * Reserve memory from aligned address below the bottom of U-Boot stack
 539          * until end of RAM area to prevent LMB from overwriting that memory.
 540          */
 541         debug("## Current stack ends at 0x%08lx ", (ulong)rsv_start);
 542
 543         for (bank = 0; bank < CONFIG_NR_DRAM_BANKS; bank++) {
 544                 if (!gd->bd->bi_dram[bank].size ||
 545                     rsv_start < gd->bd->bi_dram[bank].start)
 546                         continue;
 547                 /* Watch out for RAM at end of address space! */
 548                 bank_end = gd->bd->bi_dram[bank].start +
 549                         gd->bd->bi_dram[bank].size - 1;
 550                 if (rsv_start > bank_end)
 551                         continue;
 552                 if (bank_end > end)
 553                         bank_end = end - 1;
 554
 555                 lmb_reserve_flags(rsv_start, bank_end - rsv_start + 1,
 556                                   LMB_NOOVERWRITE);
 557
 558                 if (gd->flags & GD_FLG_SKIP_RELOC)
 559                         lmb_reserve_flags((phys_addr_t)(uintptr_t)_start,
 560                                           gd->mon_len, LMB_NOOVERWRITE);
 561
 562                 break;
 563         }
 564 }
 565
 566 static void lmb_reserve_common(void *fdt_blob)
 567 {
 568         lmb_reserve_uboot_region();
 569
 570         if (CONFIG_IS_ENABLED(OF_LIBFDT) && fdt_blob)
 571                 boot_fdt_add_mem_rsv_regions(fdt_blob);
 572 }
 573
 574 static __maybe_unused void lmb_reserve_common_spl(void)
 575 {
 576         phys_addr_t rsv_start;
 577         phys_size_t rsv_size;
 578
 579         /*
 580          * Assume a SPL stack of 16KB. This must be
 581          * more than enough for the SPL stage.
 582          */
 583         if (IS_ENABLED(CONFIG_SPL_STACK_R_ADDR)) {
 584                 rsv_start = gd->start_addr_sp - 16384;
 585                 rsv_size = 16384;
 586                 lmb_reserve_flags(rsv_start, rsv_size, LMB_NOOVERWRITE);
 587         }
 588
 589         if (IS_ENABLED(CONFIG_SPL_SEPARATE_BSS)) {
 590                 /* Reserve the bss region */
 591                 rsv_start = (phys_addr_t)(uintptr_t)__bss_start;
 592                 rsv_size = (phys_addr_t)(uintptr_t)__bss_end -
 593                         (phys_addr_t)(uintptr_t)__bss_start;
 594                 lmb_reserve_flags(rsv_start, rsv_size, LMB_NOOVERWRITE);
 595         }
 596 }
 597
 598 /**
 599  * lmb_add_memory() - Add memory range for LMB allocations
 600  *
 601  * Add the entire available memory range to the pool of memory that
 602  * can be used by the LMB module for allocations.
 603  *
 604  * Return: None
 605  */
 606 void lmb_add_memory(void)
 607 {
 608         int i;
 609         phys_size_t size;
 610         u64 ram_top = gd->ram_top;
 611         struct bd_info *bd = gd->bd;
 612
 613         if (CONFIG_IS_ENABLED(LMB_ARCH_MEM_MAP))
 614                 return lmb_arch_add_memory();
 615
 616         /* Assume a 4GB ram_top if not defined */
 617         if (!ram_top)
 618                 ram_top = 0x100000000ULL;
 619
 620         for (i = 0; i < CONFIG_NR_DRAM_BANKS; i++) {
 621                 size = bd->bi_dram[i].size;
 622                 if (size) {
 623                         lmb_add(bd->bi_dram[i].start, size);
 624
 625                         /*
 626                          * Reserve memory above ram_top as
 627                          * no-overwrite so that it cannot be
 628                          * allocated
 629                          */
 630                         if (bd->bi_dram[i].start >= ram_top)
 631                                 lmb_reserve_flags(bd->bi_dram[i].start, size,
 632                                                   LMB_NOOVERWRITE);
 633                 }
 634         }
 635 }
 636
 637 static long lmb_add_region(struct alist *lmb_rgn_lst, phys_addr_t base,
 638                            phys_size_t size)
 639 {
 640         return lmb_add_region_flags(lmb_rgn_lst, base, size, LMB_NONE);
 641 }
 642
 643 /* This routine may be called with relocation disabled. */
 644 long lmb_add(phys_addr_t base, phys_size_t size)
 645 {
 646         long ret;
 647         struct alist *lmb_rgn_lst = &lmb.free_mem;
 648
 649         ret = lmb_add_region(lmb_rgn_lst, base, size);
 650         if (ret)
 651                 return ret;
 652
 653         return lmb_map_update_notify(base, size, MAP_OP_ADD, LMB_NONE);
 654 }
 655
 656 /**
 657  * lmb_free_flags() - Free up a region of memory
 658  * @base: Base Address of region to be freed
 659  * @size: Size of the region to be freed
 660  * @flags: Memory region attributes
 661  *
 662  * Free up a region of memory.
 663  *
 664  * Return: 0 if successful, -1 on failure
 665  */
 666 long lmb_free_flags(phys_addr_t base, phys_size_t size,
 667                     uint flags)
 668 {
 669         long ret;
 670
 671         ret = _lmb_free(&lmb.used_mem, base, size);
 672         if (ret < 0)
 673                 return ret;
 674
 675         return lmb_map_update_notify(base, size, MAP_OP_FREE, flags);
 676 }
 677
 678 long lmb_free(phys_addr_t base, phys_size_t size)
 679 {
 680         return lmb_free_flags(base, size, LMB_NONE);
 681 }
 682
 683 long lmb_reserve_flags(phys_addr_t base, phys_size_t size, enum lmb_flags flags)
 684 {
 685         long ret = 0;
 686         struct alist *lmb_rgn_lst = &lmb.used_mem;
 687
 688         ret = lmb_add_region_flags(lmb_rgn_lst, base, size, flags);
 689         if (ret)
 690                 return ret;
 691
 692         return lmb_map_update_notify(base, size, MAP_OP_RESERVE, flags);
 693 }
 694
 695 long lmb_reserve(phys_addr_t base, phys_size_t size)
 696 {
 697         return lmb_reserve_flags(base, size, LMB_NONE);
 698 }
 699
 700 static phys_addr_t _lmb_alloc_base(phys_size_t size, ulong align,
 701                                     phys_addr_t max_addr, enum lmb_flags flags)
 702 {
 703         int ret;
 704         long i, rgn;
 705         phys_addr_t base = 0;
 706         phys_addr_t res_base;
 707         struct lmb_region *lmb_used = lmb.used_mem.data;
 708         struct lmb_region *lmb_memory = lmb.free_mem.data;
 709
 710         for (i = lmb.free_mem.count - 1; i >= 0; i--) {
 711                 phys_addr_t lmbbase = lmb_memory[i].base;
 712                 phys_size_t lmbsize = lmb_memory[i].size;
 713
 714                 if (lmbsize < size)
 715                         continue;
 716                 if (max_addr == LMB_ALLOC_ANYWHERE)
 717                         base = lmb_align_down(lmbbase + lmbsize - size, align);
 718                 else if (lmbbase < max_addr) {
 719                         base = lmbbase + lmbsize;
 720                         if (base < lmbbase)
 721                                 base = -1;
 722                         base = min(base, max_addr);
 723                         base = lmb_align_down(base - size, align);
 724                 } else
 725                         continue;
 726
 727                 while (base && lmbbase <= base) {
 728                         rgn = lmb_overlaps_region(&lmb.used_mem, base, size);
 729                         if (rgn < 0) {
 730                                 /* This area isn't reserved, take it */
 731                                 if (lmb_add_region_flags(&lmb.used_mem, base,
 732                                                          size, flags))
 733                                         return 0;
 734
 735                                 ret = lmb_map_update_notify(base, size,
 736                                                             MAP_OP_RESERVE,
 737                                                             flags);
 738                                 if (ret)
 739                                         return ret;
 740
 741                                 return base;
 742                         }
 743
 744                         res_base = lmb_used[rgn].base;
 745                         if (res_base < size)
 746                                 break;
 747                         base = lmb_align_down(res_base - size, align);
 748                 }
 749         }
 750         return 0;
 751 }
 752
 753 phys_addr_t lmb_alloc(phys_size_t size, ulong align)
 754 {
 755         return lmb_alloc_base(size, align, LMB_ALLOC_ANYWHERE);
 756 }
 757
 758 phys_addr_t lmb_alloc_base(phys_size_t size, ulong align, phys_addr_t max_addr)
 759 {
 760         phys_addr_t alloc;
 761
 762         alloc = _lmb_alloc_base(size, align, max_addr, LMB_NONE);
 763
 764         if (alloc == 0)
 765                 printf("ERROR: Failed to allocate 0x%lx bytes below 0x%lx.\n",
 766                        (ulong)size, (ulong)max_addr);
 767
 768         return alloc;
 769 }
 770
 771 /**
 772  * lmb_alloc_base_flags() - Allocate specified memory region with specified attributes
 773  * @size: Size of the region requested
 774  * @align: Alignment of the memory region requested
 775  * @max_addr: Maximum address of the requested region
 776  * @flags: Memory region attributes to be set
 777  *
 778  * Allocate a region of memory with the attributes specified through the
 779  * parameter. The max_addr parameter is used to specify the maximum address
 780  * below which the requested region should be allocated.
 781  *
 782  * Return: base address on success, 0 on error
 783  */
 784 phys_addr_t lmb_alloc_base_flags(phys_size_t size, ulong align,
 785                                  phys_addr_t max_addr, uint flags)
 786 {
 787         phys_addr_t alloc;
 788
 789         alloc = _lmb_alloc_base(size, align, max_addr, flags);
 790
 791         if (alloc == 0)
 792                 printf("ERROR: Failed to allocate 0x%lx bytes below 0x%lx.\n",
 793                        (ulong)size, (ulong)max_addr);
 794
 795         return alloc;
 796 }
 797
 798 static phys_addr_t _lmb_alloc_addr(phys_addr_t base, phys_size_t size,
 799                                     enum lmb_flags flags)
 800 {
 801         long rgn;
 802         struct lmb_region *lmb_memory = lmb.free_mem.data;
 803
 804         /* Check if the requested address is in one of the memory regions */
 805         rgn = lmb_overlaps_region(&lmb.free_mem, base, size);
 806         if (rgn >= 0) {
 807                 /*
 808                  * Check if the requested end address is in the same memory
 809                  * region we found.
 810                  */
 811                 if (lmb_addrs_overlap(lmb_memory[rgn].base,
 812                                       lmb_memory[rgn].size,
 813                                       base + size - 1, 1)) {
 814                         /* ok, reserve the memory */
 815                         if (lmb_reserve_flags(base, size, flags) >= 0)
 816                                 return base;
 817                 }
 818         }
 819
 820         return 0;
 821 }
 822
 823 /*
 824  * Try to allocate a specific address range: must be in defined memory but not
 825  * reserved
 826  */
 827 phys_addr_t lmb_alloc_addr(phys_addr_t base, phys_size_t size)
 828 {
 829         return _lmb_alloc_addr(base, size, LMB_NONE);
 830 }
 831
 832 /**
 833  * lmb_alloc_addr_flags() - Allocate specified memory address with specified attributes
 834  * @base: Base Address requested
 835  * @size: Size of the region requested
 836  * @flags: Memory region attributes to be set
 837  *
 838  * Allocate a region of memory with the attributes specified through the
 839  * parameter. The base parameter is used to specify the base address
 840  * of the requested region.
 841  *
 842  * Return: base address on success, 0 on error
 843  */
 844 phys_addr_t lmb_alloc_addr_flags(phys_addr_t base, phys_size_t size,
 845                                  uint flags)
 846 {
 847         return _lmb_alloc_addr(base, size, flags);
 848 }
 849
 850 /* Return number of bytes from a given address that are free */
 851 phys_size_t lmb_get_free_size(phys_addr_t addr)
 852 {
 853         int i;
 854         long rgn;
 855         struct lmb_region *lmb_used = lmb.used_mem.data;
 856         struct lmb_region *lmb_memory = lmb.free_mem.data;
 857
 858         /* check if the requested address is in the memory regions */
 859         rgn = lmb_overlaps_region(&lmb.free_mem, addr, 1);
 860         if (rgn >= 0) {
 861                 for (i = 0; i < lmb.used_mem.count; i++) {
 862                         if (addr < lmb_used[i].base) {
 863                                 /* first reserved range > requested address */
 864                                 return lmb_used[i].base - addr;
 865                         }
 866                         if (lmb_used[i].base +
 867                             lmb_used[i].size > addr) {
 868                                 /* requested addr is in this reserved range */
 869                                 return 0;
 870                         }
 871                 }
 872                 /* if we come here: no reserved ranges above requested addr */
 873                 return lmb_memory[lmb.free_mem.count - 1].base +
 874                        lmb_memory[lmb.free_mem.count - 1].size - addr;
 875         }
 876         return 0;
 877 }
 878
 879 int lmb_is_reserved_flags(phys_addr_t addr, int flags)
 880 {
 881         int i;
 882         struct lmb_region *lmb_used = lmb.used_mem.data;
 883
 884         for (i = 0; i < lmb.used_mem.count; i++) {
 885                 phys_addr_t upper = lmb_used[i].base +
 886                         lmb_used[i].size - 1;
 887                 if (addr >= lmb_used[i].base && addr <= upper)
 888                         return (lmb_used[i].flags & flags) == flags;
 889         }
 890         return 0;
 891 }
 892
 893 static int lmb_setup(bool test)
 894 {
 895         bool ret;
 896
 897         ret = alist_init(&lmb.free_mem, sizeof(struct lmb_region),
 898                          (uint)LMB_ALIST_INITIAL_SIZE);
 899         if (!ret) {
 900                 log_debug("Unable to initialise the list for LMB free memory\n");
 901                 return -ENOMEM;
 902         }
 903
 904         ret = alist_init(&lmb.used_mem, sizeof(struct lmb_region),
 905                          (uint)LMB_ALIST_INITIAL_SIZE);
 906         if (!ret) {
 907                 log_debug("Unable to initialise the list for LMB used memory\n");
 908                 return -ENOMEM;
 909         }
 910
 911         lmb.test = test;
 912
 913         return 0;
 914 }
 915
 916 /**
 917  * lmb_init() - Initialise the LMB module
 918  *
 919  * Initialise the LMB lists needed for keeping the memory map. There
 920  * are two lists, in form of alloced list data structure. One for the
 921  * available memory, and one for the used memory. Initialise the two
 922  * lists as part of board init. Add memory to the available memory
 923  * list and reserve common areas by adding them to the used memory
 924  * list.
 925  *
 926  * Return: 0 on success, -ve on error
 927  */
 928 int lmb_init(void)
 929 {
 930         int ret;
 931
 932         ret = lmb_setup(false);
 933         if (ret) {
 934                 log_info("Unable to init LMB\n");
 935                 return ret;
 936         }
 937
 938         lmb_add_memory();
 939
 940         /* Reserve the U-Boot image region once U-Boot has relocated */
 941         if (xpl_phase() == PHASE_SPL)
 942                 lmb_reserve_common_spl();
 943         else if (xpl_phase() == PHASE_BOARD_R)
 944                 lmb_reserve_common((void *)gd->fdt_blob);
 945
 946         return 0;
 947 }
 948
 949 struct lmb *lmb_get(void)
 950 {
 951         return &lmb;
 952 }
 953
 954 #if CONFIG_IS_ENABLED(UNIT_TEST)
 955 int lmb_push(struct lmb *store)
 956 {
 957         int ret;
 958
 959         *store = lmb;
 960         ret = lmb_setup(true);
 961         if (ret)
 962                 return ret;
 963
 964         return 0;
 965 }
 966
 967 void lmb_pop(struct lmb *store)
 968 {
 969         alist_uninit(&lmb.free_mem);
 970         alist_uninit(&lmb.used_mem);
 971         lmb = *store;
 972 }
 973 #endif /* UNIT_TEST */