common/bootstage.c

   1 // SPDX-License-Identifier: GPL-2.0+
   2 /*
   3  * Copyright (c) 2011, Google Inc. All rights reserved.
   4  */
   5
   6 /*
   7  * This module records the progress of boot and arbitrary commands, and
   8  * permits accurate timestamping of each.
   9  */
  10
  11 #define LOG_CATEGORY    LOGC_BOOT
  12
  13 #include <bootstage.h>
  14 #include <hang.h>
  15 #include <log.h>
  16 #include <malloc.h>
  17 #include <sort.h>
  18 #include <spl.h>
  19 #include <asm/global_data.h>
  20 #include <linux/compiler.h>
  21 #include <linux/libfdt.h>
  22
  23 DECLARE_GLOBAL_DATA_PTR;
  24
  25 enum {
  26         RECORD_COUNT = CONFIG_VAL(BOOTSTAGE_RECORD_COUNT),
  27 };
  28
  29 struct bootstage_record {
  30         ulong time_us;
  31         uint32_t start_us;
  32         const char *name;
  33         int flags;              /* see enum bootstage_flags */
  34         enum bootstage_id id;
  35 };
  36
  37 struct bootstage_data {
  38         uint rec_count;
  39         uint next_id;
  40         struct bootstage_record record[RECORD_COUNT];
  41 };
  42
  43 enum {
  44         BOOTSTAGE_VERSION       = 0,
  45         BOOTSTAGE_MAGIC         = 0xb00757a3,
  46         BOOTSTAGE_DIGITS        = 9,
  47 };
  48
  49 struct bootstage_hdr {
  50         u32 version;            /* BOOTSTAGE_VERSION */
  51         u32 count;              /* Number of records */
  52         u32 size;               /* Total data size (non-zero if valid) */
  53         u32 magic;              /* Magic number */
  54         u32 next_id;            /* Next ID to use for bootstage */
  55 };
  56
  57 int bootstage_relocate(void *to)
  58 {
  59         struct bootstage_data *data;
  60         int i;
  61         char *ptr;
  62
  63         debug("Copying bootstage from %p to %p\n", gd->bootstage, to);
  64         memcpy(to, gd->bootstage, sizeof(struct bootstage_data));
  65         data = gd->bootstage = to;
  66
  67         /* Figure out where to relocate the strings to */
  68         ptr = (char *)(data + 1);
  69
  70         /*
  71          * Duplicate all strings.  They may point to an old location in the
  72          * program .text section that can eventually get trashed.
  73          */
  74         debug("Relocating %d records\n", data->rec_count);
  75         for (i = 0; i < data->rec_count; i++) {
  76                 const char *from = data->record[i].name;
  77
  78                 strcpy(ptr, from);
  79                 data->record[i].name = ptr;
  80                 ptr += strlen(ptr) + 1;
  81         }
  82
  83         return 0;
  84 }
  85
  86 struct bootstage_record *find_id(struct bootstage_data *data,
  87                                  enum bootstage_id id)
  88 {
  89         struct bootstage_record *rec;
  90         struct bootstage_record *end;
  91
  92         for (rec = data->record, end = rec + data->rec_count; rec < end;
  93              rec++) {
  94                 if (rec->id == id)
  95                         return rec;
  96         }
  97
  98         return NULL;
  99 }
 100
 101 struct bootstage_record *ensure_id(struct bootstage_data *data,
 102                                    enum bootstage_id id)
 103 {
 104         struct bootstage_record *rec;
 105
 106         rec = find_id(data, id);
 107         if (!rec && data->rec_count < RECORD_COUNT) {
 108                 rec = &data->record[data->rec_count++];
 109                 rec->id = id;
 110                 return rec;
 111         }
 112
 113         return rec;
 114 }
 115
 116 ulong bootstage_add_record(enum bootstage_id id, const char *name,
 117                            int flags, ulong mark)
 118 {
 119         struct bootstage_data *data = gd->bootstage;
 120         struct bootstage_record *rec;
 121
 122         /*
 123          * initf_bootstage() is called very early during boot but since hang()
 124          * calls bootstage_error() we can be called before bootstage is set up.
 125          * Add a check to avoid this.
 126          */
 127         if (!data)
 128                 return mark;
 129         if (flags & BOOTSTAGEF_ALLOC)
 130                 id = data->next_id++;
 131
 132         /* Only record the first event for each */
 133         rec = find_id(data, id);
 134         if (!rec) {
 135                 if (data->rec_count < RECORD_COUNT) {
 136                         rec = &data->record[data->rec_count++];
 137                         rec->time_us = mark;
 138                         rec->name = name;
 139                         rec->flags = flags;
 140                         rec->id = id;
 141                 } else {
 142                         log_warning("Bootstage space exhausted\n");
 143                 }
 144         }
 145
 146         /* Tell the board about this progress */
 147         show_boot_progress(flags & BOOTSTAGEF_ERROR ? -id : id);
 148
 149         return mark;
 150 }
 151
 152 ulong bootstage_error_name(enum bootstage_id id, const char *name)
 153 {
 154         return bootstage_add_record(id, name, BOOTSTAGEF_ERROR,
 155                                     timer_get_boot_us());
 156 }
 157
 158 ulong bootstage_mark_name(enum bootstage_id id, const char *name)
 159 {
 160         int flags = 0;
 161
 162         if (id == BOOTSTAGE_ID_ALLOC)
 163                 flags = BOOTSTAGEF_ALLOC;
 164
 165         return bootstage_add_record(id, name, flags, timer_get_boot_us());
 166 }
 167
 168 ulong bootstage_mark_code(const char *file, const char *func, int linenum)
 169 {
 170         char *str, *p;
 171         __maybe_unused char *end;
 172         int len = 0;
 173
 174         /* First work out the length we need to allocate */
 175         if (linenum != -1)
 176                 len = 11;
 177         if (func)
 178                 len += strlen(func);
 179         if (file)
 180                 len += strlen(file);
 181
 182         str = malloc(len + 1);
 183         p = str;
 184         end = p + len;
 185         if (file)
 186                 p += snprintf(p, end - p, "%s,", file);
 187         if (linenum != -1)
 188                 p += snprintf(p, end - p, "%d", linenum);
 189         if (func)
 190                 p += snprintf(p, end - p, ": %s", func);
 191
 192         return bootstage_mark_name(BOOTSTAGE_ID_ALLOC, str);
 193 }
 194
 195 uint32_t bootstage_start(enum bootstage_id id, const char *name)
 196 {
 197         struct bootstage_data *data = gd->bootstage;
 198         struct bootstage_record *rec = ensure_id(data, id);
 199         ulong start_us = timer_get_boot_us();
 200
 201         if (rec) {
 202                 rec->start_us = start_us;
 203                 rec->name = name;
 204         }
 205
 206         return start_us;
 207 }
 208
 209 uint32_t bootstage_accum(enum bootstage_id id)
 210 {
 211         struct bootstage_data *data = gd->bootstage;
 212         struct bootstage_record *rec = ensure_id(data, id);
 213         uint32_t duration;
 214
 215         if (!rec)
 216                 return 0;
 217         duration = (uint32_t)timer_get_boot_us() - rec->start_us;
 218         rec->time_us += duration;
 219
 220         return duration;
 221 }
 222
 223 /**
 224  * Get a record name as a printable string
 225  *
 226  * @param buf   Buffer to put name if needed
 227  * @param len   Length of buffer
 228  * @param rec   Boot stage record to get the name from
 229  * Return: pointer to name, either from the record or pointing to buf.
 230  */
 231 static const char *get_record_name(char *buf, int len,
 232                                    const struct bootstage_record *rec)
 233 {
 234         if (rec->name)
 235                 return rec->name;
 236         else if (rec->id >= BOOTSTAGE_ID_USER)
 237                 snprintf(buf, len, "user_%d", rec->id - BOOTSTAGE_ID_USER);
 238         else
 239                 snprintf(buf, len, "id=%d", rec->id);
 240
 241         return buf;
 242 }
 243
 244 static uint32_t print_time_record(struct bootstage_record *rec, uint32_t prev)
 245 {
 246         char buf[20];
 247
 248         if (prev == -1U) {
 249                 printf("%11s", "");
 250                 print_grouped_ull(rec->time_us, BOOTSTAGE_DIGITS);
 251         } else {
 252                 print_grouped_ull(rec->time_us, BOOTSTAGE_DIGITS);
 253                 print_grouped_ull(rec->time_us - prev, BOOTSTAGE_DIGITS);
 254         }
 255         printf("  %s\n", get_record_name(buf, sizeof(buf), rec));
 256
 257         return rec->time_us;
 258 }
 259
 260 static int h_compare_record(const void *r1, const void *r2)
 261 {
 262         const struct bootstage_record *rec1 = r1, *rec2 = r2;
 263
 264         return rec1->time_us > rec2->time_us ? 1 : -1;
 265 }
 266
 267 #ifdef CONFIG_OF_LIBFDT
 268 /**
 269  * Add all bootstage timings to a device tree.
 270  *
 271  * @param blob  Device tree blob
 272  * Return: 0 on success, != 0 on failure.
 273  */
 274 static int add_bootstages_devicetree(struct fdt_header *blob)
 275 {
 276         struct bootstage_data *data = gd->bootstage;
 277         int bootstage;
 278         char buf[20];
 279         int recnum;
 280         int i;
 281
 282         if (!blob)
 283                 return 0;
 284
 285         /*
 286          * Create the node for bootstage.
 287          * The address of flat device tree is set up by the command bootm.
 288          */
 289         bootstage = fdt_add_subnode(blob, 0, "bootstage");
 290         if (bootstage < 0)
 291                 return -EINVAL;
 292
 293         /*
 294          * Insert the timings to the device tree in the reverse order so
 295          * that they can be printed in the Linux kernel in the right order.
 296          */
 297         for (recnum = data->rec_count - 1, i = 0; recnum >= 0; recnum--, i++) {
 298                 struct bootstage_record *rec = &data->record[recnum];
 299                 int node;
 300
 301                 if (rec->id != BOOTSTAGE_ID_AWAKE && rec->time_us == 0)
 302                         continue;
 303
 304                 node = fdt_add_subnode(blob, bootstage, simple_itoa(i));
 305                 if (node < 0)
 306                         break;
 307
 308                 /* add properties to the node. */
 309                 if (fdt_setprop_string(blob, node, "name",
 310                                        get_record_name(buf, sizeof(buf), rec)))
 311                         return -EINVAL;
 312
 313                 /* Check if this is a 'mark' or 'accum' record */
 314                 if (fdt_setprop_cell(blob, node,
 315                                 rec->start_us ? "accum" : "mark",
 316                                 rec->time_us))
 317                         return -EINVAL;
 318         }
 319
 320         return 0;
 321 }
 322
 323 int bootstage_fdt_add_report(void)
 324 {
 325         if (add_bootstages_devicetree(working_fdt))
 326                 puts("bootstage: Failed to add to device tree\n");
 327
 328         return 0;
 329 }
 330 #endif
 331
 332 void bootstage_report(void)
 333 {
 334         struct bootstage_data *data = gd->bootstage;
 335         struct bootstage_record *rec = data->record;
 336         uint32_t prev;
 337         int i;
 338
 339         printf("Timer summary in microseconds (%d records):\n",
 340                data->rec_count);
 341         printf("%11s%11s  %s\n", "Mark", "Elapsed", "Stage");
 342
 343         prev = print_time_record(rec, 0);
 344
 345         /* Sort records by increasing time */
 346         qsort(data->record, data->rec_count, sizeof(*rec), h_compare_record);
 347
 348         for (i = 1, rec++; i < data->rec_count; i++, rec++) {
 349                 if (rec->id && !rec->start_us)
 350                         prev = print_time_record(rec, prev);
 351         }
 352         if (data->rec_count > RECORD_COUNT)
 353                 printf("Overflowed internal boot id table by %d entries\n"
 354                        "Please increase CONFIG_(SPL_TPL_)BOOTSTAGE_RECORD_COUNT\n",
 355                        data->rec_count - RECORD_COUNT);
 356
 357         puts("\nAccumulated time:\n");
 358         for (i = 0, rec = data->record; i < data->rec_count; i++, rec++) {
 359                 if (rec->start_us)
 360                         prev = print_time_record(rec, -1);
 361         }
 362 }
 363
 364 /**
 365  * Append data to a memory buffer
 366  *
 367  * Write data to the buffer if there is space. Whether there is space or not,
 368  * the buffer pointer is incremented.
 369  *
 370  * @param ptrp  Pointer to buffer, updated by this function
 371  * @param end   Pointer to end of buffer
 372  * @param data  Data to write to buffer
 373  * @param size  Size of data
 374  */
 375 static void append_data(char **ptrp, char *end, const void *data, int size)
 376 {
 377         char *ptr = *ptrp;
 378
 379         *ptrp += size;
 380         if (*ptrp > end)
 381                 return;
 382
 383         memcpy(ptr, data, size);
 384 }
 385
 386 int bootstage_stash(void *base, int size)
 387 {
 388         const struct bootstage_data *data = gd->bootstage;
 389         struct bootstage_hdr *hdr = (struct bootstage_hdr *)base;
 390         const struct bootstage_record *rec;
 391         char buf[20];
 392         char *ptr = base, *end = ptr + size;
 393         int i;
 394
 395         if (hdr + 1 > (struct bootstage_hdr *)end) {
 396                 debug("%s: Not enough space for bootstage hdr\n", __func__);
 397                 return -ENOSPC;
 398         }
 399
 400         /* Write an arbitrary version number */
 401         hdr->version = BOOTSTAGE_VERSION;
 402
 403         hdr->count = data->rec_count;
 404         hdr->size = 0;
 405         hdr->magic = BOOTSTAGE_MAGIC;
 406         hdr->next_id = data->next_id;
 407         ptr += sizeof(*hdr);
 408
 409         /* Write the records, silently stopping when we run out of space */
 410         for (rec = data->record, i = 0; i < data->rec_count; i++, rec++)
 411                 append_data(&ptr, end, rec, sizeof(*rec));
 412
 413         /* Write the name strings */
 414         for (rec = data->record, i = 0; i < data->rec_count; i++, rec++) {
 415                 const char *name;
 416
 417                 name = get_record_name(buf, sizeof(buf), rec);
 418                 append_data(&ptr, end, name, strlen(name) + 1);
 419         }
 420
 421         /* Check for buffer overflow */
 422         if (ptr > end) {
 423                 debug("%s: Not enough space for bootstage stash\n", __func__);
 424                 return -ENOSPC;
 425         }
 426
 427         /* Update total data size */
 428         hdr->size = ptr - (char *)base;
 429         debug("Stashed %d records\n", hdr->count);
 430
 431         return 0;
 432 }
 433
 434 int bootstage_unstash(const void *base, int size)
 435 {
 436         const struct bootstage_hdr *hdr = (struct bootstage_hdr *)base;
 437         struct bootstage_data *data = gd->bootstage;
 438         const char *ptr = base, *end = ptr + size;
 439         struct bootstage_record *rec;
 440         uint rec_size;
 441         int i;
 442
 443         if (size == -1)
 444                 end = (char *)(~(uintptr_t)0);
 445
 446         if (hdr + 1 > (struct bootstage_hdr *)end) {
 447                 debug("%s: Not enough space for bootstage hdr\n", __func__);
 448                 return -EPERM;
 449         }
 450
 451         if (hdr->magic != BOOTSTAGE_MAGIC) {
 452                 debug("%s: Invalid bootstage magic\n", __func__);
 453                 return -ENOENT;
 454         }
 455
 456         if (ptr + hdr->size > end) {
 457                 debug("%s: Bootstage data runs past buffer end\n", __func__);
 458                 return -ENOSPC;
 459         }
 460
 461         if (hdr->count * sizeof(*rec) > hdr->size) {
 462                 debug("%s: Bootstage has %d records needing %lu bytes, but "
 463                         "only %d bytes is available\n", __func__, hdr->count,
 464                       (ulong)hdr->count * sizeof(*rec), hdr->size);
 465                 return -ENOSPC;
 466         }
 467
 468         if (hdr->version != BOOTSTAGE_VERSION) {
 469                 debug("%s: Bootstage data version %#0x unrecognised\n",
 470                       __func__, hdr->version);
 471                 return -EINVAL;
 472         }
 473
 474         if (data->rec_count + hdr->count > RECORD_COUNT) {
 475                 debug("%s: Bootstage has %d records, we have space for %d\n"
 476                         "Please increase CONFIG_(SPL_)BOOTSTAGE_RECORD_COUNT\n",
 477                       __func__, hdr->count, RECORD_COUNT - data->rec_count);
 478                 return -ENOSPC;
 479         }
 480
 481         ptr += sizeof(*hdr);
 482
 483         /* Read the records */
 484         rec_size = hdr->count * sizeof(*data->record);
 485         memcpy(data->record + data->rec_count, ptr, rec_size);
 486
 487         /* Read the name strings */
 488         ptr += rec_size;
 489         for (rec = data->record + data->next_id, i = 0; i < hdr->count;
 490              i++, rec++) {
 491                 rec->name = ptr;
 492                 if (spl_phase() == PHASE_SPL)
 493                         rec->name = strdup(ptr);
 494
 495                 /* Assume no data corruption here */
 496                 ptr += strlen(ptr) + 1;
 497         }
 498
 499         /* Mark the records as read */
 500         data->rec_count += hdr->count;
 501         data->next_id = hdr->next_id;
 502         debug("Unstashed %d records\n", hdr->count);
 503
 504         return 0;
 505 }
 506
 507 #if IS_ENABLED(CONFIG_BOOTSTAGE_STASH)
 508 int _bootstage_stash_default(void)
 509 {
 510         return bootstage_stash(map_sysmem(CONFIG_BOOTSTAGE_STASH_ADDR, 0),
 511                                CONFIG_BOOTSTAGE_STASH_SIZE);
 512 }
 513
 514 int _bootstage_unstash_default(void)
 515 {
 516         const void *stash = map_sysmem(CONFIG_BOOTSTAGE_STASH_ADDR,
 517                                        CONFIG_BOOTSTAGE_STASH_SIZE);
 518
 519         return bootstage_unstash(stash, CONFIG_BOOTSTAGE_STASH_SIZE);
 520 }
 521 #endif
 522
 523 int bootstage_get_size(void)
 524 {
 525         struct bootstage_data *data = gd->bootstage;
 526         struct bootstage_record *rec;
 527         int size;
 528         int i;
 529
 530         size = sizeof(struct bootstage_data);
 531         for (rec = data->record, i = 0; i < data->rec_count;
 532              i++, rec++)
 533                 size += strlen(rec->name) + 1;
 534
 535         return size;
 536 }
 537
 538 int bootstage_init(bool first)
 539 {
 540         struct bootstage_data *data;
 541         int size = sizeof(struct bootstage_data);
 542
 543         gd->bootstage = (struct bootstage_data *)malloc(size);
 544         if (!gd->bootstage)
 545                 return -ENOMEM;
 546         data = gd->bootstage;
 547         memset(data, '\0', size);
 548         if (first) {
 549                 data->next_id = BOOTSTAGE_ID_USER;
 550                 bootstage_add_record(BOOTSTAGE_ID_AWAKE, "reset", 0, 0);
 551         }
 552
 553         return 0;
 554 }