tools/lib/bpf/elf.c

   1 // SPDX-License-Identifier: (LGPL-2.1 OR BSD-2-Clause)
   2
   3 #ifndef _GNU_SOURCE
   4 #define _GNU_SOURCE
   5 #endif
   6 #include <libelf.h>
   7 #include <gelf.h>
   8 #include <fcntl.h>
   9 #include <linux/kernel.h>
  10
  11 #include "libbpf_internal.h"
  12 #include "str_error.h"
  13
  14 /* A SHT_GNU_versym section holds 16-bit words. This bit is set if
  15  * the symbol is hidden and can only be seen when referenced using an
  16  * explicit version number. This is a GNU extension.
  17  */
  18 #define VERSYM_HIDDEN   0x8000
  19
  20 /* This is the mask for the rest of the data in a word read from a
  21  * SHT_GNU_versym section.
  22  */
  23 #define VERSYM_VERSION  0x7fff
  24
  25 int elf_open(const char *binary_path, struct elf_fd *elf_fd)
  26 {
  27         int fd, ret;
  28         Elf *elf;
  29
  30         elf_fd->elf = NULL;
  31         elf_fd->fd = -1;
  32
  33         if (elf_version(EV_CURRENT) == EV_NONE) {
  34                 pr_warn("elf: failed to init libelf for %s\n", binary_path);
  35                 return -LIBBPF_ERRNO__LIBELF;
  36         }
  37         fd = open(binary_path, O_RDONLY | O_CLOEXEC);
  38         if (fd < 0) {
  39                 ret = -errno;
  40                 pr_warn("elf: failed to open %s: %s\n", binary_path, errstr(ret));
  41                 return ret;
  42         }
  43         elf = elf_begin(fd, ELF_C_READ_MMAP, NULL);
  44         if (!elf) {
  45                 pr_warn("elf: could not read elf from %s: %s\n", binary_path, elf_errmsg(-1));
  46                 close(fd);
  47                 return -LIBBPF_ERRNO__FORMAT;
  48         }
  49         elf_fd->fd = fd;
  50         elf_fd->elf = elf;
  51         return 0;
  52 }
  53
  54 void elf_close(struct elf_fd *elf_fd)
  55 {
  56         if (!elf_fd)
  57                 return;
  58         elf_end(elf_fd->elf);
  59         close(elf_fd->fd);
  60 }
  61
  62 /* Return next ELF section of sh_type after scn, or first of that type if scn is NULL. */
  63 static Elf_Scn *elf_find_next_scn_by_type(Elf *elf, int sh_type, Elf_Scn *scn)
  64 {
  65         while ((scn = elf_nextscn(elf, scn)) != NULL) {
  66                 GElf_Shdr sh;
  67
  68                 if (!gelf_getshdr(scn, &sh))
  69                         continue;
  70                 if (sh.sh_type == sh_type)
  71                         return scn;
  72         }
  73         return NULL;
  74 }
  75
  76 struct elf_sym {
  77         const char *name;
  78         GElf_Sym sym;
  79         GElf_Shdr sh;
  80         int ver;
  81         bool hidden;
  82 };
  83
  84 struct elf_sym_iter {
  85         Elf *elf;
  86         Elf_Data *syms;
  87         Elf_Data *versyms;
  88         Elf_Data *verdefs;
  89         size_t nr_syms;
  90         size_t strtabidx;
  91         size_t verdef_strtabidx;
  92         size_t next_sym_idx;
  93         struct elf_sym sym;
  94         int st_type;
  95 };
  96
  97 static int elf_sym_iter_new(struct elf_sym_iter *iter,
  98                             Elf *elf, const char *binary_path,
  99                             int sh_type, int st_type)
 100 {
 101         Elf_Scn *scn = NULL;
 102         GElf_Ehdr ehdr;
 103         GElf_Shdr sh;
 104
 105         memset(iter, 0, sizeof(*iter));
 106
 107         if (!gelf_getehdr(elf, &ehdr)) {
 108                 pr_warn("elf: failed to get ehdr from %s: %s\n", binary_path, elf_errmsg(-1));
 109                 return -EINVAL;
 110         }
 111
 112         scn = elf_find_next_scn_by_type(elf, sh_type, NULL);
 113         if (!scn) {
 114                 pr_debug("elf: failed to find symbol table ELF sections in '%s'\n",
 115                          binary_path);
 116                 return -ENOENT;
 117         }
 118
 119         if (!gelf_getshdr(scn, &sh))
 120                 return -EINVAL;
 121
 122         iter->strtabidx = sh.sh_link;
 123         iter->syms = elf_getdata(scn, 0);
 124         if (!iter->syms) {
 125                 pr_warn("elf: failed to get symbols for symtab section in '%s': %s\n",
 126                         binary_path, elf_errmsg(-1));
 127                 return -EINVAL;
 128         }
 129         iter->nr_syms = iter->syms->d_size / sh.sh_entsize;
 130         iter->elf = elf;
 131         iter->st_type = st_type;
 132
 133         /* Version symbol table is meaningful to dynsym only */
 134         if (sh_type != SHT_DYNSYM)
 135                 return 0;
 136
 137         scn = elf_find_next_scn_by_type(elf, SHT_GNU_versym, NULL);
 138         if (!scn)
 139                 return 0;
 140         iter->versyms = elf_getdata(scn, 0);
 141
 142         scn = elf_find_next_scn_by_type(elf, SHT_GNU_verdef, NULL);
 143         if (!scn)
 144                 return 0;
 145
 146         iter->verdefs = elf_getdata(scn, 0);
 147         if (!iter->verdefs || !gelf_getshdr(scn, &sh)) {
 148                 pr_warn("elf: failed to get verdef ELF section in '%s'\n", binary_path);
 149                 return -EINVAL;
 150         }
 151         iter->verdef_strtabidx = sh.sh_link;
 152
 153         return 0;
 154 }
 155
 156 static struct elf_sym *elf_sym_iter_next(struct elf_sym_iter *iter)
 157 {
 158         struct elf_sym *ret = &iter->sym;
 159         GElf_Sym *sym = &ret->sym;
 160         const char *name = NULL;
 161         GElf_Versym versym;
 162         Elf_Scn *sym_scn;
 163         size_t idx;
 164
 165         for (idx = iter->next_sym_idx; idx < iter->nr_syms; idx++) {
 166                 if (!gelf_getsym(iter->syms, idx, sym))
 167                         continue;
 168                 if (GELF_ST_TYPE(sym->st_info) != iter->st_type)
 169                         continue;
 170                 name = elf_strptr(iter->elf, iter->strtabidx, sym->st_name);
 171                 if (!name)
 172                         continue;
 173                 sym_scn = elf_getscn(iter->elf, sym->st_shndx);
 174                 if (!sym_scn)
 175                         continue;
 176                 if (!gelf_getshdr(sym_scn, &ret->sh))
 177                         continue;
 178
 179                 iter->next_sym_idx = idx + 1;
 180                 ret->name = name;
 181                 ret->ver = 0;
 182                 ret->hidden = false;
 183
 184                 if (iter->versyms) {
 185                         if (!gelf_getversym(iter->versyms, idx, &versym))
 186                                 continue;
 187                         ret->ver = versym & VERSYM_VERSION;
 188                         ret->hidden = versym & VERSYM_HIDDEN;
 189                 }
 190                 return ret;
 191         }
 192
 193         return NULL;
 194 }
 195
 196 static const char *elf_get_vername(struct elf_sym_iter *iter, int ver)
 197 {
 198         GElf_Verdaux verdaux;
 199         GElf_Verdef verdef;
 200         int offset;
 201
 202         if (!iter->verdefs)
 203                 return NULL;
 204
 205         offset = 0;
 206         while (gelf_getverdef(iter->verdefs, offset, &verdef)) {
 207                 if (verdef.vd_ndx != ver) {
 208                         if (!verdef.vd_next)
 209                                 break;
 210
 211                         offset += verdef.vd_next;
 212                         continue;
 213                 }
 214
 215                 if (!gelf_getverdaux(iter->verdefs, offset + verdef.vd_aux, &verdaux))
 216                         break;
 217
 218                 return elf_strptr(iter->elf, iter->verdef_strtabidx, verdaux.vda_name);
 219
 220         }
 221         return NULL;
 222 }
 223
 224 static bool symbol_match(struct elf_sym_iter *iter, int sh_type, struct elf_sym *sym,
 225                          const char *name, size_t name_len, const char *lib_ver)
 226 {
 227         const char *ver_name;
 228
 229         /* Symbols are in forms of func, func@LIB_VER or func@@LIB_VER
 230          * make sure the func part matches the user specified name
 231          */
 232         if (strncmp(sym->name, name, name_len) != 0)
 233                 return false;
 234
 235         /* ...but we don't want a search for "foo" to match 'foo2" also, so any
 236          * additional characters in sname should be of the form "@@LIB".
 237          */
 238         if (sym->name[name_len] != '\0' && sym->name[name_len] != '@')
 239                 return false;
 240
 241         /* If user does not specify symbol version, then we got a match */
 242         if (!lib_ver)
 243                 return true;
 244
 245         /* If user specifies symbol version, for dynamic symbols,
 246          * get version name from ELF verdef section for comparison.
 247          */
 248         if (sh_type == SHT_DYNSYM) {
 249                 ver_name = elf_get_vername(iter, sym->ver);
 250                 if (!ver_name)
 251                         return false;
 252                 return strcmp(ver_name, lib_ver) == 0;
 253         }
 254
 255         /* For normal symbols, it is already in form of func@LIB_VER */
 256         return strcmp(sym->name, name) == 0;
 257 }
 258
 259 /* Transform symbol's virtual address (absolute for binaries and relative
 260  * for shared libs) into file offset, which is what kernel is expecting
 261  * for uprobe/uretprobe attachment.
 262  * See Documentation/trace/uprobetracer.rst for more details. This is done
 263  * by looking up symbol's containing section's header and using iter's virtual
 264  * address (sh_addr) and corresponding file offset (sh_offset) to transform
 265  * sym.st_value (virtual address) into desired final file offset.
 266  */
 267 static unsigned long elf_sym_offset(struct elf_sym *sym)
 268 {
 269         return sym->sym.st_value - sym->sh.sh_addr + sym->sh.sh_offset;
 270 }
 271
 272 /* Find offset of function name in the provided ELF object. "binary_path" is
 273  * the path to the ELF binary represented by "elf", and only used for error
 274  * reporting matters. "name" matches symbol name or name@@LIB for library
 275  * functions.
 276  */
 277 long elf_find_func_offset(Elf *elf, const char *binary_path, const char *name)
 278 {
 279         int i, sh_types[2] = { SHT_DYNSYM, SHT_SYMTAB };
 280         const char *at_symbol, *lib_ver;
 281         bool is_shared_lib;
 282         long ret = -ENOENT;
 283         size_t name_len;
 284         GElf_Ehdr ehdr;
 285
 286         if (!gelf_getehdr(elf, &ehdr)) {
 287                 pr_warn("elf: failed to get ehdr from %s: %s\n", binary_path, elf_errmsg(-1));
 288                 ret = -LIBBPF_ERRNO__FORMAT;
 289                 goto out;
 290         }
 291         /* for shared lib case, we do not need to calculate relative offset */
 292         is_shared_lib = ehdr.e_type == ET_DYN;
 293
 294         /* Does name specify "@@LIB_VER" or "@LIB_VER" ? */
 295         at_symbol = strchr(name, '@');
 296         if (at_symbol) {
 297                 name_len = at_symbol - name;
 298                 /* skip second @ if it's @@LIB_VER case */
 299                 if (at_symbol[1] == '@')
 300                         at_symbol++;
 301                 lib_ver = at_symbol + 1;
 302         } else {
 303                 name_len = strlen(name);
 304                 lib_ver = NULL;
 305         }
 306
 307         /* Search SHT_DYNSYM, SHT_SYMTAB for symbol. This search order is used because if
 308          * a binary is stripped, it may only have SHT_DYNSYM, and a fully-statically
 309          * linked binary may not have SHT_DYMSYM, so absence of a section should not be
 310          * reported as a warning/error.
 311          */
 312         for (i = 0; i < ARRAY_SIZE(sh_types); i++) {
 313                 struct elf_sym_iter iter;
 314                 struct elf_sym *sym;
 315                 int last_bind = -1;
 316                 int cur_bind;
 317
 318                 ret = elf_sym_iter_new(&iter, elf, binary_path, sh_types[i], STT_FUNC);
 319                 if (ret == -ENOENT)
 320                         continue;
 321                 if (ret)
 322                         goto out;
 323
 324                 while ((sym = elf_sym_iter_next(&iter))) {
 325                         if (!symbol_match(&iter, sh_types[i], sym, name, name_len, lib_ver))
 326                                 continue;
 327
 328                         cur_bind = GELF_ST_BIND(sym->sym.st_info);
 329
 330                         if (ret > 0) {
 331                                 /* handle multiple matches */
 332                                 if (elf_sym_offset(sym) == ret) {
 333                                         /* same offset, no problem */
 334                                         continue;
 335                                 } else if (last_bind != STB_WEAK && cur_bind != STB_WEAK) {
 336                                         /* Only accept one non-weak bind. */
 337                                         pr_warn("elf: ambiguous match for '%s', '%s' in '%s'\n",
 338                                                 sym->name, name, binary_path);
 339                                         ret = -LIBBPF_ERRNO__FORMAT;
 340                                         goto out;
 341                                 } else if (cur_bind == STB_WEAK) {
 342                                         /* already have a non-weak bind, and
 343                                          * this is a weak bind, so ignore.
 344                                          */
 345                                         continue;
 346                                 }
 347                         }
 348
 349                         ret = elf_sym_offset(sym);
 350                         last_bind = cur_bind;
 351                 }
 352                 if (ret > 0)
 353                         break;
 354         }
 355
 356         if (ret > 0) {
 357                 pr_debug("elf: symbol address match for '%s' in '%s': 0x%lx\n", name, binary_path,
 358                          ret);
 359         } else {
 360                 if (ret == 0) {
 361                         pr_warn("elf: '%s' is 0 in symtab for '%s': %s\n", name, binary_path,
 362                                 is_shared_lib ? "should not be 0 in a shared library" :
 363                                                 "try using shared library path instead");
 364                         ret = -ENOENT;
 365                 } else {
 366                         pr_warn("elf: failed to find symbol '%s' in '%s'\n", name, binary_path);
 367                 }
 368         }
 369 out:
 370         return ret;
 371 }
 372
 373 /* Find offset of function name in ELF object specified by path. "name" matches
 374  * symbol name or name@@LIB for library functions.
 375  */
 376 long elf_find_func_offset_from_file(const char *binary_path, const char *name)
 377 {
 378         struct elf_fd elf_fd;
 379         long ret = -ENOENT;
 380
 381         ret = elf_open(binary_path, &elf_fd);
 382         if (ret)
 383                 return ret;
 384         ret = elf_find_func_offset(elf_fd.elf, binary_path, name);
 385         elf_close(&elf_fd);
 386         return ret;
 387 }
 388
 389 struct symbol {
 390         const char *name;
 391         int bind;
 392         int idx;
 393 };
 394
 395 static int symbol_cmp(const void *a, const void *b)
 396 {
 397         const struct symbol *sym_a = a;
 398         const struct symbol *sym_b = b;
 399
 400         return strcmp(sym_a->name, sym_b->name);
 401 }
 402
 403 /*
 404  * Return offsets in @poffsets for symbols specified in @syms array argument.
 405  * On success returns 0 and offsets are returned in allocated array with @cnt
 406  * size, that needs to be released by the caller.
 407  */
 408 int elf_resolve_syms_offsets(const char *binary_path, int cnt,
 409                              const char **syms, unsigned long **poffsets,
 410                              int st_type)
 411 {
 412         int sh_types[2] = { SHT_DYNSYM, SHT_SYMTAB };
 413         int err = 0, i, cnt_done = 0;
 414         unsigned long *offsets;
 415         struct symbol *symbols;
 416         struct elf_fd elf_fd;
 417
 418         err = elf_open(binary_path, &elf_fd);
 419         if (err)
 420                 return err;
 421
 422         offsets = calloc(cnt, sizeof(*offsets));
 423         symbols = calloc(cnt, sizeof(*symbols));
 424
 425         if (!offsets || !symbols) {
 426                 err = -ENOMEM;
 427                 goto out;
 428         }
 429
 430         for (i = 0; i < cnt; i++) {
 431                 symbols[i].name = syms[i];
 432                 symbols[i].idx = i;
 433         }
 434
 435         qsort(symbols, cnt, sizeof(*symbols), symbol_cmp);
 436
 437         for (i = 0; i < ARRAY_SIZE(sh_types); i++) {
 438                 struct elf_sym_iter iter;
 439                 struct elf_sym *sym;
 440
 441                 err = elf_sym_iter_new(&iter, elf_fd.elf, binary_path, sh_types[i], st_type);
 442                 if (err == -ENOENT)
 443                         continue;
 444                 if (err)
 445                         goto out;
 446
 447                 while ((sym = elf_sym_iter_next(&iter))) {
 448                         unsigned long sym_offset = elf_sym_offset(sym);
 449                         int bind = GELF_ST_BIND(sym->sym.st_info);
 450                         struct symbol *found, tmp = {
 451                                 .name = sym->name,
 452                         };
 453                         unsigned long *offset;
 454
 455                         found = bsearch(&tmp, symbols, cnt, sizeof(*symbols), symbol_cmp);
 456                         if (!found)
 457                                 continue;
 458
 459                         offset = &offsets[found->idx];
 460                         if (*offset > 0) {
 461                                 /* same offset, no problem */
 462                                 if (*offset == sym_offset)
 463                                         continue;
 464                                 /* handle multiple matches */
 465                                 if (found->bind != STB_WEAK && bind != STB_WEAK) {
 466                                         /* Only accept one non-weak bind. */
 467                                         pr_warn("elf: ambiguous match found '%s@%lu' in '%s' previous offset %lu\n",
 468                                                 sym->name, sym_offset, binary_path, *offset);
 469                                         err = -ESRCH;
 470                                         goto out;
 471                                 } else if (bind == STB_WEAK) {
 472                                         /* already have a non-weak bind, and
 473                                          * this is a weak bind, so ignore.
 474                                          */
 475                                         continue;
 476                                 }
 477                         } else {
 478                                 cnt_done++;
 479                         }
 480                         *offset = sym_offset;
 481                         found->bind = bind;
 482                 }
 483         }
 484
 485         if (cnt != cnt_done) {
 486                 err = -ENOENT;
 487                 goto out;
 488         }
 489
 490         *poffsets = offsets;
 491
 492 out:
 493         free(symbols);
 494         if (err)
 495                 free(offsets);
 496         elf_close(&elf_fd);
 497         return err;
 498 }
 499
 500 /*
 501  * Return offsets in @poffsets for symbols specified by @pattern argument.
 502  * On success returns 0 and offsets are returned in allocated @poffsets
 503  * array with the @pctn size, that needs to be released by the caller.
 504  */
 505 int elf_resolve_pattern_offsets(const char *binary_path, const char *pattern,
 506                                 unsigned long **poffsets, size_t *pcnt)
 507 {
 508         int sh_types[2] = { SHT_SYMTAB, SHT_DYNSYM };
 509         unsigned long *offsets = NULL;
 510         size_t cap = 0, cnt = 0;
 511         struct elf_fd elf_fd;
 512         int err = 0, i;
 513
 514         err = elf_open(binary_path, &elf_fd);
 515         if (err)
 516                 return err;
 517
 518         for (i = 0; i < ARRAY_SIZE(sh_types); i++) {
 519                 struct elf_sym_iter iter;
 520                 struct elf_sym *sym;
 521
 522                 err = elf_sym_iter_new(&iter, elf_fd.elf, binary_path, sh_types[i], STT_FUNC);
 523                 if (err == -ENOENT)
 524                         continue;
 525                 if (err)
 526                         goto out;
 527
 528                 while ((sym = elf_sym_iter_next(&iter))) {
 529                         if (!glob_match(sym->name, pattern))
 530                                 continue;
 531
 532                         err = libbpf_ensure_mem((void **) &offsets, &cap, sizeof(*offsets),
 533                                                 cnt + 1);
 534                         if (err)
 535                                 goto out;
 536
 537                         offsets[cnt++] = elf_sym_offset(sym);
 538                 }
 539
 540                 /* If we found anything in the first symbol section,
 541                  * do not search others to avoid duplicates.
 542                  */
 543                 if (cnt)
 544                         break;
 545         }
 546
 547         if (cnt) {
 548                 *poffsets = offsets;
 549                 *pcnt = cnt;
 550         } else {
 551                 err = -ENOENT;
 552         }
 553
 554 out:
 555         if (err)
 556                 free(offsets);
 557         elf_close(&elf_fd);
 558         return err;
 559 }