tools/perf/util/auxtrace.h

   1 /* SPDX-License-Identifier: GPL-2.0-only */
   2 /*
   3  * auxtrace.h: AUX area trace support
   4  * Copyright (c) 2013-2015, Intel Corporation.
   5  */
   6
   7 #ifndef __PERF_AUXTRACE_H
   8 #define __PERF_AUXTRACE_H
   9
  10 #include <sys/types.h>
  11 #include <errno.h>
  12 #include <stdbool.h>
  13 #include <stddef.h>
  14 #include <stdio.h> // FILE
  15 #include <linux/list.h>
  16 #include <linux/perf_event.h>
  17 #include <linux/types.h>
  18 #include <perf/cpumap.h>
  19 #include <asm/bitsperlong.h>
  20 #include <asm/barrier.h>
  21
  22 union perf_event;
  23 struct perf_session;
  24 struct evlist;
  25 struct evsel;
  26 struct perf_tool;
  27 struct mmap;
  28 struct perf_sample;
  29 struct option;
  30 struct record_opts;
  31 struct perf_record_auxtrace_error;
  32 struct perf_record_auxtrace_info;
  33 struct events_stats;
  34 struct perf_pmu;
  35
  36 enum auxtrace_error_type {
  37        PERF_AUXTRACE_ERROR_ITRACE  = 1,
  38        PERF_AUXTRACE_ERROR_MAX
  39 };
  40
  41 /* Auxtrace records must have the same alignment as perf event records */
  42 #define PERF_AUXTRACE_RECORD_ALIGNMENT 8
  43
  44 enum auxtrace_type {
  45         PERF_AUXTRACE_UNKNOWN,
  46         PERF_AUXTRACE_INTEL_PT,
  47         PERF_AUXTRACE_INTEL_BTS,
  48         PERF_AUXTRACE_CS_ETM,
  49         PERF_AUXTRACE_ARM_SPE,
  50         PERF_AUXTRACE_S390_CPUMSF,
  51         PERF_AUXTRACE_HISI_PTT,
  52 };
  53
  54 enum itrace_period_type {
  55         PERF_ITRACE_PERIOD_INSTRUCTIONS,
  56         PERF_ITRACE_PERIOD_TICKS,
  57         PERF_ITRACE_PERIOD_NANOSECS,
  58 };
  59
  60 #define AUXTRACE_ERR_FLG_OVERFLOW       (1 << ('o' - 'a'))
  61 #define AUXTRACE_ERR_FLG_DATA_LOST      (1 << ('l' - 'a'))
  62
  63 #define AUXTRACE_LOG_FLG_ALL_PERF_EVTS  (1 << ('a' - 'a'))
  64 #define AUXTRACE_LOG_FLG_ON_ERROR       (1 << ('e' - 'a'))
  65 #define AUXTRACE_LOG_FLG_USE_STDOUT     (1 << ('o' - 'a'))
  66
  67 /**
  68  * struct itrace_synth_opts - AUX area tracing synthesis options.
  69  * @set: indicates whether or not options have been set
  70  * @default_no_sample: Default to no sampling.
  71  * @inject: indicates the event (not just the sample) must be fully synthesized
  72  *          because 'perf inject' will write it out
  73  * @instructions: whether to synthesize 'instructions' events
  74  * @cycles: whether to synthesize 'cycles' events
  75  *          (not fully accurate, since CYC packets are only emitted
  76  *          together with other events, such as branches)
  77  * @branches: whether to synthesize 'branches' events
  78  * @transactions: whether to synthesize events for transactions
  79  * @ptwrites: whether to synthesize events for ptwrites
  80  * @pwr_events: whether to synthesize power events
  81  * @other_events: whether to synthesize other events recorded due to the use of
  82  *                aux_output
  83  * @intr_events: whether to synthesize interrupt events
  84  * @errors: whether to synthesize decoder error events
  85  * @dont_decode: whether to skip decoding entirely
  86  * @log: write a decoding log
  87  * @calls: limit branch samples to calls (can be combined with @returns)
  88  * @returns: limit branch samples to returns (can be combined with @calls)
  89  * @callchain: add callchain to 'instructions' events
  90  * @add_callchain: add callchain to existing event records
  91  * @thread_stack: feed branches to the thread_stack
  92  * @last_branch: add branch context to 'instruction' events
  93  * @add_last_branch: add branch context to existing event records
  94  * @approx_ipc: approximate IPC
  95  * @flc: whether to synthesize first level cache events
  96  * @llc: whether to synthesize last level cache events
  97  * @tlb: whether to synthesize TLB events
  98  * @remote_access: whether to synthesize remote access events
  99  * @mem: whether to synthesize memory events
 100  * @timeless_decoding: prefer "timeless" decoding i.e. ignore timestamps
 101  * @use_timestamp: use the timestamp trace as kernel time
 102  * @vm_time_correlation: perform VM Time Correlation
 103  * @vm_tm_corr_dry_run: VM Time Correlation dry-run
 104  * @vm_tm_corr_args:  VM Time Correlation implementation-specific arguments
 105  * @callchain_sz: maximum callchain size
 106  * @last_branch_sz: branch context size
 107  * @period: 'instructions' events period
 108  * @period_type: 'instructions' events period type
 109  * @initial_skip: skip N events at the beginning.
 110  * @cpu_bitmap: CPUs for which to synthesize events, or NULL for all
 111  * @ptime_range: time intervals to trace or NULL
 112  * @range_num: number of time intervals to trace
 113  * @error_plus_flags: flags to affect what errors are reported
 114  * @error_minus_flags: flags to affect what errors are reported
 115  * @log_plus_flags: flags to affect what is logged
 116  * @log_minus_flags: flags to affect what is logged
 117  * @quick: quicker (less detailed) decoding
 118  * @log_on_error_size: size of log to keep for outputting log only on errors
 119  */
 120 struct itrace_synth_opts {
 121         bool                    set;
 122         bool                    default_no_sample;
 123         bool                    inject;
 124         bool                    instructions;
 125         bool                    cycles;
 126         bool                    branches;
 127         bool                    transactions;
 128         bool                    ptwrites;
 129         bool                    pwr_events;
 130         bool                    other_events;
 131         bool                    intr_events;
 132         bool                    errors;
 133         bool                    dont_decode;
 134         bool                    log;
 135         bool                    calls;
 136         bool                    returns;
 137         bool                    callchain;
 138         bool                    add_callchain;
 139         bool                    thread_stack;
 140         bool                    last_branch;
 141         bool                    add_last_branch;
 142         bool                    approx_ipc;
 143         bool                    flc;
 144         bool                    llc;
 145         bool                    tlb;
 146         bool                    remote_access;
 147         bool                    mem;
 148         bool                    timeless_decoding;
 149         bool                    use_timestamp;
 150         bool                    vm_time_correlation;
 151         bool                    vm_tm_corr_dry_run;
 152         char                    *vm_tm_corr_args;
 153         unsigned int            callchain_sz;
 154         unsigned int            last_branch_sz;
 155         unsigned long long      period;
 156         enum itrace_period_type period_type;
 157         unsigned long           initial_skip;
 158         unsigned long           *cpu_bitmap;
 159         struct perf_time_interval *ptime_range;
 160         int                     range_num;
 161         unsigned int            error_plus_flags;
 162         unsigned int            error_minus_flags;
 163         unsigned int            log_plus_flags;
 164         unsigned int            log_minus_flags;
 165         unsigned int            quick;
 166         unsigned int            log_on_error_size;
 167 };
 168
 169 /**
 170  * struct auxtrace_index_entry - indexes a AUX area tracing event within a
 171  *                               perf.data file.
 172  * @file_offset: offset within the perf.data file
 173  * @sz: size of the event
 174  */
 175 struct auxtrace_index_entry {
 176         u64                     file_offset;
 177         u64                     sz;
 178 };
 179
 180 #define PERF_AUXTRACE_INDEX_ENTRY_COUNT 256
 181
 182 /**
 183  * struct auxtrace_index - index of AUX area tracing events within a perf.data
 184  *                         file.
 185  * @list: linking a number of arrays of entries
 186  * @nr: number of entries
 187  * @entries: array of entries
 188  */
 189 struct auxtrace_index {
 190         struct list_head        list;
 191         size_t                  nr;
 192         struct auxtrace_index_entry entries[PERF_AUXTRACE_INDEX_ENTRY_COUNT];
 193 };
 194
 195 /**
 196  * struct auxtrace - session callbacks to allow AUX area data decoding.
 197  * @process_event: lets the decoder see all session events
 198  * @process_auxtrace_event: process a PERF_RECORD_AUXTRACE event
 199  * @queue_data: queue an AUX sample or PERF_RECORD_AUXTRACE event for later
 200  *              processing
 201  * @dump_auxtrace_sample: dump AUX area sample data
 202  * @flush_events: process any remaining data
 203  * @free_events: free resources associated with event processing
 204  * @free: free resources associated with the session
 205  */
 206 struct auxtrace {
 207         int (*process_event)(struct perf_session *session,
 208                              union perf_event *event,
 209                              struct perf_sample *sample,
 210                              const struct perf_tool *tool);
 211         int (*process_auxtrace_event)(struct perf_session *session,
 212                                       union perf_event *event,
 213                                       const struct perf_tool *tool);
 214         int (*queue_data)(struct perf_session *session,
 215                           struct perf_sample *sample, union perf_event *event,
 216                           u64 data_offset);
 217         void (*dump_auxtrace_sample)(struct perf_session *session,
 218                                      struct perf_sample *sample);
 219         int (*flush_events)(struct perf_session *session,
 220                             const struct perf_tool *tool);
 221         void (*free_events)(struct perf_session *session);
 222         void (*free)(struct perf_session *session);
 223         bool (*evsel_is_auxtrace)(struct perf_session *session,
 224                                   struct evsel *evsel);
 225 };
 226
 227 /**
 228  * struct auxtrace_buffer - a buffer containing AUX area tracing data.
 229  * @list: buffers are queued in a list held by struct auxtrace_queue
 230  * @size: size of the buffer in bytes
 231  * @pid: in per-thread mode, the pid this buffer is associated with
 232  * @tid: in per-thread mode, the tid this buffer is associated with
 233  * @cpu: in per-cpu mode, the cpu this buffer is associated with
 234  * @data: actual buffer data (can be null if the data has not been loaded)
 235  * @data_offset: file offset at which the buffer can be read
 236  * @mmap_addr: mmap address at which the buffer can be read
 237  * @mmap_size: size of the mmap at @mmap_addr
 238  * @data_needs_freeing: @data was malloc'd so free it when it is no longer
 239  *                      needed
 240  * @consecutive: the original data was split up and this buffer is consecutive
 241  *               to the previous buffer
 242  * @offset: offset as determined by aux_head / aux_tail members of struct
 243  *          perf_event_mmap_page
 244  * @reference: an implementation-specific reference determined when the data is
 245  *             recorded
 246  * @buffer_nr: used to number each buffer
 247  * @use_size: implementation actually only uses this number of bytes
 248  * @use_data: implementation actually only uses data starting at this address
 249  */
 250 struct auxtrace_buffer {
 251         struct list_head        list;
 252         size_t                  size;
 253         pid_t                   pid;
 254         pid_t                   tid;
 255         struct perf_cpu         cpu;
 256         void                    *data;
 257         off_t                   data_offset;
 258         void                    *mmap_addr;
 259         size_t                  mmap_size;
 260         bool                    data_needs_freeing;
 261         bool                    consecutive;
 262         u64                     offset;
 263         u64                     reference;
 264         u64                     buffer_nr;
 265         size_t                  use_size;
 266         void                    *use_data;
 267 };
 268
 269 /**
 270  * struct auxtrace_queue - a queue of AUX area tracing data buffers.
 271  * @head: head of buffer list
 272  * @tid: in per-thread mode, the tid this queue is associated with
 273  * @cpu: in per-cpu mode, the cpu this queue is associated with
 274  * @set: %true once this queue has been dedicated to a specific thread or cpu
 275  * @priv: implementation-specific data
 276  */
 277 struct auxtrace_queue {
 278         struct list_head        head;
 279         pid_t                   tid;
 280         int                     cpu;
 281         bool                    set;
 282         void                    *priv;
 283 };
 284
 285 /**
 286  * struct auxtrace_queues - an array of AUX area tracing queues.
 287  * @queue_array: array of queues
 288  * @nr_queues: number of queues
 289  * @new_data: set whenever new data is queued
 290  * @populated: queues have been fully populated using the auxtrace_index
 291  * @next_buffer_nr: used to number each buffer
 292  */
 293 struct auxtrace_queues {
 294         struct auxtrace_queue   *queue_array;
 295         unsigned int            nr_queues;
 296         bool                    new_data;
 297         bool                    populated;
 298         u64                     next_buffer_nr;
 299 };
 300
 301 /**
 302  * struct auxtrace_heap_item - element of struct auxtrace_heap.
 303  * @queue_nr: queue number
 304  * @ordinal: value used for sorting (lowest ordinal is top of the heap) expected
 305  *           to be a timestamp
 306  */
 307 struct auxtrace_heap_item {
 308         unsigned int            queue_nr;
 309         u64                     ordinal;
 310 };
 311
 312 /**
 313  * struct auxtrace_heap - a heap suitable for sorting AUX area tracing queues.
 314  * @heap_array: the heap
 315  * @heap_cnt: the number of elements in the heap
 316  * @heap_sz: maximum number of elements (grows as needed)
 317  */
 318 struct auxtrace_heap {
 319         struct auxtrace_heap_item       *heap_array;
 320         unsigned int            heap_cnt;
 321         unsigned int            heap_sz;
 322 };
 323
 324 /**
 325  * struct auxtrace_mmap - records an mmap of the auxtrace buffer.
 326  * @base: address of mapped area
 327  * @userpg: pointer to buffer's perf_event_mmap_page
 328  * @mask: %0 if @len is not a power of two, otherwise (@len - %1)
 329  * @len: size of mapped area
 330  * @prev: previous aux_head
 331  * @idx: index of this mmap
 332  * @tid: tid for a per-thread mmap (also set if there is only 1 tid on a per-cpu
 333  *       mmap) otherwise %0
 334  * @cpu: cpu number for a per-cpu mmap otherwise %-1
 335  */
 336 struct auxtrace_mmap {
 337         void            *base;
 338         void            *userpg;
 339         size_t          mask;
 340         size_t          len;
 341         u64             prev;
 342         int             idx;
 343         pid_t           tid;
 344         int             cpu;
 345 };
 346
 347 /**
 348  * struct auxtrace_mmap_params - parameters to set up struct auxtrace_mmap.
 349  * @mask: %0 if @len is not a power of two, otherwise (@len - %1)
 350  * @offset: file offset of mapped area
 351  * @len: size of mapped area
 352  * @prot: mmap memory protection
 353  * @idx: index of this mmap
 354  * @tid: tid for a per-thread mmap (also set if there is only 1 tid on a per-cpu
 355  *       mmap) otherwise %0
 356  * @mmap_needed: set to %false for non-auxtrace events. This is needed because
 357  *               auxtrace mmapping is done in the same code path as non-auxtrace
 358  *               mmapping but not every evsel that needs non-auxtrace mmapping
 359  *               also needs auxtrace mmapping.
 360  * @cpu: cpu number for a per-cpu mmap otherwise %-1
 361  */
 362 struct auxtrace_mmap_params {
 363         size_t          mask;
 364         off_t           offset;
 365         size_t          len;
 366         int             prot;
 367         int             idx;
 368         pid_t           tid;
 369         bool            mmap_needed;
 370         struct perf_cpu cpu;
 371 };
 372
 373 /**
 374  * struct auxtrace_record - callbacks for recording AUX area data.
 375  * @recording_options: validate and process recording options
 376  * @info_priv_size: return the size of the private data in auxtrace_info_event
 377  * @info_fill: fill-in the private data in auxtrace_info_event
 378  * @free: free this auxtrace record structure
 379  * @snapshot_start: starting a snapshot
 380  * @snapshot_finish: finishing a snapshot
 381  * @find_snapshot: find data to snapshot within auxtrace mmap
 382  * @parse_snapshot_options: parse snapshot options
 383  * @reference: provide a 64-bit reference number for auxtrace_event
 384  * @read_finish: called after reading from an auxtrace mmap
 385  * @alignment: alignment (if any) for AUX area data
 386  * @default_aux_sample_size: default sample size for --aux sample option
 387  * @pmu: associated pmu
 388  * @evlist: selected events list
 389  */
 390 struct auxtrace_record {
 391         int (*recording_options)(struct auxtrace_record *itr,
 392                                  struct evlist *evlist,
 393                                  struct record_opts *opts);
 394         size_t (*info_priv_size)(struct auxtrace_record *itr,
 395                                  struct evlist *evlist);
 396         int (*info_fill)(struct auxtrace_record *itr,
 397                          struct perf_session *session,
 398                          struct perf_record_auxtrace_info *auxtrace_info,
 399                          size_t priv_size);
 400         void (*free)(struct auxtrace_record *itr);
 401         int (*snapshot_start)(struct auxtrace_record *itr);
 402         int (*snapshot_finish)(struct auxtrace_record *itr);
 403         int (*find_snapshot)(struct auxtrace_record *itr, int idx,
 404                              struct auxtrace_mmap *mm, unsigned char *data,
 405                              u64 *head, u64 *old);
 406         int (*parse_snapshot_options)(struct auxtrace_record *itr,
 407                                       struct record_opts *opts,
 408                                       const char *str);
 409         u64 (*reference)(struct auxtrace_record *itr);
 410         int (*read_finish)(struct auxtrace_record *itr, int idx);
 411         unsigned int alignment;
 412         unsigned int default_aux_sample_size;
 413         struct evlist *evlist;
 414 };
 415
 416 /**
 417  * struct addr_filter - address filter.
 418  * @list: list node
 419  * @range: true if it is a range filter
 420  * @start: true if action is 'filter' or 'start'
 421  * @action: 'filter', 'start' or 'stop' ('tracestop' is accepted but converted
 422  *          to 'stop')
 423  * @sym_from: symbol name for the filter address
 424  * @sym_to: symbol name that determines the filter size
 425  * @sym_from_idx: selects n'th from symbols with the same name (0 means global
 426  *                and less than 0 means symbol must be unique)
 427  * @sym_to_idx: same as @sym_from_idx but for @sym_to
 428  * @addr: filter address
 429  * @size: filter region size (for range filters)
 430  * @filename: DSO file name or NULL for the kernel
 431  * @str: allocated string that contains the other string members
 432  */
 433 struct addr_filter {
 434         struct list_head        list;
 435         bool                    range;
 436         bool                    start;
 437         const char              *action;
 438         const char              *sym_from;
 439         const char              *sym_to;
 440         int                     sym_from_idx;
 441         int                     sym_to_idx;
 442         u64                     addr;
 443         u64                     size;
 444         const char              *filename;
 445         char                    *str;
 446 };
 447
 448 /**
 449  * struct addr_filters - list of address filters.
 450  * @head: list of address filters
 451  * @cnt: number of address filters
 452  */
 453 struct addr_filters {
 454         struct list_head        head;
 455         int                     cnt;
 456 };
 457
 458 struct auxtrace_cache;
 459
 460 #ifdef HAVE_AUXTRACE_SUPPORT
 461
 462 u64 compat_auxtrace_mmap__read_head(struct auxtrace_mmap *mm);
 463 int compat_auxtrace_mmap__write_tail(struct auxtrace_mmap *mm, u64 tail);
 464
 465 static inline u64 auxtrace_mmap__read_head(struct auxtrace_mmap *mm,
 466                                            int kernel_is_64_bit __maybe_unused)
 467 {
 468         struct perf_event_mmap_page *pc = mm->userpg;
 469         u64 head;
 470
 471 #if BITS_PER_LONG == 32
 472         if (kernel_is_64_bit)
 473                 return compat_auxtrace_mmap__read_head(mm);
 474 #endif
 475         head = READ_ONCE(pc->aux_head);
 476
 477         /* Ensure all reads are done after we read the head */
 478         smp_rmb();
 479         return head;
 480 }
 481
 482 static inline int auxtrace_mmap__write_tail(struct auxtrace_mmap *mm, u64 tail,
 483                                             int kernel_is_64_bit __maybe_unused)
 484 {
 485         struct perf_event_mmap_page *pc = mm->userpg;
 486
 487 #if BITS_PER_LONG == 32
 488         if (kernel_is_64_bit)
 489                 return compat_auxtrace_mmap__write_tail(mm, tail);
 490 #endif
 491         /* Ensure all reads are done before we write the tail out */
 492         smp_mb();
 493         WRITE_ONCE(pc->aux_tail, tail);
 494         return 0;
 495 }
 496
 497 int auxtrace_mmap__mmap(struct auxtrace_mmap *mm,
 498                         struct auxtrace_mmap_params *mp,
 499                         void *userpg, int fd);
 500 void auxtrace_mmap__munmap(struct auxtrace_mmap *mm);
 501 void auxtrace_mmap_params__init(struct auxtrace_mmap_params *mp,
 502                                 off_t auxtrace_offset,
 503                                 unsigned int auxtrace_pages,
 504                                 bool auxtrace_overwrite);
 505 void auxtrace_mmap_params__set_idx(struct auxtrace_mmap_params *mp,
 506                                    struct evlist *evlist,
 507                                    struct evsel *evsel, int idx);
 508
 509 typedef int (*process_auxtrace_t)(const struct perf_tool *tool,
 510                                   struct mmap *map,
 511                                   union perf_event *event, void *data1,
 512                                   size_t len1, void *data2, size_t len2);
 513
 514 int auxtrace_mmap__read(struct mmap *map, struct auxtrace_record *itr,
 515                         const struct perf_tool *tool, process_auxtrace_t fn);
 516
 517 int auxtrace_mmap__read_snapshot(struct mmap *map,
 518                                  struct auxtrace_record *itr,
 519                                  const struct perf_tool *tool, process_auxtrace_t fn,
 520                                  size_t snapshot_size);
 521
 522 int auxtrace_queues__init_nr(struct auxtrace_queues *queues, int nr_queues);
 523 int auxtrace_queues__init(struct auxtrace_queues *queues);
 524 int auxtrace_queues__add_event(struct auxtrace_queues *queues,
 525                                struct perf_session *session,
 526                                union perf_event *event, off_t data_offset,
 527                                struct auxtrace_buffer **buffer_ptr);
 528 struct auxtrace_queue *
 529 auxtrace_queues__sample_queue(struct auxtrace_queues *queues,
 530                               struct perf_sample *sample,
 531                               struct perf_session *session);
 532 int auxtrace_queues__add_sample(struct auxtrace_queues *queues,
 533                                 struct perf_session *session,
 534                                 struct perf_sample *sample, u64 data_offset,
 535                                 u64 reference);
 536 void auxtrace_queues__free(struct auxtrace_queues *queues);
 537 int auxtrace_queues__process_index(struct auxtrace_queues *queues,
 538                                    struct perf_session *session);
 539 int auxtrace_queue_data(struct perf_session *session, bool samples,
 540                         bool events);
 541 struct auxtrace_buffer *auxtrace_buffer__next(struct auxtrace_queue *queue,
 542                                               struct auxtrace_buffer *buffer);
 543 void *auxtrace_buffer__get_data_rw(struct auxtrace_buffer *buffer, int fd, bool rw);
 544 static inline void *auxtrace_buffer__get_data(struct auxtrace_buffer *buffer, int fd)
 545 {
 546         return auxtrace_buffer__get_data_rw(buffer, fd, false);
 547 }
 548 void auxtrace_buffer__put_data(struct auxtrace_buffer *buffer);
 549 void auxtrace_buffer__drop_data(struct auxtrace_buffer *buffer);
 550 void auxtrace_buffer__free(struct auxtrace_buffer *buffer);
 551
 552 int auxtrace_heap__add(struct auxtrace_heap *heap, unsigned int queue_nr,
 553                        u64 ordinal);
 554 void auxtrace_heap__pop(struct auxtrace_heap *heap);
 555 void auxtrace_heap__free(struct auxtrace_heap *heap);
 556
 557 struct auxtrace_cache_entry {
 558         struct hlist_node hash;
 559         u32 key;
 560 };
 561
 562 struct auxtrace_cache *auxtrace_cache__new(unsigned int bits, size_t entry_size,
 563                                            unsigned int limit_percent);
 564 void auxtrace_cache__free(struct auxtrace_cache *auxtrace_cache);
 565 void *auxtrace_cache__alloc_entry(struct auxtrace_cache *c);
 566 void auxtrace_cache__free_entry(struct auxtrace_cache *c, void *entry);
 567 int auxtrace_cache__add(struct auxtrace_cache *c, u32 key,
 568                         struct auxtrace_cache_entry *entry);
 569 void auxtrace_cache__remove(struct auxtrace_cache *c, u32 key);
 570 void *auxtrace_cache__lookup(struct auxtrace_cache *c, u32 key);
 571
 572 struct auxtrace_record *auxtrace_record__init(struct evlist *evlist,
 573                                               int *err);
 574
 575 int auxtrace_parse_snapshot_options(struct auxtrace_record *itr,
 576                                     struct record_opts *opts,
 577                                     const char *str);
 578 int auxtrace_parse_sample_options(struct auxtrace_record *itr,
 579                                   struct evlist *evlist,
 580                                   struct record_opts *opts, const char *str);
 581 int auxtrace_parse_aux_action(struct evlist *evlist);
 582 int auxtrace_record__options(struct auxtrace_record *itr,
 583                              struct evlist *evlist,
 584                              struct record_opts *opts);
 585 size_t auxtrace_record__info_priv_size(struct auxtrace_record *itr,
 586                                        struct evlist *evlist);
 587 int auxtrace_record__info_fill(struct auxtrace_record *itr,
 588                                struct perf_session *session,
 589                                struct perf_record_auxtrace_info *auxtrace_info,
 590                                size_t priv_size);
 591 void auxtrace_record__free(struct auxtrace_record *itr);
 592 int auxtrace_record__snapshot_start(struct auxtrace_record *itr);
 593 int auxtrace_record__snapshot_finish(struct auxtrace_record *itr, bool on_exit);
 594 int auxtrace_record__find_snapshot(struct auxtrace_record *itr, int idx,
 595                                    struct auxtrace_mmap *mm,
 596                                    unsigned char *data, u64 *head, u64 *old);
 597 u64 auxtrace_record__reference(struct auxtrace_record *itr);
 598 int auxtrace_record__read_finish(struct auxtrace_record *itr, int idx);
 599
 600 int auxtrace_index__auxtrace_event(struct list_head *head, union perf_event *event,
 601                                    off_t file_offset);
 602 int auxtrace_index__write(int fd, struct list_head *head);
 603 int auxtrace_index__process(int fd, u64 size, struct perf_session *session,
 604                             bool needs_swap);
 605 void auxtrace_index__free(struct list_head *head);
 606
 607 void auxtrace_synth_guest_error(struct perf_record_auxtrace_error *auxtrace_error, int type,
 608                                 int code, int cpu, pid_t pid, pid_t tid, u64 ip,
 609                                 const char *msg, u64 timestamp,
 610                                 pid_t machine_pid, int vcpu);
 611 void auxtrace_synth_error(struct perf_record_auxtrace_error *auxtrace_error, int type,
 612                           int code, int cpu, pid_t pid, pid_t tid, u64 ip,
 613                           const char *msg, u64 timestamp);
 614
 615 int perf_event__process_auxtrace_info(struct perf_session *session,
 616                                       union perf_event *event);
 617 s64 perf_event__process_auxtrace(struct perf_session *session,
 618                                  union perf_event *event);
 619 int perf_event__process_auxtrace_error(struct perf_session *session,
 620                                        union perf_event *event);
 621 int itrace_do_parse_synth_opts(struct itrace_synth_opts *synth_opts,
 622                                const char *str, int unset);
 623 int itrace_parse_synth_opts(const struct option *opt, const char *str,
 624                             int unset);
 625 void itrace_synth_opts__set_default(struct itrace_synth_opts *synth_opts,
 626                                     bool no_sample);
 627
 628 size_t perf_event__fprintf_auxtrace_error(union perf_event *event, FILE *fp);
 629 void perf_session__auxtrace_error_inc(struct perf_session *session,
 630                                       union perf_event *event);
 631 void events_stats__auxtrace_error_warn(const struct events_stats *stats);
 632
 633 void addr_filters__init(struct addr_filters *filts);
 634 void addr_filters__exit(struct addr_filters *filts);
 635 int addr_filters__parse_bare_filter(struct addr_filters *filts,
 636                                     const char *filter);
 637 int auxtrace_parse_filters(struct evlist *evlist);
 638
 639 int auxtrace__process_event(struct perf_session *session, union perf_event *event,
 640                             struct perf_sample *sample, const struct perf_tool *tool);
 641 void auxtrace__dump_auxtrace_sample(struct perf_session *session,
 642                                     struct perf_sample *sample);
 643 int auxtrace__flush_events(struct perf_session *session, const struct perf_tool *tool);
 644 void auxtrace__free_events(struct perf_session *session);
 645 void auxtrace__free(struct perf_session *session);
 646 bool auxtrace__evsel_is_auxtrace(struct perf_session *session,
 647                                  struct evsel *evsel);
 648
 649 #define ITRACE_HELP \
 650 "                               i[period]:              synthesize instructions events\n" \
 651 "                               y[period]:              synthesize cycles events (same period as i)\n" \
 652 "                               b:                      synthesize branches events\n" \
 653 "                               c:                      synthesize branches events (calls only)\n"      \
 654 "                               r:                      synthesize branches events (returns only)\n" \
 655 "                               x:                      synthesize transactions events\n"               \
 656 "                               w:                      synthesize ptwrite events\n"            \
 657 "                               p:                      synthesize power events\n"                      \
 658 "                               o:                      synthesize other events recorded due to the use\n" \
 659 "                                                       of aux-output (refer to perf record)\n" \
 660 "                               I:                      synthesize interrupt or similar (asynchronous) events\n" \
 661 "                                                       (e.g. Intel PT Event Trace)\n" \
 662 "                               e[flags]:               synthesize error events\n" \
 663 "                                                       each flag must be preceded by + or -\n" \
 664 "                                                       error flags are: o (overflow)\n" \
 665 "                                                                        l (data lost)\n" \
 666 "                               d[flags]:               create a debug log\n" \
 667 "                                                       each flag must be preceded by + or -\n" \
 668 "                                                       log flags are: a (all perf events)\n" \
 669 "                                                                      o (output to stdout)\n" \
 670 "                               f:                      synthesize first level cache events\n" \
 671 "                               m:                      synthesize last level cache events\n" \
 672 "                               t:                      synthesize TLB events\n" \
 673 "                               a:                      synthesize remote access events\n" \
 674 "                               g[len]:                 synthesize a call chain (use with i or x)\n" \
 675 "                               G[len]:                 synthesize a call chain on existing event records\n" \
 676 "                               l[len]:                 synthesize last branch entries (use with i or x)\n" \
 677 "                               L[len]:                 synthesize last branch entries on existing event records\n" \
 678 "                               sNUMBER:                skip initial number of events\n"                \
 679 "                               q:                      quicker (less detailed) decoding\n" \
 680 "                               A:                      approximate IPC\n" \
 681 "                               Z:                      prefer to ignore timestamps (so-called \"timeless\" decoding)\n" \
 682 "                               T:                      use the timestamp trace as kernel time\n" \
 683 "                               PERIOD[ns|us|ms|i|t]:   specify period to sample stream\n" \
 684 "                               concatenate multiple options. Default is iybxwpe or cewp\n"
 685
 686 static inline
 687 void itrace_synth_opts__set_time_range(struct itrace_synth_opts *opts,
 688                                        struct perf_time_interval *ptime_range,
 689                                        int range_num)
 690 {
 691         opts->ptime_range = ptime_range;
 692         opts->range_num = range_num;
 693 }
 694
 695 static inline
 696 void itrace_synth_opts__clear_time_range(struct itrace_synth_opts *opts)
 697 {
 698         opts->ptime_range = NULL;
 699         opts->range_num = 0;
 700 }
 701
 702 #else
 703 #include "debug.h"
 704
 705 static inline struct auxtrace_record *
 706 auxtrace_record__init(struct evlist *evlist __maybe_unused,
 707                       int *err)
 708 {
 709         *err = 0;
 710         return NULL;
 711 }
 712
 713 static inline
 714 void auxtrace_record__free(struct auxtrace_record *itr __maybe_unused)
 715 {
 716 }
 717
 718 static inline
 719 int auxtrace_record__options(struct auxtrace_record *itr __maybe_unused,
 720                              struct evlist *evlist __maybe_unused,
 721                              struct record_opts *opts __maybe_unused)
 722 {
 723         return 0;
 724 }
 725
 726 static inline
 727 int perf_event__process_auxtrace_info(struct perf_session *session __maybe_unused,
 728                                       union perf_event *event __maybe_unused)
 729 {
 730         return 0;
 731 }
 732
 733 static inline
 734 s64 perf_event__process_auxtrace(struct perf_session *session __maybe_unused,
 735                                  union perf_event *event __maybe_unused)
 736 {
 737         return 0;
 738 }
 739
 740 static inline
 741 int perf_event__process_auxtrace_error(struct perf_session *session __maybe_unused,
 742                                        union perf_event *event __maybe_unused)
 743 {
 744         return 0;
 745 }
 746
 747 static inline
 748 void perf_session__auxtrace_error_inc(struct perf_session *session
 749                                       __maybe_unused,
 750                                       union perf_event *event
 751                                       __maybe_unused)
 752 {
 753 }
 754
 755 static inline
 756 void events_stats__auxtrace_error_warn(const struct events_stats *stats
 757                                        __maybe_unused)
 758 {
 759 }
 760
 761 static inline
 762 int itrace_do_parse_synth_opts(struct itrace_synth_opts *synth_opts __maybe_unused,
 763                                const char *str __maybe_unused, int unset __maybe_unused)
 764 {
 765         pr_err("AUX area tracing not supported\n");
 766         return -EINVAL;
 767 }
 768
 769 static inline
 770 int itrace_parse_synth_opts(const struct option *opt __maybe_unused,
 771                             const char *str __maybe_unused,
 772                             int unset __maybe_unused)
 773 {
 774         pr_err("AUX area tracing not supported\n");
 775         return -EINVAL;
 776 }
 777
 778 static inline
 779 int auxtrace_parse_snapshot_options(struct auxtrace_record *itr __maybe_unused,
 780                                     struct record_opts *opts __maybe_unused,
 781                                     const char *str)
 782 {
 783         if (!str)
 784                 return 0;
 785         pr_err("AUX area tracing not supported\n");
 786         return -EINVAL;
 787 }
 788
 789 static inline
 790 int auxtrace_parse_sample_options(struct auxtrace_record *itr __maybe_unused,
 791                                   struct evlist *evlist __maybe_unused,
 792                                   struct record_opts *opts __maybe_unused,
 793                                   const char *str)
 794 {
 795         if (!str)
 796                 return 0;
 797         pr_err("AUX area tracing not supported\n");
 798         return -EINVAL;
 799 }
 800
 801 static inline
 802 int auxtrace_parse_aux_action(struct evlist *evlist __maybe_unused)
 803 {
 804         pr_err("AUX area tracing not supported\n");
 805         return -EINVAL;
 806 }
 807
 808 static inline
 809 int auxtrace__process_event(struct perf_session *session __maybe_unused,
 810                             union perf_event *event __maybe_unused,
 811                             struct perf_sample *sample __maybe_unused,
 812                             const struct perf_tool *tool __maybe_unused)
 813 {
 814         return 0;
 815 }
 816
 817 static inline
 818 void auxtrace__dump_auxtrace_sample(struct perf_session *session __maybe_unused,
 819                                     struct perf_sample *sample __maybe_unused)
 820 {
 821 }
 822
 823 static inline
 824 int auxtrace__flush_events(struct perf_session *session __maybe_unused,
 825                            const struct perf_tool *tool __maybe_unused)
 826 {
 827         return 0;
 828 }
 829
 830 static inline
 831 void auxtrace__free_events(struct perf_session *session __maybe_unused)
 832 {
 833 }
 834
 835 static inline
 836 void auxtrace_cache__free(struct auxtrace_cache *auxtrace_cache __maybe_unused)
 837 {
 838 }
 839
 840 static inline
 841 void auxtrace__free(struct perf_session *session __maybe_unused)
 842 {
 843 }
 844
 845 static inline
 846 int auxtrace_index__write(int fd __maybe_unused,
 847                           struct list_head *head __maybe_unused)
 848 {
 849         return -EINVAL;
 850 }
 851
 852 static inline
 853 int auxtrace_index__process(int fd __maybe_unused,
 854                             u64 size __maybe_unused,
 855                             struct perf_session *session __maybe_unused,
 856                             bool needs_swap __maybe_unused)
 857 {
 858         return -EINVAL;
 859 }
 860
 861 static inline
 862 void auxtrace_index__free(struct list_head *head __maybe_unused)
 863 {
 864 }
 865
 866 static inline
 867 bool auxtrace__evsel_is_auxtrace(struct perf_session *session __maybe_unused,
 868                                  struct evsel *evsel __maybe_unused)
 869 {
 870         return false;
 871 }
 872
 873 static inline
 874 int auxtrace_parse_filters(struct evlist *evlist __maybe_unused)
 875 {
 876         return 0;
 877 }
 878
 879 int auxtrace_mmap__mmap(struct auxtrace_mmap *mm,
 880                         struct auxtrace_mmap_params *mp,
 881                         void *userpg, int fd);
 882 void auxtrace_mmap__munmap(struct auxtrace_mmap *mm);
 883 void auxtrace_mmap_params__init(struct auxtrace_mmap_params *mp,
 884                                 off_t auxtrace_offset,
 885                                 unsigned int auxtrace_pages,
 886                                 bool auxtrace_overwrite);
 887 void auxtrace_mmap_params__set_idx(struct auxtrace_mmap_params *mp,
 888                                    struct evlist *evlist,
 889                                    struct evsel *evsel, int idx);
 890
 891 #define ITRACE_HELP ""
 892
 893 static inline
 894 void itrace_synth_opts__set_time_range(struct itrace_synth_opts *opts
 895                                        __maybe_unused,
 896                                        struct perf_time_interval *ptime_range
 897                                        __maybe_unused,
 898                                        int range_num __maybe_unused)
 899 {
 900 }
 901
 902 static inline
 903 void itrace_synth_opts__clear_time_range(struct itrace_synth_opts *opts
 904                                          __maybe_unused)
 905 {
 906 }
 907
 908 #endif
 909
 910 #endif