include/linux/compiler_types.h

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 #ifndef __LINUX_COMPILER_TYPES_H
   3 #define __LINUX_COMPILER_TYPES_H
   4
   5 #ifndef __ASSEMBLY__
   6
   7 /*
   8  * Skipped when running bindgen due to a libclang issue;
   9  * see https://github.com/rust-lang/rust-bindgen/issues/2244.
  10  */
  11 #if defined(CONFIG_DEBUG_INFO_BTF) && defined(CONFIG_PAHOLE_HAS_BTF_TAG) && \
  12         __has_attribute(btf_type_tag) && !defined(__BINDGEN__)
  13 # define BTF_TYPE_TAG(value) __attribute__((btf_type_tag(#value)))
  14 #else
  15 # define BTF_TYPE_TAG(value) /* nothing */
  16 #endif
  17
  18 /* sparse defines __CHECKER__; see Documentation/dev-tools/sparse.rst */
  19 #ifdef __CHECKER__
  20 /* address spaces */
  21 # define __kernel       __attribute__((address_space(0)))
  22 # define __user         __attribute__((noderef, address_space(__user)))
  23 # define __iomem        __attribute__((noderef, address_space(__iomem)))
  24 # define __percpu       __attribute__((noderef, address_space(__percpu)))
  25 # define __rcu          __attribute__((noderef, address_space(__rcu)))
  26 static inline void __chk_user_ptr(const volatile void __user *ptr) { }
  27 static inline void __chk_io_ptr(const volatile void __iomem *ptr) { }
  28 /* context/locking */
  29 # define __must_hold(x) __attribute__((context(x,1,1)))
  30 # define __acquires(x)  __attribute__((context(x,0,1)))
  31 # define __cond_acquires(x) __attribute__((context(x,0,-1)))
  32 # define __releases(x)  __attribute__((context(x,1,0)))
  33 # define __acquire(x)   __context__(x,1)
  34 # define __release(x)   __context__(x,-1)
  35 # define __cond_lock(x,c)       ((c) ? ({ __acquire(x); 1; }) : 0)
  36 /* other */
  37 # define __force        __attribute__((force))
  38 # define __nocast       __attribute__((nocast))
  39 # define __safe         __attribute__((safe))
  40 # define __private      __attribute__((noderef))
  41 # define ACCESS_PRIVATE(p, member) (*((typeof((p)->member) __force *) &(p)->member))
  42 #else /* __CHECKER__ */
  43 /* address spaces */
  44 # define __kernel
  45 # ifdef STRUCTLEAK_PLUGIN
  46 #  define __user        __attribute__((user))
  47 # else
  48 #  define __user        BTF_TYPE_TAG(user)
  49 # endif
  50 # define __iomem
  51 # define __percpu       BTF_TYPE_TAG(percpu)
  52 # define __rcu          BTF_TYPE_TAG(rcu)
  53
  54 # define __chk_user_ptr(x)      (void)0
  55 # define __chk_io_ptr(x)        (void)0
  56 /* context/locking */
  57 # define __must_hold(x)
  58 # define __acquires(x)
  59 # define __cond_acquires(x)
  60 # define __releases(x)
  61 # define __acquire(x)   (void)0
  62 # define __release(x)   (void)0
  63 # define __cond_lock(x,c) (c)
  64 /* other */
  65 # define __force
  66 # define __nocast
  67 # define __safe
  68 # define __private
  69 # define ACCESS_PRIVATE(p, member) ((p)->member)
  70 # define __builtin_warning(x, y...) (1)
  71 #endif /* __CHECKER__ */
  72
  73 /* Indirect macros required for expanded argument pasting, eg. __LINE__. */
  74 #define ___PASTE(a,b) a##b
  75 #define __PASTE(a,b) ___PASTE(a,b)
  76
  77 #ifdef __KERNEL__
  78
  79 /* Attributes */
  80 #include <linux/compiler_attributes.h>
  81
  82 #if CONFIG_FUNCTION_ALIGNMENT > 0
  83 #define __function_aligned              __aligned(CONFIG_FUNCTION_ALIGNMENT)
  84 #else
  85 #define __function_aligned
  86 #endif
  87
  88 /*
  89  *   gcc: https://gcc.gnu.org/onlinedocs/gcc/Common-Function-Attributes.html#index-cold-function-attribute
  90  *   gcc: https://gcc.gnu.org/onlinedocs/gcc/Label-Attributes.html#index-cold-label-attribute
  91  *
  92  * When -falign-functions=N is in use, we must avoid the cold attribute as
  93  * contemporary versions of GCC drop the alignment for cold functions. Worse,
  94  * GCC can implicitly mark callees of cold functions as cold themselves, so
  95  * it's not sufficient to add __function_aligned here as that will not ensure
  96  * that callees are correctly aligned.
  97  *
  98  * See:
  99  *
 100  *   https://lore.kernel.org/lkml/Y77%2FqVgvaJidFpYt@FVFF77S0Q05N
 101  *   https://gcc.gnu.org/bugzilla/show_bug.cgi?id=88345#c9
 102  */
 103 #if !defined(CONFIG_CC_IS_GCC) || (CONFIG_FUNCTION_ALIGNMENT == 0)
 104 #define __cold                          __attribute__((__cold__))
 105 #else
 106 #define __cold
 107 #endif
 108
 109 /* Builtins */
 110
 111 /*
 112  * __has_builtin is supported on gcc >= 10, clang >= 3 and icc >= 21.
 113  * In the meantime, to support gcc < 10, we implement __has_builtin
 114  * by hand.
 115  */
 116 #ifndef __has_builtin
 117 #define __has_builtin(x) (0)
 118 #endif
 119
 120 /* Compiler specific macros. */
 121 #ifdef __clang__
 122 #include <linux/compiler-clang.h>
 123 #elif defined(__INTEL_COMPILER)
 124 #include <linux/compiler-intel.h>
 125 #elif defined(__GNUC__)
 126 /* The above compilers also define __GNUC__, so order is important here. */
 127 #include <linux/compiler-gcc.h>
 128 #else
 129 #error "Unknown compiler"
 130 #endif
 131
 132 /*
 133  * Some architectures need to provide custom definitions of macros provided
 134  * by linux/compiler-*.h, and can do so using asm/compiler.h. We include that
 135  * conditionally rather than using an asm-generic wrapper in order to avoid
 136  * build failures if any C compilation, which will include this file via an
 137  * -include argument in c_flags, occurs prior to the asm-generic wrappers being
 138  * generated.
 139  */
 140 #ifdef CONFIG_HAVE_ARCH_COMPILER_H
 141 #include <asm/compiler.h>
 142 #endif
 143
 144 struct ftrace_branch_data {
 145         const char *func;
 146         const char *file;
 147         unsigned line;
 148         union {
 149                 struct {
 150                         unsigned long correct;
 151                         unsigned long incorrect;
 152                 };
 153                 struct {
 154                         unsigned long miss;
 155                         unsigned long hit;
 156                 };
 157                 unsigned long miss_hit[2];
 158         };
 159 };
 160
 161 struct ftrace_likely_data {
 162         struct ftrace_branch_data       data;
 163         unsigned long                   constant;
 164 };
 165
 166 #if defined(CC_USING_HOTPATCH)
 167 #define notrace                 __attribute__((hotpatch(0, 0)))
 168 #elif defined(CC_USING_PATCHABLE_FUNCTION_ENTRY)
 169 #define notrace                 __attribute__((patchable_function_entry(0, 0)))
 170 #else
 171 #define notrace                 __attribute__((__no_instrument_function__))
 172 #endif
 173
 174 /*
 175  * it doesn't make sense on ARM (currently the only user of __naked)
 176  * to trace naked functions because then mcount is called without
 177  * stack and frame pointer being set up and there is no chance to
 178  * restore the lr register to the value before mcount was called.
 179  */
 180 #define __naked                 __attribute__((__naked__)) notrace
 181
 182 /*
 183  * Prefer gnu_inline, so that extern inline functions do not emit an
 184  * externally visible function. This makes extern inline behave as per gnu89
 185  * semantics rather than c99. This prevents multiple symbol definition errors
 186  * of extern inline functions at link time.
 187  * A lot of inline functions can cause havoc with function tracing.
 188  */
 189 #define inline inline __gnu_inline __inline_maybe_unused notrace
 190
 191 /*
 192  * gcc provides both __inline__ and __inline as alternate spellings of
 193  * the inline keyword, though the latter is undocumented. New kernel
 194  * code should only use the inline spelling, but some existing code
 195  * uses __inline__. Since we #define inline above, to ensure
 196  * __inline__ has the same semantics, we need this #define.
 197  *
 198  * However, the spelling __inline is strictly reserved for referring
 199  * to the bare keyword.
 200  */
 201 #define __inline__ inline
 202
 203 /*
 204  * GCC does not warn about unused static inline functions for -Wunused-function.
 205  * Suppress the warning in clang as well by using __maybe_unused, but enable it
 206  * for W=1 build. This will allow clang to find unused functions. Remove the
 207  * __inline_maybe_unused entirely after fixing most of -Wunused-function warnings.
 208  */
 209 #ifdef KBUILD_EXTRA_WARN1
 210 #define __inline_maybe_unused
 211 #else
 212 #define __inline_maybe_unused __maybe_unused
 213 #endif
 214
 215 /*
 216  * Rather then using noinline to prevent stack consumption, use
 217  * noinline_for_stack instead.  For documentation reasons.
 218  */
 219 #define noinline_for_stack noinline
 220
 221 /*
 222  * Sanitizer helper attributes: Because using __always_inline and
 223  * __no_sanitize_* conflict, provide helper attributes that will either expand
 224  * to __no_sanitize_* in compilation units where instrumentation is enabled
 225  * (__SANITIZE_*__), or __always_inline in compilation units without
 226  * instrumentation (__SANITIZE_*__ undefined).
 227  */
 228 #ifdef __SANITIZE_ADDRESS__
 229 /*
 230  * We can't declare function 'inline' because __no_sanitize_address conflicts
 231  * with inlining. Attempt to inline it may cause a build failure.
 232  *     https://gcc.gnu.org/bugzilla/show_bug.cgi?id=67368
 233  * '__maybe_unused' allows us to avoid defined-but-not-used warnings.
 234  */
 235 # define __no_kasan_or_inline __no_sanitize_address notrace __maybe_unused
 236 # define __no_sanitize_or_inline __no_kasan_or_inline
 237 #else
 238 # define __no_kasan_or_inline __always_inline
 239 #endif
 240
 241 #ifdef __SANITIZE_THREAD__
 242 /*
 243  * Clang still emits instrumentation for __tsan_func_{entry,exit}() and builtin
 244  * atomics even with __no_sanitize_thread (to avoid false positives in userspace
 245  * ThreadSanitizer). The kernel's requirements are stricter and we really do not
 246  * want any instrumentation with __no_kcsan.
 247  *
 248  * Therefore we add __disable_sanitizer_instrumentation where available to
 249  * disable all instrumentation. See Kconfig.kcsan where this is mandatory.
 250  */
 251 # define __no_kcsan __no_sanitize_thread __disable_sanitizer_instrumentation
 252 # define __no_sanitize_or_inline __no_kcsan notrace __maybe_unused
 253 #else
 254 # define __no_kcsan
 255 #endif
 256
 257 #ifndef __no_sanitize_or_inline
 258 #define __no_sanitize_or_inline __always_inline
 259 #endif
 260
 261 /* Section for code which can't be instrumented at all */
 262 #define __noinstr_section(section)                                      \
 263         noinline notrace __attribute((__section__(section)))            \
 264         __no_kcsan __no_sanitize_address __no_profile __no_sanitize_coverage \
 265         __no_sanitize_memory
 266
 267 #define noinstr __noinstr_section(".noinstr.text")
 268
 269 /*
 270  * The __cpuidle section is used twofold:
 271  *
 272  *  1) the original use -- identifying if a CPU is 'stuck' in idle state based
 273  *     on it's instruction pointer. See cpu_in_idle().
 274  *
 275  *  2) supressing instrumentation around where cpuidle disables RCU; where the
 276  *     function isn't strictly required for #1, this is interchangeable with
 277  *     noinstr.
 278  */
 279 #define __cpuidle __noinstr_section(".cpuidle.text")
 280
 281 #endif /* __KERNEL__ */
 282
 283 #endif /* __ASSEMBLY__ */
 284
 285 /*
 286  * The below symbols may be defined for one or more, but not ALL, of the above
 287  * compilers. We don't consider that to be an error, so set them to nothing.
 288  * For example, some of them are for compiler specific plugins.
 289  */
 290 #ifndef __latent_entropy
 291 # define __latent_entropy
 292 #endif
 293
 294 #if defined(RANDSTRUCT) && !defined(__CHECKER__)
 295 # define __randomize_layout __designated_init __attribute__((randomize_layout))
 296 # define __no_randomize_layout __attribute__((no_randomize_layout))
 297 /* This anon struct can add padding, so only enable it under randstruct. */
 298 # define randomized_struct_fields_start struct {
 299 # define randomized_struct_fields_end   } __randomize_layout;
 300 #else
 301 # define __randomize_layout __designated_init
 302 # define __no_randomize_layout
 303 # define randomized_struct_fields_start
 304 # define randomized_struct_fields_end
 305 #endif
 306
 307 #ifndef __noscs
 308 # define __noscs
 309 #endif
 310
 311 #ifndef __nocfi
 312 # define __nocfi
 313 #endif
 314
 315 /*
 316  * Any place that could be marked with the "alloc_size" attribute is also
 317  * a place to be marked with the "malloc" attribute, except those that may
 318  * be performing a _reallocation_, as that may alias the existing pointer.
 319  * For these, use __realloc_size().
 320  */
 321 #ifdef __alloc_size__
 322 # define __alloc_size(x, ...)   __alloc_size__(x, ## __VA_ARGS__) __malloc
 323 # define __realloc_size(x, ...) __alloc_size__(x, ## __VA_ARGS__)
 324 #else
 325 # define __alloc_size(x, ...)   __malloc
 326 # define __realloc_size(x, ...)
 327 #endif
 328
 329 #ifndef asm_volatile_goto
 330 #define asm_volatile_goto(x...) asm goto(x)
 331 #endif
 332
 333 #ifdef CONFIG_CC_HAS_ASM_INLINE
 334 #define asm_inline asm __inline
 335 #else
 336 #define asm_inline asm
 337 #endif
 338
 339 /* Are two types/vars the same type (ignoring qualifiers)? */
 340 #define __same_type(a, b) __builtin_types_compatible_p(typeof(a), typeof(b))
 341
 342 /*
 343  * __unqual_scalar_typeof(x) - Declare an unqualified scalar type, leaving
 344  *                             non-scalar types unchanged.
 345  */
 346 /*
 347  * Prefer C11 _Generic for better compile-times and simpler code. Note: 'char'
 348  * is not type-compatible with 'signed char', and we define a separate case.
 349  */
 350 #define __scalar_type_to_expr_cases(type)                               \
 351                 unsigned type:  (unsigned type)0,                       \
 352                 signed type:    (signed type)0
 353
 354 #define __unqual_scalar_typeof(x) typeof(                               \
 355                 _Generic((x),                                           \
 356                          char:  (char)0,                                \
 357                          __scalar_type_to_expr_cases(char),             \
 358                          __scalar_type_to_expr_cases(short),            \
 359                          __scalar_type_to_expr_cases(int),              \
 360                          __scalar_type_to_expr_cases(long),             \
 361                          __scalar_type_to_expr_cases(long long),        \
 362                          default: (x)))
 363
 364 /* Is this type a native word size -- useful for atomic operations */
 365 #define __native_word(t) \
 366         (sizeof(t) == sizeof(char) || sizeof(t) == sizeof(short) || \
 367          sizeof(t) == sizeof(int) || sizeof(t) == sizeof(long))
 368
 369 #ifdef __OPTIMIZE__
 370 # define __compiletime_assert(condition, msg, prefix, suffix)           \
 371         do {                                                            \
 372                 /*                                                      \
 373                  * __noreturn is needed to give the compiler enough     \
 374                  * information to avoid certain possibly-uninitialized  \
 375                  * warnings (regardless of the build failing).          \
 376                  */                                                     \
 377                 __noreturn extern void prefix ## suffix(void)           \
 378                         __compiletime_error(msg);                       \
 379                 if (!(condition))                                       \
 380                         prefix ## suffix();                             \
 381         } while (0)
 382 #else
 383 # define __compiletime_assert(condition, msg, prefix, suffix) do { } while (0)
 384 #endif
 385
 386 #define _compiletime_assert(condition, msg, prefix, suffix) \
 387         __compiletime_assert(condition, msg, prefix, suffix)
 388
 389 /**
 390  * compiletime_assert - break build and emit msg if condition is false
 391  * @condition: a compile-time constant condition to check
 392  * @msg:       a message to emit if condition is false
 393  *
 394  * In tradition of POSIX assert, this macro will break the build if the
 395  * supplied condition is *false*, emitting the supplied error message if the
 396  * compiler has support to do so.
 397  */
 398 #define compiletime_assert(condition, msg) \
 399         _compiletime_assert(condition, msg, __compiletime_assert_, __COUNTER__)
 400
 401 #define compiletime_assert_atomic_type(t)                               \
 402         compiletime_assert(__native_word(t),                            \
 403                 "Need native word sized stores/loads for atomicity.")
 404
 405 /* Helpers for emitting diagnostics in pragmas. */
 406 #ifndef __diag
 407 #define __diag(string)
 408 #endif
 409
 410 #ifndef __diag_GCC
 411 #define __diag_GCC(version, severity, string)
 412 #endif
 413
 414 #define __diag_push()   __diag(push)
 415 #define __diag_pop()    __diag(pop)
 416
 417 #define __diag_ignore(compiler, version, option, comment) \
 418         __diag_ ## compiler(version, ignore, option)
 419 #define __diag_warn(compiler, version, option, comment) \
 420         __diag_ ## compiler(version, warn, option)
 421 #define __diag_error(compiler, version, option, comment) \
 422         __diag_ ## compiler(version, error, option)
 423
 424 #ifndef __diag_ignore_all
 425 #define __diag_ignore_all(option, comment)
 426 #endif
 427
 428 #endif /* __LINUX_COMPILER_TYPES_H */