tools/testing/selftests/kselftest.h

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 /*
   3  * kselftest.h: low-level kselftest framework to include from
   4  *              selftest programs. When possible, please use
   5  *              kselftest_harness.h instead.
   6  *
   7  * Copyright (c) 2014 Shuah Khan <[email protected]>
   8  * Copyright (c) 2014 Samsung Electronics Co., Ltd.
   9  *
  10  * Using this API consists of first counting how many tests your code
  11  * has to run, and then starting up the reporting:
  12  *
  13  *     ksft_print_header();
  14  *     ksft_set_plan(total_number_of_tests);
  15  *
  16  * For each test, report any progress, debugging, etc with:
  17  *
  18  *     ksft_print_msg(fmt, ...);
  19  *     ksft_perror(msg);
  20  *
  21  * and finally report the pass/fail/skip/xfail state of the test with one of:
  22  *
  23  *     ksft_test_result(condition, fmt, ...);
  24  *     ksft_test_result_report(result, fmt, ...);
  25  *     ksft_test_result_pass(fmt, ...);
  26  *     ksft_test_result_fail(fmt, ...);
  27  *     ksft_test_result_skip(fmt, ...);
  28  *     ksft_test_result_xfail(fmt, ...);
  29  *     ksft_test_result_error(fmt, ...);
  30  *     ksft_test_result_code(exit_code, test_name, fmt, ...);
  31  *
  32  * When all tests are finished, clean up and exit the program with one of:
  33  *
  34  *    ksft_finished();
  35  *    ksft_exit(condition);
  36  *    ksft_exit_pass();
  37  *    ksft_exit_fail();
  38  *
  39  * If the program wants to report details on why the entire program has
  40  * failed, it can instead exit with a message (this is usually done when
  41  * the program is aborting before finishing all tests):
  42  *
  43  *    ksft_exit_fail_msg(fmt, ...);
  44  *    ksft_exit_fail_perror(msg);
  45  *
  46  */
  47 #ifndef __KSELFTEST_H
  48 #define __KSELFTEST_H
  49
  50 #ifndef NOLIBC
  51 #include <errno.h>
  52 #include <stdlib.h>
  53 #include <unistd.h>
  54 #include <stdarg.h>
  55 #include <string.h>
  56 #include <stdio.h>
  57 #include <sys/utsname.h>
  58 #endif
  59
  60 #ifndef ARRAY_SIZE
  61 #define ARRAY_SIZE(arr) (sizeof(arr) / sizeof((arr)[0]))
  62 #endif
  63
  64 /*
  65  * gcc cpuid.h provides __cpuid_count() since v4.4.
  66  * Clang/LLVM cpuid.h provides  __cpuid_count() since v3.4.0.
  67  *
  68  * Provide local define for tests needing __cpuid_count() because
  69  * selftests need to work in older environments that do not yet
  70  * have __cpuid_count().
  71  */
  72 #ifndef __cpuid_count
  73 #define __cpuid_count(level, count, a, b, c, d)                         \
  74         __asm__ __volatile__ ("cpuid\n\t"                               \
  75                               : "=a" (a), "=b" (b), "=c" (c), "=d" (d)  \
  76                               : "0" (level), "2" (count))
  77 #endif
  78
  79 /* define kselftest exit codes */
  80 #define KSFT_PASS  0
  81 #define KSFT_FAIL  1
  82 #define KSFT_XFAIL 2
  83 #define KSFT_XPASS 3
  84 #define KSFT_SKIP  4
  85
  86 #ifndef __noreturn
  87 #define __noreturn       __attribute__((__noreturn__))
  88 #endif
  89 #define __printf(a, b)   __attribute__((format(printf, a, b)))
  90
  91 /* counters */
  92 struct ksft_count {
  93         unsigned int ksft_pass;
  94         unsigned int ksft_fail;
  95         unsigned int ksft_xfail;
  96         unsigned int ksft_xpass;
  97         unsigned int ksft_xskip;
  98         unsigned int ksft_error;
  99 };
 100
 101 static struct ksft_count ksft_cnt;
 102 static unsigned int ksft_plan;
 103
 104 static inline unsigned int ksft_test_num(void)
 105 {
 106         return ksft_cnt.ksft_pass + ksft_cnt.ksft_fail +
 107                 ksft_cnt.ksft_xfail + ksft_cnt.ksft_xpass +
 108                 ksft_cnt.ksft_xskip + ksft_cnt.ksft_error;
 109 }
 110
 111 static inline void ksft_inc_pass_cnt(void) { ksft_cnt.ksft_pass++; }
 112 static inline void ksft_inc_fail_cnt(void) { ksft_cnt.ksft_fail++; }
 113 static inline void ksft_inc_xfail_cnt(void) { ksft_cnt.ksft_xfail++; }
 114 static inline void ksft_inc_xpass_cnt(void) { ksft_cnt.ksft_xpass++; }
 115 static inline void ksft_inc_xskip_cnt(void) { ksft_cnt.ksft_xskip++; }
 116 static inline void ksft_inc_error_cnt(void) { ksft_cnt.ksft_error++; }
 117
 118 static inline int ksft_get_pass_cnt(void) { return ksft_cnt.ksft_pass; }
 119 static inline int ksft_get_fail_cnt(void) { return ksft_cnt.ksft_fail; }
 120 static inline int ksft_get_xfail_cnt(void) { return ksft_cnt.ksft_xfail; }
 121 static inline int ksft_get_xpass_cnt(void) { return ksft_cnt.ksft_xpass; }
 122 static inline int ksft_get_xskip_cnt(void) { return ksft_cnt.ksft_xskip; }
 123 static inline int ksft_get_error_cnt(void) { return ksft_cnt.ksft_error; }
 124
 125 static inline void ksft_print_header(void)
 126 {
 127         /*
 128          * Force line buffering; If stdout is not connected to a terminal, it
 129          * will otherwise default to fully buffered, which can cause output
 130          * duplication if there is content in the buffer when fork()ing. If
 131          * there is a crash, line buffering also means the most recent output
 132          * line will be visible.
 133          */
 134         setvbuf(stdout, NULL, _IOLBF, 0);
 135
 136         if (!(getenv("KSFT_TAP_LEVEL")))
 137                 printf("TAP version 13\n");
 138 }
 139
 140 static inline void ksft_set_plan(unsigned int plan)
 141 {
 142         ksft_plan = plan;
 143         printf("1..%u\n", ksft_plan);
 144 }
 145
 146 static inline void ksft_print_cnts(void)
 147 {
 148         if (ksft_plan != ksft_test_num())
 149                 printf("# Planned tests != run tests (%u != %u)\n",
 150                         ksft_plan, ksft_test_num());
 151         printf("# Totals: pass:%u fail:%u xfail:%u xpass:%u skip:%u error:%u\n",
 152                 ksft_cnt.ksft_pass, ksft_cnt.ksft_fail,
 153                 ksft_cnt.ksft_xfail, ksft_cnt.ksft_xpass,
 154                 ksft_cnt.ksft_xskip, ksft_cnt.ksft_error);
 155 }
 156
 157 static inline __printf(1, 2) void ksft_print_msg(const char *msg, ...)
 158 {
 159         int saved_errno = errno;
 160         va_list args;
 161
 162         va_start(args, msg);
 163         printf("# ");
 164         errno = saved_errno;
 165         vprintf(msg, args);
 166         va_end(args);
 167 }
 168
 169 static inline void ksft_perror(const char *msg)
 170 {
 171         ksft_print_msg("%s: %s (%d)\n", msg, strerror(errno), errno);
 172 }
 173
 174 static inline __printf(1, 2) void ksft_test_result_pass(const char *msg, ...)
 175 {
 176         int saved_errno = errno;
 177         va_list args;
 178
 179         ksft_cnt.ksft_pass++;
 180
 181         va_start(args, msg);
 182         printf("ok %u ", ksft_test_num());
 183         errno = saved_errno;
 184         vprintf(msg, args);
 185         va_end(args);
 186 }
 187
 188 static inline __printf(1, 2) void ksft_test_result_fail(const char *msg, ...)
 189 {
 190         int saved_errno = errno;
 191         va_list args;
 192
 193         ksft_cnt.ksft_fail++;
 194
 195         va_start(args, msg);
 196         printf("not ok %u ", ksft_test_num());
 197         errno = saved_errno;
 198         vprintf(msg, args);
 199         va_end(args);
 200 }
 201
 202 /**
 203  * ksft_test_result() - Report test success based on truth of condition
 204  *
 205  * @condition: if true, report test success, otherwise failure.
 206  */
 207 #define ksft_test_result(condition, fmt, ...) do {      \
 208         if (!!(condition))                              \
 209                 ksft_test_result_pass(fmt, ##__VA_ARGS__);\
 210         else                                            \
 211                 ksft_test_result_fail(fmt, ##__VA_ARGS__);\
 212         } while (0)
 213
 214 static inline __printf(1, 2) void ksft_test_result_xfail(const char *msg, ...)
 215 {
 216         int saved_errno = errno;
 217         va_list args;
 218
 219         ksft_cnt.ksft_xfail++;
 220
 221         va_start(args, msg);
 222         printf("ok %u # XFAIL ", ksft_test_num());
 223         errno = saved_errno;
 224         vprintf(msg, args);
 225         va_end(args);
 226 }
 227
 228 static inline __printf(1, 2) void ksft_test_result_skip(const char *msg, ...)
 229 {
 230         int saved_errno = errno;
 231         va_list args;
 232
 233         ksft_cnt.ksft_xskip++;
 234
 235         va_start(args, msg);
 236         printf("ok %u # SKIP ", ksft_test_num());
 237         errno = saved_errno;
 238         vprintf(msg, args);
 239         va_end(args);
 240 }
 241
 242 /* TODO: how does "error" differ from "fail" or "skip"? */
 243 static inline __printf(1, 2) void ksft_test_result_error(const char *msg, ...)
 244 {
 245         int saved_errno = errno;
 246         va_list args;
 247
 248         ksft_cnt.ksft_error++;
 249
 250         va_start(args, msg);
 251         printf("not ok %u # error ", ksft_test_num());
 252         errno = saved_errno;
 253         vprintf(msg, args);
 254         va_end(args);
 255 }
 256
 257 static inline __printf(3, 4)
 258 void ksft_test_result_code(int exit_code, const char *test_name,
 259                            const char *msg, ...)
 260 {
 261         const char *tap_code = "ok";
 262         const char *directive = "";
 263         int saved_errno = errno;
 264         va_list args;
 265
 266         switch (exit_code) {
 267         case KSFT_PASS:
 268                 ksft_cnt.ksft_pass++;
 269                 break;
 270         case KSFT_XFAIL:
 271                 directive = " # XFAIL ";
 272                 ksft_cnt.ksft_xfail++;
 273                 break;
 274         case KSFT_XPASS:
 275                 directive = " # XPASS ";
 276                 ksft_cnt.ksft_xpass++;
 277                 break;
 278         case KSFT_SKIP:
 279                 directive = " # SKIP ";
 280                 ksft_cnt.ksft_xskip++;
 281                 break;
 282         case KSFT_FAIL:
 283         default:
 284                 tap_code = "not ok";
 285                 ksft_cnt.ksft_fail++;
 286                 break;
 287         }
 288
 289         /* Docs seem to call for double space if directive is absent */
 290         if (!directive[0] && msg)
 291                 directive = " #  ";
 292
 293         printf("%s %u %s%s", tap_code, ksft_test_num(), test_name, directive);
 294         errno = saved_errno;
 295         if (msg) {
 296                 va_start(args, msg);
 297                 vprintf(msg, args);
 298                 va_end(args);
 299         }
 300         printf("\n");
 301 }
 302
 303 /**
 304  * ksft_test_result() - Report test success based on truth of condition
 305  *
 306  * @condition: if true, report test success, otherwise failure.
 307  */
 308 #define ksft_test_result_report(result, fmt, ...) do {          \
 309         switch (result) {                                       \
 310         case KSFT_PASS:                                         \
 311                 ksft_test_result_pass(fmt, ##__VA_ARGS__);      \
 312                 break;                                          \
 313         case KSFT_FAIL:                                         \
 314                 ksft_test_result_fail(fmt, ##__VA_ARGS__);      \
 315                 break;                                          \
 316         case KSFT_XFAIL:                                        \
 317                 ksft_test_result_xfail(fmt, ##__VA_ARGS__);     \
 318                 break;                                          \
 319         case KSFT_SKIP:                                         \
 320                 ksft_test_result_skip(fmt, ##__VA_ARGS__);      \
 321                 break;                                          \
 322         } } while (0)
 323
 324 static inline __noreturn void ksft_exit_pass(void)
 325 {
 326         ksft_print_cnts();
 327         exit(KSFT_PASS);
 328 }
 329
 330 static inline __noreturn void ksft_exit_fail(void)
 331 {
 332         ksft_print_cnts();
 333         exit(KSFT_FAIL);
 334 }
 335
 336 /**
 337  * ksft_exit() - Exit selftest based on truth of condition
 338  *
 339  * @condition: if true, exit self test with success, otherwise fail.
 340  */
 341 #define ksft_exit(condition) do {       \
 342         if (!!(condition))              \
 343                 ksft_exit_pass();       \
 344         else                            \
 345                 ksft_exit_fail();       \
 346         } while (0)
 347
 348 /**
 349  * ksft_finished() - Exit selftest with success if all tests passed
 350  */
 351 #define ksft_finished()                 \
 352         ksft_exit(ksft_plan ==          \
 353                   ksft_cnt.ksft_pass +  \
 354                   ksft_cnt.ksft_xfail + \
 355                   ksft_cnt.ksft_xskip)
 356
 357 static inline __noreturn __printf(1, 2) void ksft_exit_fail_msg(const char *msg, ...)
 358 {
 359         int saved_errno = errno;
 360         va_list args;
 361
 362         va_start(args, msg);
 363         printf("Bail out! ");
 364         errno = saved_errno;
 365         vprintf(msg, args);
 366         va_end(args);
 367
 368         ksft_print_cnts();
 369         exit(KSFT_FAIL);
 370 }
 371
 372 static inline __noreturn void ksft_exit_fail_perror(const char *msg)
 373 {
 374 #ifndef NOLIBC
 375         ksft_exit_fail_msg("%s: %s (%d)\n", msg, strerror(errno), errno);
 376 #else
 377         /*
 378          * nolibc doesn't provide strerror() and it seems
 379          * inappropriate to add one, just print the errno.
 380          */
 381         ksft_exit_fail_msg("%s: %d)\n", msg, errno);
 382 #endif
 383 }
 384
 385 static inline __noreturn void ksft_exit_xfail(void)
 386 {
 387         ksft_print_cnts();
 388         exit(KSFT_XFAIL);
 389 }
 390
 391 static inline __noreturn void ksft_exit_xpass(void)
 392 {
 393         ksft_print_cnts();
 394         exit(KSFT_XPASS);
 395 }
 396
 397 static inline __noreturn __printf(1, 2) void ksft_exit_skip(const char *msg, ...)
 398 {
 399         int saved_errno = errno;
 400         va_list args;
 401
 402         va_start(args, msg);
 403
 404         /*
 405          * FIXME: several tests misuse ksft_exit_skip so produce
 406          * something sensible if some tests have already been run
 407          * or a plan has been printed.  Those tests should use
 408          * ksft_test_result_skip or ksft_exit_fail_msg instead.
 409          */
 410         if (ksft_plan || ksft_test_num()) {
 411                 ksft_cnt.ksft_xskip++;
 412                 printf("ok %d # SKIP ", 1 + ksft_test_num());
 413         } else {
 414                 printf("1..0 # SKIP ");
 415         }
 416         if (msg) {
 417                 errno = saved_errno;
 418                 vprintf(msg, args);
 419                 va_end(args);
 420         }
 421         if (ksft_test_num())
 422                 ksft_print_cnts();
 423         exit(KSFT_SKIP);
 424 }
 425
 426 static inline int ksft_min_kernel_version(unsigned int min_major,
 427                                           unsigned int min_minor)
 428 {
 429 #ifdef NOLIBC
 430         ksft_print_msg("NOLIBC: Can't check kernel version: Function not implemented\n");
 431         return 0;
 432 #else
 433         unsigned int major, minor;
 434         struct utsname info;
 435
 436         if (uname(&info) || sscanf(info.release, "%u.%u.", &major, &minor) != 2)
 437                 ksft_exit_fail_msg("Can't parse kernel version\n");
 438
 439         return major > min_major || (major == min_major && minor >= min_minor);
 440 #endif
 441 }
 442
 443 #endif /* __KSELFTEST_H */