tools/patman/test_util.py

   1 # SPDX-License-Identifier: GPL-2.0+
   2 #
   3 # Copyright (c) 2016 Google, Inc
   4 #
   5
   6 from __future__ import print_function
   7
   8 from contextlib import contextmanager
   9 import glob
  10 import os
  11 import sys
  12
  13 import command
  14
  15 try:
  16   from StringIO import StringIO
  17 except ImportError:
  18   from io import StringIO
  19
  20 PYTHON = 'python%d' % sys.version_info[0]
  21
  22
  23 def RunTestCoverage(prog, filter_fname, exclude_list, build_dir, required=None):
  24     """Run tests and check that we get 100% coverage
  25
  26     Args:
  27         prog: Program to run (with be passed a '-t' argument to run tests
  28         filter_fname: Normally all *.py files in the program's directory will
  29             be included. If this is not None, then it is used to filter the
  30             list so that only filenames that don't contain filter_fname are
  31             included.
  32         exclude_list: List of file patterns to exclude from the coverage
  33             calculation
  34         build_dir: Build directory, used to locate libfdt.py
  35         required: List of modules which must be in the coverage report
  36
  37     Raises:
  38         ValueError if the code coverage is not 100%
  39     """
  40     # This uses the build output from sandbox_spl to get _libfdt.so
  41     path = os.path.dirname(prog)
  42     if filter_fname:
  43         glob_list = glob.glob(os.path.join(path, '*.py'))
  44         glob_list = [fname for fname in glob_list if filter_fname in fname]
  45     else:
  46         glob_list = []
  47     glob_list += exclude_list
  48     glob_list += ['*libfdt.py', '*site-packages*', '*dist-packages*']
  49     test_cmd = 'test' if 'binman.py' in prog else '-t'
  50     cmd = ('PYTHONPATH=$PYTHONPATH:%s/sandbox_spl/tools %s-coverage run '
  51            '--omit "%s" %s %s -P1' % (build_dir, PYTHON, ','.join(glob_list),
  52                                       prog, test_cmd))
  53     os.system(cmd)
  54     stdout = command.Output('%s-coverage' % PYTHON, 'report')
  55     lines = stdout.splitlines()
  56     if required:
  57         # Convert '/path/to/name.py' just the module name 'name'
  58         test_set = set([os.path.splitext(os.path.basename(line.split()[0]))[0]
  59                         for line in lines if '/etype/' in line])
  60         missing_list = required
  61         missing_list.discard('__init__')
  62         missing_list.difference_update(test_set)
  63         if missing_list:
  64             print('Missing tests for %s' % (', '.join(missing_list)))
  65             print(stdout)
  66             ok = False
  67
  68     coverage = lines[-1].split(' ')[-1]
  69     ok = True
  70     print(coverage)
  71     if coverage != '100%':
  72         print(stdout)
  73         print("Type '%s-coverage html' to get a report in "
  74               'htmlcov/index.html' % PYTHON)
  75         print('Coverage error: %s, but should be 100%%' % coverage)
  76         ok = False
  77     if not ok:
  78         raise ValueError('Test coverage failure')
  79
  80
  81 # Use this to suppress stdout/stderr output:
  82 # with capture_sys_output() as (stdout, stderr)
  83 #   ...do something...
  84 @contextmanager
  85 def capture_sys_output():
  86     capture_out, capture_err = StringIO(), StringIO()
  87     old_out, old_err = sys.stdout, sys.stderr
  88     try:
  89         sys.stdout, sys.stderr = capture_out, capture_err
  90         yield capture_out, capture_err
  91     finally:
  92         sys.stdout, sys.stderr = old_out, old_err