drivers/gpu/drm/amd/display/amdgpu_dm/dc_fpu.c

   1 // SPDX-License-Identifier: MIT
   2 /*
   3  * Copyright 2021 Advanced Micro Devices, Inc.
   4  *
   5  * Permission is hereby granted, free of charge, to any person obtaining a
   6  * copy of this software and associated documentation files (the "Software"),
   7  * to deal in the Software without restriction, including without limitation
   8  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
   9  * and/or sell copies of the Software, and to permit persons to whom the
  10  * Software is furnished to do so, subject to the following conditions:
  11  *
  12  * The above copyright notice and this permission notice shall be included in
  13  * all copies or substantial portions of the Software.
  14  *
  15  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  16  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  17  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL
  18  * THE COPYRIGHT HOLDER(S) OR AUTHOR(S) BE LIABLE FOR ANY CLAIM, DAMAGES OR
  19  * OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE,
  20  * ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR
  21  * OTHER DEALINGS IN THE SOFTWARE.
  22  *
  23  * Authors: AMD
  24  *
  25  */
  26
  27 #include "dc_trace.h"
  28
  29 #if defined(CONFIG_X86)
  30 #include <asm/fpu/api.h>
  31 #elif defined(CONFIG_PPC64)
  32 #include <asm/switch_to.h>
  33 #include <asm/cputable.h>
  34 #elif defined(CONFIG_ARM64)
  35 #include <asm/neon.h>
  36 #elif defined(CONFIG_LOONGARCH)
  37 #include <asm/fpu.h>
  38 #endif
  39
  40 /**
  41  * DOC: DC FPU manipulation overview
  42  *
  43  * DC core uses FPU operations in multiple parts of the code, which requires a
  44  * more specialized way to manage these areas' entrance. To fulfill this
  45  * requirement, we created some wrapper functions that encapsulate
  46  * kernel_fpu_begin/end to better fit our need in the display component. In
  47  * summary, in this file, you can find functions related to FPU operation
  48  * management.
  49  */
  50
  51 static DEFINE_PER_CPU(int, fpu_recursion_depth);
  52
  53 /**
  54  * dc_assert_fp_enabled - Check if FPU protection is enabled
  55  *
  56  * This function tells if the code is already under FPU protection or not. A
  57  * function that works as an API for a set of FPU operations can use this
  58  * function for checking if the caller invoked it after DC_FP_START(). For
  59  * example, take a look at dcn20_fpu.c file.
  60  */
  61 inline void dc_assert_fp_enabled(void)
  62 {
  63         int *pcpu, depth = 0;
  64
  65         pcpu = get_cpu_ptr(&fpu_recursion_depth);
  66         depth = *pcpu;
  67         put_cpu_ptr(&fpu_recursion_depth);
  68
  69         ASSERT(depth >= 1);
  70 }
  71
  72 /**
  73  * dc_fpu_begin - Enables FPU protection
  74  * @function_name: A string containing the function name for debug purposes
  75  *   (usually __func__)
  76  *
  77  * @line: A line number where DC_FP_START was invoked for debug purpose
  78  *   (usually __LINE__)
  79  *
  80  * This function is responsible for managing the use of kernel_fpu_begin() with
  81  * the advantage of providing an event trace for debugging.
  82  *
  83  * Note: Do not call this function directly; always use DC_FP_START().
  84  */
  85 void dc_fpu_begin(const char *function_name, const int line)
  86 {
  87         int *pcpu;
  88
  89         pcpu = get_cpu_ptr(&fpu_recursion_depth);
  90         *pcpu += 1;
  91
  92         if (*pcpu == 1) {
  93 #if defined(CONFIG_X86) || defined(CONFIG_LOONGARCH)
  94                 migrate_disable();
  95                 kernel_fpu_begin();
  96 #elif defined(CONFIG_PPC64)
  97                 if (cpu_has_feature(CPU_FTR_VSX_COMP)) {
  98                         preempt_disable();
  99                         enable_kernel_vsx();
 100                 } else if (cpu_has_feature(CPU_FTR_ALTIVEC_COMP)) {
 101                         preempt_disable();
 102                         enable_kernel_altivec();
 103                 } else if (!cpu_has_feature(CPU_FTR_FPU_UNAVAILABLE)) {
 104                         preempt_disable();
 105                         enable_kernel_fp();
 106                 }
 107 #elif defined(CONFIG_ARM64)
 108                 kernel_neon_begin();
 109 #endif
 110         }
 111
 112         TRACE_DCN_FPU(true, function_name, line, *pcpu);
 113         put_cpu_ptr(&fpu_recursion_depth);
 114 }
 115
 116 /**
 117  * dc_fpu_end - Disable FPU protection
 118  * @function_name: A string containing the function name for debug purposes
 119  * @line: A-line number where DC_FP_END was invoked for debug purpose
 120  *
 121  * This function is responsible for managing the use of kernel_fpu_end() with
 122  * the advantage of providing an event trace for debugging.
 123  *
 124  * Note: Do not call this function directly; always use DC_FP_END().
 125  */
 126 void dc_fpu_end(const char *function_name, const int line)
 127 {
 128         int *pcpu;
 129
 130         pcpu = get_cpu_ptr(&fpu_recursion_depth);
 131         *pcpu -= 1;
 132         if (*pcpu <= 0) {
 133 #if defined(CONFIG_X86) || defined(CONFIG_LOONGARCH)
 134                 kernel_fpu_end();
 135                 migrate_enable();
 136 #elif defined(CONFIG_PPC64)
 137                 if (cpu_has_feature(CPU_FTR_VSX_COMP)) {
 138                         disable_kernel_vsx();
 139                         preempt_enable();
 140                 } else if (cpu_has_feature(CPU_FTR_ALTIVEC_COMP)) {
 141                         disable_kernel_altivec();
 142                         preempt_enable();
 143                 } else if (!cpu_has_feature(CPU_FTR_FPU_UNAVAILABLE)) {
 144                         disable_kernel_fp();
 145                         preempt_enable();
 146                 }
 147 #elif defined(CONFIG_ARM64)
 148                 kernel_neon_end();
 149 #endif
 150         }
 151
 152         TRACE_DCN_FPU(false, function_name, line, *pcpu);
 153         put_cpu_ptr(&fpu_recursion_depth);
 154 }