arch/arm64/include/asm/el2_setup.h

   1 /* SPDX-License-Identifier: GPL-2.0-only */
   2 /*
   3  * Copyright (C) 2012,2013 - ARM Ltd
   4  * Author: Marc Zyngier <[email protected]>
   5  */
   6
   7 #ifndef __ARM_KVM_INIT_H__
   8 #define __ARM_KVM_INIT_H__
   9
  10 #ifndef __ASSEMBLY__
  11 #error Assembly-only header
  12 #endif
  13
  14 #include <asm/kvm_arm.h>
  15 #include <asm/ptrace.h>
  16 #include <asm/sysreg.h>
  17 #include <linux/irqchip/arm-gic-v3.h>
  18
  19 .macro __init_el2_sctlr
  20         mov_q   x0, INIT_SCTLR_EL2_MMU_OFF
  21         msr     sctlr_el2, x0
  22         isb
  23 .endm
  24
  25 /*
  26  * Allow Non-secure EL1 and EL0 to access physical timer and counter.
  27  * This is not necessary for VHE, since the host kernel runs in EL2,
  28  * and EL0 accesses are configured in the later stage of boot process.
  29  * Note that when HCR_EL2.E2H == 1, CNTHCTL_EL2 has the same bit layout
  30  * as CNTKCTL_EL1, and CNTKCTL_EL1 accessing instructions are redefined
  31  * to access CNTHCTL_EL2. This allows the kernel designed to run at EL1
  32  * to transparently mess with the EL0 bits via CNTKCTL_EL1 access in
  33  * EL2.
  34  */
  35 .macro __init_el2_timers
  36         mov     x0, #3                          // Enable EL1 physical timers
  37         msr     cnthctl_el2, x0
  38         msr     cntvoff_el2, xzr                // Clear virtual offset
  39 .endm
  40
  41 .macro __init_el2_debug
  42         mrs     x1, id_aa64dfr0_el1
  43         sbfx    x0, x1, #ID_AA64DFR0_EL1_PMUVer_SHIFT, #4
  44         cmp     x0, #1
  45         b.lt    .Lskip_pmu_\@                   // Skip if no PMU present
  46         mrs     x0, pmcr_el0                    // Disable debug access traps
  47         ubfx    x0, x0, #11, #5                 // to EL2 and allow access to
  48 .Lskip_pmu_\@:
  49         csel    x2, xzr, x0, lt                 // all PMU counters from EL1
  50
  51         /* Statistical profiling */
  52         ubfx    x0, x1, #ID_AA64DFR0_EL1_PMSVer_SHIFT, #4
  53         cbz     x0, .Lskip_spe_\@               // Skip if SPE not present
  54
  55         mrs_s   x0, SYS_PMBIDR_EL1              // If SPE available at EL2,
  56         and     x0, x0, #(1 << PMBIDR_EL1_P_SHIFT)
  57         cbnz    x0, .Lskip_spe_el2_\@           // then permit sampling of physical
  58         mov     x0, #(1 << PMSCR_EL2_PCT_SHIFT | \
  59                       1 << PMSCR_EL2_PA_SHIFT)
  60         msr_s   SYS_PMSCR_EL2, x0               // addresses and physical counter
  61 .Lskip_spe_el2_\@:
  62         mov     x0, #(MDCR_EL2_E2PB_MASK << MDCR_EL2_E2PB_SHIFT)
  63         orr     x2, x2, x0                      // If we don't have VHE, then
  64                                                 // use EL1&0 translation.
  65
  66 .Lskip_spe_\@:
  67         /* Trace buffer */
  68         ubfx    x0, x1, #ID_AA64DFR0_EL1_TraceBuffer_SHIFT, #4
  69         cbz     x0, .Lskip_trace_\@             // Skip if TraceBuffer is not present
  70
  71         mrs_s   x0, SYS_TRBIDR_EL1
  72         and     x0, x0, TRBIDR_PROG
  73         cbnz    x0, .Lskip_trace_\@             // If TRBE is available at EL2
  74
  75         mov     x0, #(MDCR_EL2_E2TB_MASK << MDCR_EL2_E2TB_SHIFT)
  76         orr     x2, x2, x0                      // allow the EL1&0 translation
  77                                                 // to own it.
  78
  79 .Lskip_trace_\@:
  80         msr     mdcr_el2, x2                    // Configure debug traps
  81 .endm
  82
  83 /* LORegions */
  84 .macro __init_el2_lor
  85         mrs     x1, id_aa64mmfr1_el1
  86         ubfx    x0, x1, #ID_AA64MMFR1_EL1_LO_SHIFT, 4
  87         cbz     x0, .Lskip_lor_\@
  88         msr_s   SYS_LORC_EL1, xzr
  89 .Lskip_lor_\@:
  90 .endm
  91
  92 /* Stage-2 translation */
  93 .macro __init_el2_stage2
  94         msr     vttbr_el2, xzr
  95 .endm
  96
  97 /* GICv3 system register access */
  98 .macro __init_el2_gicv3
  99         mrs     x0, id_aa64pfr0_el1
 100         ubfx    x0, x0, #ID_AA64PFR0_EL1_GIC_SHIFT, #4
 101         cbz     x0, .Lskip_gicv3_\@
 102
 103         mrs_s   x0, SYS_ICC_SRE_EL2
 104         orr     x0, x0, #ICC_SRE_EL2_SRE        // Set ICC_SRE_EL2.SRE==1
 105         orr     x0, x0, #ICC_SRE_EL2_ENABLE     // Set ICC_SRE_EL2.Enable==1
 106         msr_s   SYS_ICC_SRE_EL2, x0
 107         isb                                     // Make sure SRE is now set
 108         mrs_s   x0, SYS_ICC_SRE_EL2             // Read SRE back,
 109         tbz     x0, #0, .Lskip_gicv3_\@         // and check that it sticks
 110         msr_s   SYS_ICH_HCR_EL2, xzr            // Reset ICH_HCR_EL2 to defaults
 111 .Lskip_gicv3_\@:
 112 .endm
 113
 114 .macro __init_el2_hstr
 115         msr     hstr_el2, xzr                   // Disable CP15 traps to EL2
 116 .endm
 117
 118 /* Virtual CPU ID registers */
 119 .macro __init_el2_nvhe_idregs
 120         mrs     x0, midr_el1
 121         mrs     x1, mpidr_el1
 122         msr     vpidr_el2, x0
 123         msr     vmpidr_el2, x1
 124 .endm
 125
 126 /* Coprocessor traps */
 127 .macro __init_el2_nvhe_cptr
 128         mov     x0, #0x33ff
 129         msr     cptr_el2, x0                    // Disable copro. traps to EL2
 130 .endm
 131
 132 /* Disable any fine grained traps */
 133 .macro __init_el2_fgt
 134         mrs     x1, id_aa64mmfr0_el1
 135         ubfx    x1, x1, #ID_AA64MMFR0_EL1_FGT_SHIFT, #4
 136         cbz     x1, .Lskip_fgt_\@
 137
 138         mov     x0, xzr
 139         mrs     x1, id_aa64dfr0_el1
 140         ubfx    x1, x1, #ID_AA64DFR0_EL1_PMSVer_SHIFT, #4
 141         cmp     x1, #3
 142         b.lt    .Lset_debug_fgt_\@
 143         /* Disable PMSNEVFR_EL1 read and write traps */
 144         orr     x0, x0, #(1 << 62)
 145
 146 .Lset_debug_fgt_\@:
 147         msr_s   SYS_HDFGRTR_EL2, x0
 148         msr_s   SYS_HDFGWTR_EL2, x0
 149
 150         mov     x0, xzr
 151         mrs     x1, id_aa64pfr1_el1
 152         ubfx    x1, x1, #ID_AA64PFR1_EL1_SME_SHIFT, #4
 153         cbz     x1, .Lset_fgt_\@
 154
 155         /* Disable nVHE traps of TPIDR2 and SMPRI */
 156         orr     x0, x0, #HFGxTR_EL2_nSMPRI_EL1_MASK
 157         orr     x0, x0, #HFGxTR_EL2_nTPIDR2_EL0_MASK
 158
 159 .Lset_fgt_\@:
 160         msr_s   SYS_HFGRTR_EL2, x0
 161         msr_s   SYS_HFGWTR_EL2, x0
 162         msr_s   SYS_HFGITR_EL2, xzr
 163
 164         mrs     x1, id_aa64pfr0_el1             // AMU traps UNDEF without AMU
 165         ubfx    x1, x1, #ID_AA64PFR0_EL1_AMU_SHIFT, #4
 166         cbz     x1, .Lskip_fgt_\@
 167
 168         msr_s   SYS_HAFGRTR_EL2, xzr
 169 .Lskip_fgt_\@:
 170 .endm
 171
 172 .macro __init_el2_nvhe_prepare_eret
 173         mov     x0, #INIT_PSTATE_EL1
 174         msr     spsr_el2, x0
 175 .endm
 176
 177 /**
 178  * Initialize EL2 registers to sane values. This should be called early on all
 179  * cores that were booted in EL2. Note that everything gets initialised as
 180  * if VHE was not available. The kernel context will be upgraded to VHE
 181  * if possible later on in the boot process
 182  *
 183  * Regs: x0, x1 and x2 are clobbered.
 184  */
 185 .macro init_el2_state
 186         __init_el2_sctlr
 187         __init_el2_timers
 188         __init_el2_debug
 189         __init_el2_lor
 190         __init_el2_stage2
 191         __init_el2_gicv3
 192         __init_el2_hstr
 193         __init_el2_nvhe_idregs
 194         __init_el2_nvhe_cptr
 195         __init_el2_fgt
 196         __init_el2_nvhe_prepare_eret
 197 .endm
 198
 199 #ifndef __KVM_NVHE_HYPERVISOR__
 200 // This will clobber tmp1 and tmp2, and expect tmp1 to contain
 201 // the id register value as read from the HW
 202 .macro __check_override idreg, fld, width, pass, fail, tmp1, tmp2
 203         ubfx    \tmp1, \tmp1, #\fld, #\width
 204         cbz     \tmp1, \fail
 205
 206         adr_l   \tmp1, \idreg\()_override
 207         ldr     \tmp2, [\tmp1, FTR_OVR_VAL_OFFSET]
 208         ldr     \tmp1, [\tmp1, FTR_OVR_MASK_OFFSET]
 209         ubfx    \tmp2, \tmp2, #\fld, #\width
 210         ubfx    \tmp1, \tmp1, #\fld, #\width
 211         cmp     \tmp1, xzr
 212         and     \tmp2, \tmp2, \tmp1
 213         csinv   \tmp2, \tmp2, xzr, ne
 214         cbnz    \tmp2, \pass
 215         b       \fail
 216 .endm
 217
 218 // This will clobber tmp1 and tmp2
 219 .macro check_override idreg, fld, pass, fail, tmp1, tmp2
 220         mrs     \tmp1, \idreg\()_el1
 221         __check_override \idreg \fld 4 \pass \fail \tmp1 \tmp2
 222 .endm
 223 #else
 224 // This will clobber tmp
 225 .macro __check_override idreg, fld, width, pass, fail, tmp, ignore
 226         ldr_l   \tmp, \idreg\()_el1_sys_val
 227         ubfx    \tmp, \tmp, #\fld, #\width
 228         cbnz    \tmp, \pass
 229         b       \fail
 230 .endm
 231
 232 .macro check_override idreg, fld, pass, fail, tmp, ignore
 233         __check_override \idreg \fld 4 \pass \fail \tmp \ignore
 234 .endm
 235 #endif
 236
 237 .macro finalise_el2_state
 238         check_override id_aa64pfr0, ID_AA64PFR0_EL1_SVE_SHIFT, .Linit_sve_\@, .Lskip_sve_\@, x1, x2
 239
 240 .Linit_sve_\@:  /* SVE register access */
 241         mrs     x0, cptr_el2                    // Disable SVE traps
 242         bic     x0, x0, #CPTR_EL2_TZ
 243         msr     cptr_el2, x0
 244         isb
 245         mov     x1, #ZCR_ELx_LEN_MASK           // SVE: Enable full vector
 246         msr_s   SYS_ZCR_EL2, x1                 // length for EL1.
 247
 248 .Lskip_sve_\@:
 249         check_override id_aa64pfr1, ID_AA64PFR1_EL1_SME_SHIFT, .Linit_sme_\@, .Lskip_sme_\@, x1, x2
 250
 251 .Linit_sme_\@:  /* SME register access and priority mapping */
 252         mrs     x0, cptr_el2                    // Disable SME traps
 253         bic     x0, x0, #CPTR_EL2_TSM
 254         msr     cptr_el2, x0
 255         isb
 256
 257         mrs     x1, sctlr_el2
 258         orr     x1, x1, #SCTLR_ELx_ENTP2        // Disable TPIDR2 traps
 259         msr     sctlr_el2, x1
 260         isb
 261
 262         mov     x0, #0                          // SMCR controls
 263
 264         // Full FP in SM?
 265         mrs_s   x1, SYS_ID_AA64SMFR0_EL1
 266         __check_override id_aa64smfr0, ID_AA64SMFR0_EL1_FA64_SHIFT, 1, .Linit_sme_fa64_\@, .Lskip_sme_fa64_\@, x1, x2
 267
 268 .Linit_sme_fa64_\@:
 269         orr     x0, x0, SMCR_ELx_FA64_MASK
 270 .Lskip_sme_fa64_\@:
 271
 272         // ZT0 available?
 273         mrs_s   x1, SYS_ID_AA64SMFR0_EL1
 274         __check_override id_aa64smfr0, ID_AA64SMFR0_EL1_SMEver_SHIFT, 4, .Linit_sme_zt0_\@, .Lskip_sme_zt0_\@, x1, x2
 275 .Linit_sme_zt0_\@:
 276         orr     x0, x0, SMCR_ELx_EZT0_MASK
 277 .Lskip_sme_zt0_\@:
 278
 279         orr     x0, x0, #SMCR_ELx_LEN_MASK      // Enable full SME vector
 280         msr_s   SYS_SMCR_EL2, x0                // length for EL1.
 281
 282         mrs_s   x1, SYS_SMIDR_EL1               // Priority mapping supported?
 283         ubfx    x1, x1, #SMIDR_EL1_SMPS_SHIFT, #1
 284         cbz     x1, .Lskip_sme_\@
 285
 286         msr_s   SYS_SMPRIMAP_EL2, xzr           // Make all priorities equal
 287
 288         mrs     x1, id_aa64mmfr1_el1            // HCRX_EL2 present?
 289         ubfx    x1, x1, #ID_AA64MMFR1_EL1_HCX_SHIFT, #4
 290         cbz     x1, .Lskip_sme_\@
 291
 292         mrs_s   x1, SYS_HCRX_EL2
 293         orr     x1, x1, #HCRX_EL2_SMPME_MASK    // Enable priority mapping
 294         msr_s   SYS_HCRX_EL2, x1
 295 .Lskip_sme_\@:
 296 .endm
 297
 298 #endif /* __ARM_KVM_INIT_H__ */