arch/powerpc/cpu/mpc85xx/tlb.c

   1 // SPDX-License-Identifier: GPL-2.0+
   2 /*
   3  * Copyright 2008-2011 Freescale Semiconductor, Inc.
   4  *
   5  * (C) Copyright 2000
   6  * Wolfgang Denk, DENX Software Engineering, [email protected].
   7  */
   8
   9 #include <common.h>
  10 #include <init.h>
  11 #include <asm/bitops.h>
  12 #include <asm/global_data.h>
  13 #include <asm/processor.h>
  14 #include <asm/mmu.h>
  15 #ifdef CONFIG_ADDR_MAP
  16 #include <addr_map.h>
  17 #endif
  18
  19 #include <linux/log2.h>
  20
  21 DECLARE_GLOBAL_DATA_PTR;
  22
  23 void invalidate_tlb(u8 tlb)
  24 {
  25         if (tlb == 0)
  26                 mtspr(MMUCSR0, 0x4);
  27         if (tlb == 1)
  28                 mtspr(MMUCSR0, 0x2);
  29 }
  30
  31 __weak void init_tlbs(void)
  32 {
  33         int i;
  34
  35         for (i = 0; i < num_tlb_entries; i++) {
  36                 write_tlb(tlb_table[i].mas0,
  37                           tlb_table[i].mas1,
  38                           tlb_table[i].mas2,
  39                           tlb_table[i].mas3,
  40                           tlb_table[i].mas7);
  41         }
  42
  43         return ;
  44 }
  45
  46 #if !defined(CONFIG_NAND_SPL) && \
  47         (!defined(CONFIG_SPL_BUILD) || !CONFIG_IS_ENABLED(INIT_MINIMAL))
  48 void read_tlbcam_entry(int idx, u32 *valid, u32 *tsize, unsigned long *epn,
  49                        phys_addr_t *rpn)
  50 {
  51         u32 _mas1;
  52
  53         mtspr(MAS0, FSL_BOOKE_MAS0(1, idx, 0));
  54         asm volatile("tlbre;isync");
  55         _mas1 = mfspr(MAS1);
  56
  57         *valid = (_mas1 & MAS1_VALID);
  58         *tsize = (_mas1 >> 7) & 0x1f;
  59         *epn = mfspr(MAS2) & MAS2_EPN;
  60         *rpn = mfspr(MAS3) & MAS3_RPN;
  61 #ifdef CONFIG_ENABLE_36BIT_PHYS
  62         *rpn |= ((u64)mfspr(MAS7)) << 32;
  63 #endif
  64 }
  65
  66 void print_tlbcam(void)
  67 {
  68         int i;
  69         unsigned int num_cam = mfspr(SPRN_TLB1CFG) & 0xfff;
  70
  71         /* walk all the entries */
  72         printf("TLBCAM entries\n");
  73         for (i = 0; i < num_cam; i++) {
  74                 unsigned long epn;
  75                 u32 tsize, valid;
  76                 phys_addr_t rpn;
  77
  78                 read_tlbcam_entry(i, &valid, &tsize, &epn, &rpn);
  79                 printf("entry %02d: V: %d EPN 0x%08x RPN 0x%08llx size:",
  80                         i, (valid == 0) ? 0 : 1, (unsigned int)epn,
  81                         (unsigned long long)rpn);
  82                 print_size(TSIZE_TO_BYTES(tsize), "\n");
  83         }
  84 }
  85
  86 static inline void use_tlb_cam(u8 idx)
  87 {
  88         int i = idx / 32;
  89         int bit = idx % 32;
  90
  91         gd->arch.used_tlb_cams[i] |= (1 << bit);
  92 }
  93
  94 static inline void free_tlb_cam(u8 idx)
  95 {
  96         int i = idx / 32;
  97         int bit = idx % 32;
  98
  99         gd->arch.used_tlb_cams[i] &= ~(1 << bit);
 100 }
 101
 102 void init_used_tlb_cams(void)
 103 {
 104         int i;
 105         unsigned int num_cam = mfspr(SPRN_TLB1CFG) & 0xfff;
 106
 107         for (i = 0; i < ((CONFIG_SYS_NUM_TLBCAMS+31)/32); i++)
 108                 gd->arch.used_tlb_cams[i] = 0;
 109
 110         /* walk all the entries */
 111         for (i = 0; i < num_cam; i++) {
 112                 mtspr(MAS0, FSL_BOOKE_MAS0(1, i, 0));
 113                 asm volatile("tlbre;isync");
 114                 if (mfspr(MAS1) & MAS1_VALID)
 115                         use_tlb_cam(i);
 116         }
 117 }
 118
 119 int find_free_tlbcam(void)
 120 {
 121         int i;
 122         u32 idx;
 123
 124         for (i = 0; i < ((CONFIG_SYS_NUM_TLBCAMS+31)/32); i++) {
 125                 idx = ffz(gd->arch.used_tlb_cams[i]);
 126
 127                 if (idx != 32)
 128                         break;
 129         }
 130
 131         idx += i * 32;
 132
 133         if (idx >= CONFIG_SYS_NUM_TLBCAMS)
 134                 return -1;
 135
 136         return idx;
 137 }
 138
 139 void set_tlb(u8 tlb, u32 epn, u64 rpn,
 140              u8 perms, u8 wimge,
 141              u8 ts, u8 esel, u8 tsize, u8 iprot)
 142 {
 143         u32 _mas0, _mas1, _mas2, _mas3, _mas7;
 144
 145         if (tlb == 1)
 146                 use_tlb_cam(esel);
 147
 148         if ((mfspr(SPRN_MMUCFG) & MMUCFG_MAVN) == MMUCFG_MAVN_V1 &&
 149             tsize & 1) {
 150                 printf("%s: bad tsize %d on entry %d at 0x%08x\n",
 151                         __func__, tsize, tlb, epn);
 152                 return;
 153         }
 154
 155         _mas0 = FSL_BOOKE_MAS0(tlb, esel, 0);
 156         _mas1 = FSL_BOOKE_MAS1(1, iprot, 0, ts, tsize);
 157         _mas2 = FSL_BOOKE_MAS2(epn, wimge);
 158         _mas3 = FSL_BOOKE_MAS3(rpn, 0, perms);
 159         _mas7 = FSL_BOOKE_MAS7(rpn);
 160
 161         write_tlb(_mas0, _mas1, _mas2, _mas3, _mas7);
 162
 163 #ifdef CONFIG_ADDR_MAP
 164         if ((tlb == 1) && (gd->flags & GD_FLG_RELOC))
 165                 addrmap_set_entry(epn, rpn, TSIZE_TO_BYTES(tsize), esel);
 166 #endif
 167 }
 168
 169 void disable_tlb(u8 esel)
 170 {
 171         u32 _mas0, _mas1, _mas2, _mas3;
 172
 173         free_tlb_cam(esel);
 174
 175         _mas0 = FSL_BOOKE_MAS0(1, esel, 0);
 176         _mas1 = 0;
 177         _mas2 = 0;
 178         _mas3 = 0;
 179
 180         mtspr(MAS0, _mas0);
 181         mtspr(MAS1, _mas1);
 182         mtspr(MAS2, _mas2);
 183         mtspr(MAS3, _mas3);
 184 #ifdef CONFIG_ENABLE_36BIT_PHYS
 185         mtspr(MAS7, 0);
 186 #endif
 187         asm volatile("isync;msync;tlbwe;isync");
 188
 189 #ifdef CONFIG_ADDR_MAP
 190         if (gd->flags & GD_FLG_RELOC)
 191                 addrmap_set_entry(0, 0, 0, esel);
 192 #endif
 193 }
 194
 195 static void tlbsx (const volatile unsigned *addr)
 196 {
 197         __asm__ __volatile__ ("tlbsx 0,%0" : : "r" (addr), "m" (*addr));
 198 }
 199
 200 /* return -1 if we didn't find anything */
 201 int find_tlb_idx(void *addr, u8 tlbsel)
 202 {
 203         u32 _mas0, _mas1;
 204
 205         /* zero out Search PID, AS */
 206         mtspr(MAS6, 0);
 207
 208         tlbsx(addr);
 209
 210         _mas0 = mfspr(MAS0);
 211         _mas1 = mfspr(MAS1);
 212
 213         /* we found something, and its in the TLB we expect */
 214         if ((MAS1_VALID & _mas1) &&
 215                 (MAS0_TLBSEL(tlbsel) == (_mas0 & MAS0_TLBSEL_MSK))) {
 216                 return ((_mas0 & MAS0_ESEL_MSK) >> 16);
 217         }
 218
 219         return -1;
 220 }
 221
 222 #ifdef CONFIG_ADDR_MAP
 223 int init_addr_map(void)
 224 {
 225         int i;
 226         unsigned int num_cam = mfspr(SPRN_TLB1CFG) & 0xfff;
 227
 228         /* walk all the entries */
 229         for (i = 0; i < num_cam; i++) {
 230                 unsigned long epn;
 231                 u32 tsize, valid;
 232                 phys_addr_t rpn;
 233
 234                 read_tlbcam_entry(i, &valid, &tsize, &epn, &rpn);
 235                 if (valid & MAS1_VALID)
 236                         addrmap_set_entry(epn, rpn, TSIZE_TO_BYTES(tsize), i);
 237         }
 238
 239         return 0;
 240 }
 241 #endif
 242
 243 uint64_t tlb_map_range(ulong v_addr, phys_addr_t p_addr, uint64_t size,
 244                        enum tlb_map_type map_type)
 245 {
 246         int i;
 247         unsigned int tlb_size;
 248         unsigned int wimge;
 249         unsigned int perm;
 250         unsigned int max_cam, tsize_mask;
 251
 252         if (map_type == TLB_MAP_RAM) {
 253                 perm = MAS3_SX|MAS3_SW|MAS3_SR;
 254                 wimge = MAS2_M;
 255 #ifdef CONFIG_SYS_PPC_DDR_WIMGE
 256                 wimge = CONFIG_SYS_PPC_DDR_WIMGE;
 257 #endif
 258         } else {
 259                 perm = MAS3_SW|MAS3_SR;
 260                 wimge = MAS2_I|MAS2_G;
 261         }
 262
 263         if ((mfspr(SPRN_MMUCFG) & MMUCFG_MAVN) == MMUCFG_MAVN_V1) {
 264                 /* Convert (4^max) kB to (2^max) bytes */
 265                 max_cam = ((mfspr(SPRN_TLB1CFG) >> 16) & 0xf) * 2 + 10;
 266                 tsize_mask = ~1U;
 267         } else {
 268                 /* Convert (2^max) kB to (2^max) bytes */
 269                 max_cam = __ilog2(mfspr(SPRN_TLB1PS)) + 10;
 270                 tsize_mask = ~0U;
 271         }
 272
 273         for (i = 0; size && i < 8; i++) {
 274                 int tlb_index = find_free_tlbcam();
 275                 u32 camsize = __ilog2_u64(size) & tsize_mask;
 276                 u32 align = __ilog2(v_addr) & tsize_mask;
 277
 278                 if (tlb_index == -1)
 279                         break;
 280
 281                 if (align == -2) align = max_cam;
 282                 if (camsize > align)
 283                         camsize = align;
 284
 285                 if (camsize > max_cam)
 286                         camsize = max_cam;
 287
 288                 tlb_size = camsize - 10;
 289
 290                 set_tlb(1, v_addr, p_addr, perm, wimge,
 291                         0, tlb_index, tlb_size, 1);
 292
 293                 size -= 1ULL << camsize;
 294                 v_addr += 1UL << camsize;
 295                 p_addr += 1UL << camsize;
 296         }
 297
 298         return size;
 299 }
 300
 301 unsigned int setup_ddr_tlbs_phys(phys_addr_t p_addr,
 302                                  unsigned int memsize_in_meg)
 303 {
 304         unsigned int ram_tlb_address = (unsigned int)CONFIG_SYS_DDR_SDRAM_BASE;
 305         u64 memsize = (u64)memsize_in_meg << 20;
 306         u64 size;
 307
 308         size = min(memsize, (u64)CONFIG_MAX_MEM_MAPPED);
 309         size = tlb_map_range(ram_tlb_address, p_addr, size, TLB_MAP_RAM);
 310
 311         if (size || memsize > CONFIG_MAX_MEM_MAPPED) {
 312                 print_size(memsize > CONFIG_MAX_MEM_MAPPED ?
 313                            memsize - CONFIG_MAX_MEM_MAPPED + size : size,
 314                            " left unmapped\n");
 315         }
 316
 317         return memsize_in_meg;
 318 }
 319
 320 unsigned int setup_ddr_tlbs(unsigned int memsize_in_meg)
 321 {
 322         return
 323                 setup_ddr_tlbs_phys(CONFIG_SYS_DDR_SDRAM_BASE, memsize_in_meg);
 324 }
 325
 326 /* Invalidate the DDR TLBs for the requested size */
 327 void clear_ddr_tlbs_phys(phys_addr_t p_addr, unsigned int memsize_in_meg)
 328 {
 329         u32 vstart = CONFIG_SYS_DDR_SDRAM_BASE;
 330         unsigned long epn;
 331         u32 tsize, valid, ptr;
 332         phys_addr_t rpn = 0;
 333         int ddr_esel;
 334         u64 memsize = (u64)memsize_in_meg << 20;
 335
 336         ptr = vstart;
 337
 338         while (ptr < (vstart + memsize)) {
 339                 ddr_esel = find_tlb_idx((void *)ptr, 1);
 340                 if (ddr_esel != -1) {
 341                         read_tlbcam_entry(ddr_esel, &valid, &tsize, &epn, &rpn);
 342                         disable_tlb(ddr_esel);
 343                 }
 344                 ptr += TSIZE_TO_BYTES(tsize);
 345         }
 346 }
 347
 348 void clear_ddr_tlbs(unsigned int memsize_in_meg)
 349 {
 350         clear_ddr_tlbs_phys(CONFIG_SYS_DDR_SDRAM_BASE, memsize_in_meg);
 351 }
 352
 353
 354 #endif /* not SPL */