]> Git Repo - linux.git/blob - arch/riscv/kernel/head.S
ext4: save error info to sb through journal if available
[linux.git] / arch / riscv / kernel / head.S
1 /* SPDX-License-Identifier: GPL-2.0-only */
2 /*
3  * Copyright (C) 2012 Regents of the University of California
4  */
5
6 #include <asm/asm-offsets.h>
7 #include <asm/asm.h>
8 #include <linux/init.h>
9 #include <linux/linkage.h>
10 #include <asm/thread_info.h>
11 #include <asm/page.h>
12 #include <asm/csr.h>
13 #include <asm/hwcap.h>
14 #include <asm/image.h>
15 #include "efi-header.S"
16
17 __HEAD
18 ENTRY(_start)
19         /*
20          * Image header expected by Linux boot-loaders. The image header data
21          * structure is described in asm/image.h.
22          * Do not modify it without modifying the structure and all bootloaders
23          * that expects this header format!!
24          */
25 #ifdef CONFIG_EFI
26         /*
27          * This instruction decodes to "MZ" ASCII required by UEFI.
28          */
29         c.li s4,-13
30         j _start_kernel
31 #else
32         /* jump to start kernel */
33         j _start_kernel
34         /* reserved */
35         .word 0
36 #endif
37         .balign 8
38 #ifdef CONFIG_RISCV_M_MODE
39         /* Image load offset (0MB) from start of RAM for M-mode */
40         .dword 0
41 #else
42 #if __riscv_xlen == 64
43         /* Image load offset(2MB) from start of RAM */
44         .dword 0x200000
45 #else
46         /* Image load offset(4MB) from start of RAM */
47         .dword 0x400000
48 #endif
49 #endif
50         /* Effective size of kernel image */
51         .dword _end - _start
52         .dword __HEAD_FLAGS
53         .word RISCV_HEADER_VERSION
54         .word 0
55         .dword 0
56         .ascii RISCV_IMAGE_MAGIC
57         .balign 4
58         .ascii RISCV_IMAGE_MAGIC2
59 #ifdef CONFIG_EFI
60         .word pe_head_start - _start
61 pe_head_start:
62
63         __EFI_PE_HEADER
64 #else
65         .word 0
66 #endif
67
68 .align 2
69 #ifdef CONFIG_MMU
70 relocate:
71         /* Relocate return address */
72         li a1, PAGE_OFFSET
73         la a2, _start
74         sub a1, a1, a2
75         add ra, ra, a1
76
77         /* Point stvec to virtual address of intruction after satp write */
78         la a2, 1f
79         add a2, a2, a1
80         csrw CSR_TVEC, a2
81
82         /* Compute satp for kernel page tables, but don't load it yet */
83         srl a2, a0, PAGE_SHIFT
84         li a1, SATP_MODE
85         or a2, a2, a1
86
87         /*
88          * Load trampoline page directory, which will cause us to trap to
89          * stvec if VA != PA, or simply fall through if VA == PA.  We need a
90          * full fence here because setup_vm() just wrote these PTEs and we need
91          * to ensure the new translations are in use.
92          */
93         la a0, trampoline_pg_dir
94         srl a0, a0, PAGE_SHIFT
95         or a0, a0, a1
96         sfence.vma
97         csrw CSR_SATP, a0
98 .align 2
99 1:
100         /* Set trap vector to spin forever to help debug */
101         la a0, .Lsecondary_park
102         csrw CSR_TVEC, a0
103
104         /* Reload the global pointer */
105 .option push
106 .option norelax
107         la gp, __global_pointer$
108 .option pop
109
110         /*
111          * Switch to kernel page tables.  A full fence is necessary in order to
112          * avoid using the trampoline translations, which are only correct for
113          * the first superpage.  Fetching the fence is guarnteed to work
114          * because that first superpage is translated the same way.
115          */
116         csrw CSR_SATP, a2
117         sfence.vma
118
119         ret
120 #endif /* CONFIG_MMU */
121 #ifdef CONFIG_SMP
122         .global secondary_start_sbi
123 secondary_start_sbi:
124         /* Mask all interrupts */
125         csrw CSR_IE, zero
126         csrw CSR_IP, zero
127
128         /* Load the global pointer */
129         .option push
130         .option norelax
131                 la gp, __global_pointer$
132         .option pop
133
134         /*
135          * Disable FPU to detect illegal usage of
136          * floating point in kernel space
137          */
138         li t0, SR_FS
139         csrc CSR_STATUS, t0
140
141         /* Set trap vector to spin forever to help debug */
142         la a3, .Lsecondary_park
143         csrw CSR_TVEC, a3
144
145         slli a3, a0, LGREG
146         la a4, __cpu_up_stack_pointer
147         la a5, __cpu_up_task_pointer
148         add a4, a3, a4
149         add a5, a3, a5
150         REG_L sp, (a4)
151         REG_L tp, (a5)
152
153         .global secondary_start_common
154 secondary_start_common:
155
156 #ifdef CONFIG_MMU
157         /* Enable virtual memory and relocate to virtual address */
158         la a0, swapper_pg_dir
159         call relocate
160 #endif
161         call setup_trap_vector
162         tail smp_callin
163 #endif /* CONFIG_SMP */
164
165 .align 2
166 setup_trap_vector:
167         /* Set trap vector to exception handler */
168         la a0, handle_exception
169         csrw CSR_TVEC, a0
170
171         /*
172          * Set sup0 scratch register to 0, indicating to exception vector that
173          * we are presently executing in kernel.
174          */
175         csrw CSR_SCRATCH, zero
176         ret
177
178 .Lsecondary_park:
179         /* We lack SMP support or have too many harts, so park this hart */
180         wfi
181         j .Lsecondary_park
182
183 END(_start)
184
185         __INIT
186 ENTRY(_start_kernel)
187         /* Mask all interrupts */
188         csrw CSR_IE, zero
189         csrw CSR_IP, zero
190
191 #ifdef CONFIG_RISCV_M_MODE
192         /* flush the instruction cache */
193         fence.i
194
195         /* Reset all registers except ra, a0, a1 */
196         call reset_regs
197
198         /*
199          * Setup a PMP to permit access to all of memory.  Some machines may
200          * not implement PMPs, so we set up a quick trap handler to just skip
201          * touching the PMPs on any trap.
202          */
203         la a0, pmp_done
204         csrw CSR_TVEC, a0
205
206         li a0, -1
207         csrw CSR_PMPADDR0, a0
208         li a0, (PMP_A_NAPOT | PMP_R | PMP_W | PMP_X)
209         csrw CSR_PMPCFG0, a0
210 .align 2
211 pmp_done:
212
213         /*
214          * The hartid in a0 is expected later on, and we have no firmware
215          * to hand it to us.
216          */
217         csrr a0, CSR_MHARTID
218 #endif /* CONFIG_RISCV_M_MODE */
219
220         /* Load the global pointer */
221 .option push
222 .option norelax
223         la gp, __global_pointer$
224 .option pop
225
226         /*
227          * Disable FPU to detect illegal usage of
228          * floating point in kernel space
229          */
230         li t0, SR_FS
231         csrc CSR_STATUS, t0
232
233 #ifdef CONFIG_SMP
234         li t0, CONFIG_NR_CPUS
235         blt a0, t0, .Lgood_cores
236         tail .Lsecondary_park
237 .Lgood_cores:
238 #endif
239
240         /* Pick one hart to run the main boot sequence */
241         la a3, hart_lottery
242         li a2, 1
243         amoadd.w a3, a2, (a3)
244         bnez a3, .Lsecondary_start
245
246         /* Clear BSS for flat non-ELF images */
247         la a3, __bss_start
248         la a4, __bss_stop
249         ble a4, a3, clear_bss_done
250 clear_bss:
251         REG_S zero, (a3)
252         add a3, a3, RISCV_SZPTR
253         blt a3, a4, clear_bss
254 clear_bss_done:
255
256         /* Save hart ID and DTB physical address */
257         mv s0, a0
258         mv s1, a1
259         la a2, boot_cpu_hartid
260         REG_S a0, (a2)
261
262         /* Initialize page tables and relocate to virtual addresses */
263         la sp, init_thread_union + THREAD_SIZE
264         mv a0, s1
265         call setup_vm
266 #ifdef CONFIG_MMU
267         la a0, early_pg_dir
268         call relocate
269 #endif /* CONFIG_MMU */
270
271         call setup_trap_vector
272         /* Restore C environment */
273         la tp, init_task
274         sw zero, TASK_TI_CPU(tp)
275         la sp, init_thread_union + THREAD_SIZE
276
277 #ifdef CONFIG_KASAN
278         call kasan_early_init
279 #endif
280         /* Start the kernel */
281         call soc_early_init
282         tail start_kernel
283
284 .Lsecondary_start:
285 #ifdef CONFIG_SMP
286         /* Set trap vector to spin forever to help debug */
287         la a3, .Lsecondary_park
288         csrw CSR_TVEC, a3
289
290         slli a3, a0, LGREG
291         la a1, __cpu_up_stack_pointer
292         la a2, __cpu_up_task_pointer
293         add a1, a3, a1
294         add a2, a3, a2
295
296         /*
297          * This hart didn't win the lottery, so we wait for the winning hart to
298          * get far enough along the boot process that it should continue.
299          */
300 .Lwait_for_cpu_up:
301         /* FIXME: We should WFI to save some energy here. */
302         REG_L sp, (a1)
303         REG_L tp, (a2)
304         beqz sp, .Lwait_for_cpu_up
305         beqz tp, .Lwait_for_cpu_up
306         fence
307
308         tail secondary_start_common
309 #endif
310
311 END(_start_kernel)
312
313 #ifdef CONFIG_RISCV_M_MODE
314 ENTRY(reset_regs)
315         li      sp, 0
316         li      gp, 0
317         li      tp, 0
318         li      t0, 0
319         li      t1, 0
320         li      t2, 0
321         li      s0, 0
322         li      s1, 0
323         li      a2, 0
324         li      a3, 0
325         li      a4, 0
326         li      a5, 0
327         li      a6, 0
328         li      a7, 0
329         li      s2, 0
330         li      s3, 0
331         li      s4, 0
332         li      s5, 0
333         li      s6, 0
334         li      s7, 0
335         li      s8, 0
336         li      s9, 0
337         li      s10, 0
338         li      s11, 0
339         li      t3, 0
340         li      t4, 0
341         li      t5, 0
342         li      t6, 0
343         csrw    CSR_SCRATCH, 0
344
345 #ifdef CONFIG_FPU
346         csrr    t0, CSR_MISA
347         andi    t0, t0, (COMPAT_HWCAP_ISA_F | COMPAT_HWCAP_ISA_D)
348         beqz    t0, .Lreset_regs_done
349
350         li      t1, SR_FS
351         csrs    CSR_STATUS, t1
352         fmv.s.x f0, zero
353         fmv.s.x f1, zero
354         fmv.s.x f2, zero
355         fmv.s.x f3, zero
356         fmv.s.x f4, zero
357         fmv.s.x f5, zero
358         fmv.s.x f6, zero
359         fmv.s.x f7, zero
360         fmv.s.x f8, zero
361         fmv.s.x f9, zero
362         fmv.s.x f10, zero
363         fmv.s.x f11, zero
364         fmv.s.x f12, zero
365         fmv.s.x f13, zero
366         fmv.s.x f14, zero
367         fmv.s.x f15, zero
368         fmv.s.x f16, zero
369         fmv.s.x f17, zero
370         fmv.s.x f18, zero
371         fmv.s.x f19, zero
372         fmv.s.x f20, zero
373         fmv.s.x f21, zero
374         fmv.s.x f22, zero
375         fmv.s.x f23, zero
376         fmv.s.x f24, zero
377         fmv.s.x f25, zero
378         fmv.s.x f26, zero
379         fmv.s.x f27, zero
380         fmv.s.x f28, zero
381         fmv.s.x f29, zero
382         fmv.s.x f30, zero
383         fmv.s.x f31, zero
384         csrw    fcsr, 0
385         /* note that the caller must clear SR_FS */
386 #endif /* CONFIG_FPU */
387 .Lreset_regs_done:
388         ret
389 END(reset_regs)
390 #endif /* CONFIG_RISCV_M_MODE */
391
392 __PAGE_ALIGNED_BSS
393         /* Empty zero page */
394         .balign PAGE_SIZE
This page took 0.053616 seconds and 4 git commands to generate.