]> Git Repo - linux.git/commitdiff
Merge tag 's390-6.14-2' of git://git.kernel.org/pub/scm/linux/kernel/git/s390/linux
authorLinus Torvalds <[email protected]>
Thu, 30 Jan 2025 18:48:17 +0000 (10:48 -0800)
committerLinus Torvalds <[email protected]>
Thu, 30 Jan 2025 18:48:17 +0000 (10:48 -0800)
Pull more s390 updates from Alexander Gordeev:

 - The rework that uncoupled physical and virtual address spaces
   inadvertently prevented KASAN shadow mappings from using large pages.
   Restore large page mappings for KASAN shadows

 - Add decompressor routine physmem_alloc() that may fail, unlike
   physmem_alloc_or_die(). This allows callers to implement fallback
   paths

 - Allow falling back from large pages to smaller pages (1MB or 4KB) if
   the allocation of 2GB pages in the decompressor can not be fulfilled

 - Add to the decompressor boot print support of "%%" format string,
   width and padding hadnling, length modifiers and decimal conversion
   specifiers

 - Add to the decompressor message severity levels similar to kernel
   ones. Support command-line options that control console output
   verbosity

 - Replaces boot_printk() calls with appropriate loglevel- specific
   helpers such as boot_emerg(), boot_warn(), and boot_debug().

 - Collect all boot messages into a ring buffer independent of the
   current log level. This is particularly useful for early crash
   analysis

 - If 'earlyprintk' command line parameter is not specified, store
   decompressor boot messages in a ring buffer to be printed later by
   the kernel, once the console driver is registered

 - Add 'bootdebug' command line parameter to enable printing of
   decompressor debug messages when needed. That parameters allows
   message suppressing and filtering

 - Dump boot messages on a decompressor crash, but only if 'bootdebug'
   command line parameter is enabled

 - When CONFIG_PRINTK_TIME is enabled, add timestamps to boot messages
   in the same format as regular printk()

 - Dump physical memory tracking information on boot: online ranges,
   reserved areas and vmem allocations

 - Dump virtual memory layout and randomization details

 - Improve decompression error reporting and dump the message ring
   buffer in case the boot failed and system halted

 - Add an exception handler which handles exceptions when FPU control
   register is attempted to be set to an invalid value. Remove '.fixup'
   section as result of this change

 - Use 'A', 'O', and 'R' inline assembly format flags, which allows
   recent Clang compilers to generate better FPU code

 - Rework uaccess code so it reads better and generates more efficient
   code

 - Cleanup futex inline assembly code

 - Disable KMSAN instrumention for futex inline assemblies, which
   contain dereferenced user pointers. Otherwise, shadows for the user
   pointers would be accessed

 - PFs which are not initially configured but in standby create only a
   single-function PCI domain. If they are configured later on, sibling
   PFs and their child VFs will not be added to their PCI domain
   breaking SR-IOV expectations.

   Fix that by allowing initially configured but in standby PFs create
   multi-function PCI domains

 - Add '-std=gnu11' to decompressor and purgatory CFLAGS to avoid
   compile errors caused by kernel's own definitions of 'bool', 'false',
   and 'true' conflicting with the C23 reserved keywords

 - Fix sclp subsystem failure when a sclp console is not present

 - Fix misuse of non-NULL terminated strings in vmlogrdr driver

 - Various other small improvements, cleanups and fixes

* tag 's390-6.14-2' of git://git.kernel.org/pub/scm/linux/kernel/git/s390/linux: (53 commits)
  s390/vmlogrdr: Use array instead of string initializer
  s390/vmlogrdr: Use internal_name for error messages
  s390/sclp: Initialize sclp subsystem via arch_cpu_finalize_init()
  s390/tools: Use array instead of string initializer
  s390/vmem: Fix null-pointer-arithmetic warning in vmem_map_init()
  s390: Add '-std=gnu11' to decompressor and purgatory CFLAGS
  s390/bitops: Use correct constraint for arch_test_bit() inline assembly
  s390/pci: Fix SR-IOV for PFs initially in standby
  s390/futex: Avoid KMSAN instrumention for user pointers
  s390/uaccess: Rename get_put_user_noinstr_attributes to uaccess_kmsan_or_inline
  s390/futex: Cleanup futex_atomic_cmpxchg_inatomic()
  s390/futex: Generate futex atomic op functions
  s390/uaccess: Remove INLINE_COPY_FROM_USER and INLINE_COPY_TO_USER
  s390/uaccess: Use asm goto for put_user()/get_user()
  s390/uaccess: Remove usage of the oac specifier
  s390/uaccess: Replace EX_TABLE_UA_LOAD_MEM exception handling
  s390/uaccess: Cleanup noinstr __put_user()/__get_user() inline assembly constraints
  s390/uaccess: Remove __put_user_fn()/__get_user_fn() wrappers
  s390/uaccess: Move put_user() / __put_user() close to put_user() asm code
  s390/uaccess: Use asm goto for __mvc_kernel_nofault()
  ...

1  2 
arch/s390/Kconfig
arch/s390/boot/startup.c
arch/s390/boot/vmem.c
arch/s390/kernel/setup.c

diff --combined arch/s390/Kconfig
index 6e9545d8b0c72b9fb05aad2b6b53c9129093bb35,f49ca2b485f6fbf46b327a5fdf147ec6488949c5..9c9ec08d78c71b4d227beeafab1b82d6434cb5c7
@@@ -52,13 -52,19 +52,19 @@@ config KASAN_SHADOW_OFFSE
        depends on KASAN
        default 0x1C000000000000
  
- config GCC_ASM_FLAG_OUTPUT_BROKEN
+ config CC_ASM_FLAG_OUTPUT_BROKEN
        def_bool CC_IS_GCC && GCC_VERSION < 140200
        help
          GCC versions before 14.2.0 may die with an internal
          compiler error in some configurations if flag output
          operands are used within inline assemblies.
  
+ config CC_HAS_ASM_AOR_FORMAT_FLAGS
+       def_bool !(CC_IS_CLANG && CLANG_VERSION < 190100)
+       help
+         Clang versions before 19.1.0 do not support A,
+         O, and R inline assembly format flags.
  config S390
        def_bool y
        #
@@@ -72,7 -78,7 +78,8 @@@
        select ARCH_ENABLE_MEMORY_HOTPLUG if SPARSEMEM
        select ARCH_ENABLE_MEMORY_HOTREMOVE
        select ARCH_ENABLE_SPLIT_PMD_PTLOCK if PGTABLE_LEVELS > 2
+       select ARCH_HAS_CPU_FINALIZE_INIT
 +      select ARCH_HAS_CRC32
        select ARCH_HAS_CURRENT_STACK_POINTER
        select ARCH_HAS_DEBUG_VIRTUAL
        select ARCH_HAS_DEBUG_VM_PGTABLE
        select HAVE_DMA_CONTIGUOUS
        select HAVE_DYNAMIC_FTRACE
        select HAVE_DYNAMIC_FTRACE_WITH_ARGS
 +      select HAVE_FTRACE_REGS_HAVING_PT_REGS
        select HAVE_DYNAMIC_FTRACE_WITH_DIRECT_CALLS
        select HAVE_DYNAMIC_FTRACE_WITH_REGS
        select HAVE_EBPF_JIT if HAVE_MARCH_Z196_FEATURES
        select HAVE_EFFICIENT_UNALIGNED_ACCESS
        select HAVE_GUP_FAST
        select HAVE_FENTRY
 +      select HAVE_FTRACE_GRAPH_FUNC
        select HAVE_FTRACE_MCOUNT_RECORD
        select HAVE_FUNCTION_ARG_ACCESS_API
        select HAVE_FUNCTION_ERROR_INJECTION
 -      select HAVE_FUNCTION_GRAPH_RETVAL
 +      select HAVE_FUNCTION_GRAPH_FREGS
        select HAVE_FUNCTION_GRAPH_TRACER
        select HAVE_FUNCTION_TRACER
        select HAVE_GCC_PLUGINS
        select MODULES_USE_ELF_RELA
        select NEED_DMA_MAP_STATE       if PCI
        select NEED_PER_CPU_EMBED_FIRST_CHUNK
 +      select NEED_PROC_VMCORE_DEVICE_RAM if PROC_VMCORE
        select NEED_SG_DMA_LENGTH       if PCI
        select OLD_SIGACTION
        select OLD_SIGSUSPEND3
diff --combined arch/s390/boot/startup.c
index e6b06692ddc8c8b3274923a90791dd7a0f0681e1,58e56aed5f7decbbd4fe0be37ec720bc89f7e587..885bd1dd2c82f948199ae369077aba4e0bf8020b
@@@ -1,4 -1,5 +1,5 @@@
  // SPDX-License-Identifier: GPL-2.0
+ #define boot_fmt(fmt) "startup: " fmt
  #include <linux/string.h>
  #include <linux/elf.h>
  #include <asm/page-states.h>
@@@ -42,7 -43,8 +43,8 @@@ struct machine_info machine
  
  void error(char *x)
  {
-       boot_printk("\n\n%s\n\n -- System halted", x);
+       boot_emerg("%s\n", x);
+       boot_emerg(" -- System halted\n");
        disabled_wait();
  }
  
@@@ -143,7 -145,7 +145,7 @@@ static void rescue_initrd(unsigned lon
                return;
        old_addr = addr;
        physmem_free(RR_INITRD);
-       addr = physmem_alloc_top_down(RR_INITRD, size, 0);
+       addr = physmem_alloc_or_die(RR_INITRD, size, 0);
        memmove((void *)addr, (void *)old_addr, size);
  }
  
@@@ -222,12 -224,16 +224,16 @@@ static void setup_ident_map_size(unsign
        if (oldmem_data.start) {
                __kaslr_enabled = 0;
                ident_map_size = min(ident_map_size, oldmem_data.size);
+               boot_debug("kdump memory limit:  0x%016lx\n", oldmem_data.size);
        } else if (ipl_block_valid && is_ipl_block_dump()) {
                __kaslr_enabled = 0;
-               if (!sclp_early_get_hsa_size(&hsa_size) && hsa_size)
+               if (!sclp_early_get_hsa_size(&hsa_size) && hsa_size) {
                        ident_map_size = min(ident_map_size, hsa_size);
+                       boot_debug("Stand-alone dump limit: 0x%016lx\n", hsa_size);
+               }
        }
  #endif
+       boot_debug("Identity map size:   0x%016lx\n", ident_map_size);
  }
  
  #define FIXMAP_SIZE   round_up(MEMCPY_REAL_SIZE + ABS_LOWCORE_MAP_SIZE, sizeof(struct lowcore))
@@@ -243,8 -249,6 +249,8 @@@ static unsigned long get_vmem_size(unsi
        vsize = round_up(SZ_2G + max_mappable, rte_size) +
                round_up(vmemmap_size, rte_size) +
                FIXMAP_SIZE + MODULES_LEN + KASLR_LEN;
 +      if (IS_ENABLED(CONFIG_KMSAN))
 +              vsize += MODULES_LEN * 2;
        return size_add(vsize, vmalloc_size);
  }
  
@@@ -267,6 -271,7 +273,7 @@@ static unsigned long setup_kernel_memor
        BUILD_BUG_ON(!IS_ALIGNED(__NO_KASLR_START_KERNEL, THREAD_SIZE));
        BUILD_BUG_ON(__NO_KASLR_END_KERNEL > _REGION1_SIZE);
        vsize = get_vmem_size(ident_map_size, vmemmap_size, vmalloc_size, _REGION3_SIZE);
+       boot_debug("vmem size estimated: 0x%016lx\n", vsize);
        if (IS_ENABLED(CONFIG_KASAN) || __NO_KASLR_END_KERNEL > _REGION2_SIZE ||
            (vsize > _REGION2_SIZE && kaslr_enabled())) {
                asce_limit = _REGION1_SIZE;
         * otherwise asce_limit and rte_size would have been adjusted.
         */
        vmax = adjust_to_uv_max(asce_limit);
+       boot_debug("%d level paging       0x%016lx vmax\n", vmax == _REGION1_SIZE ? 4 : 3, vmax);
  #ifdef CONFIG_KASAN
        BUILD_BUG_ON(__NO_KASLR_END_KERNEL > KASAN_SHADOW_START);
+       boot_debug("KASAN shadow area:   0x%016lx-0x%016lx\n", KASAN_SHADOW_START, KASAN_SHADOW_END);
        /* force vmalloc and modules below kasan shadow */
        vmax = min(vmax, KASAN_SHADOW_START);
  #endif
                        pos = 0;
                kernel_end = vmax - pos * THREAD_SIZE;
                kernel_start = round_down(kernel_end - kernel_size, THREAD_SIZE);
+               boot_debug("Randomization range: 0x%016lx-0x%016lx\n", vmax - kaslr_len, vmax);
+               boot_debug("kernel image:        0x%016lx-0x%016lx (kaslr)\n", kernel_start,
+                          kernel_size + kernel_size);
        } else if (vmax < __NO_KASLR_END_KERNEL || vsize > __NO_KASLR_END_KERNEL) {
                kernel_start = round_down(vmax - kernel_size, THREAD_SIZE);
-               boot_printk("The kernel base address is forced to %lx\n", kernel_start);
+               boot_debug("kernel image:        0x%016lx-0x%016lx (constrained)\n", kernel_start,
+                          kernel_start + kernel_size);
        } else {
                kernel_start = __NO_KASLR_START_KERNEL;
+               boot_debug("kernel image:        0x%016lx-0x%016lx (nokaslr)\n", kernel_start,
+                          kernel_start + kernel_size);
        }
        __kaslr_offset = kernel_start;
+       boot_debug("__kaslr_offset:      0x%016lx\n", __kaslr_offset);
  
        MODULES_END = round_down(kernel_start, _SEGMENT_SIZE);
        MODULES_VADDR = MODULES_END - MODULES_LEN;
        VMALLOC_END = MODULES_VADDR;
        if (IS_ENABLED(CONFIG_KMSAN))
                VMALLOC_END -= MODULES_LEN * 2;
+       boot_debug("modules area:        0x%016lx-0x%016lx\n", MODULES_VADDR, MODULES_END);
  
        /* allow vmalloc area to occupy up to about 1/2 of the rest virtual space left */
        vsize = (VMALLOC_END - FIXMAP_SIZE) / 2;
                VMALLOC_END -= vmalloc_size * 2;
        }
        VMALLOC_START = VMALLOC_END - vmalloc_size;
+       boot_debug("vmalloc area:        0x%016lx-0x%016lx\n", VMALLOC_START, VMALLOC_END);
  
        __memcpy_real_area = round_down(VMALLOC_START - MEMCPY_REAL_SIZE, PAGE_SIZE);
+       boot_debug("memcpy real area:    0x%016lx-0x%016lx\n", __memcpy_real_area,
+                  __memcpy_real_area + MEMCPY_REAL_SIZE);
        __abs_lowcore = round_down(__memcpy_real_area - ABS_LOWCORE_MAP_SIZE,
                                   sizeof(struct lowcore));
+       boot_debug("abs lowcore:         0x%016lx-0x%016lx\n", __abs_lowcore,
+                  __abs_lowcore + ABS_LOWCORE_MAP_SIZE);
  
        /* split remaining virtual space between 1:1 mapping & vmemmap array */
        pages = __abs_lowcore / (PAGE_SIZE + sizeof(struct page));
        BUILD_BUG_ON(MAX_DCSS_ADDR > (1UL << MAX_PHYSMEM_BITS));
        max_mappable = max(ident_map_size, MAX_DCSS_ADDR);
        max_mappable = min(max_mappable, vmemmap_start);
-       if (IS_ENABLED(CONFIG_RANDOMIZE_IDENTITY_BASE))
-               __identity_base = round_down(vmemmap_start - max_mappable, rte_size);
+ #ifdef CONFIG_RANDOMIZE_IDENTITY_BASE
+       __identity_base = round_down(vmemmap_start - max_mappable, rte_size);
+ #endif
+       boot_debug("identity map:        0x%016lx-0x%016lx\n", __identity_base,
+                  __identity_base + ident_map_size);
  
        return asce_limit;
  }
@@@ -412,6 -435,10 +437,10 @@@ void startup_kernel(void
        psw_t psw;
  
        setup_lpp();
+       store_ipl_parmblock();
+       uv_query_info();
+       setup_boot_command_line();
+       parse_boot_command_line();
  
        /*
         * Non-randomized kernel physical start address must be _SEGMENT_SIZE
        oldmem_data.start = parmarea.oldmem_base;
        oldmem_data.size = parmarea.oldmem_size;
  
-       store_ipl_parmblock();
        read_ipl_report();
-       uv_query_info();
        sclp_early_read_info();
-       setup_boot_command_line();
-       parse_boot_command_line();
        detect_facilities();
        cmma_init();
        sanitize_prot_virt_host();
                            __kaslr_offset, __kaslr_offset_phys);
        kaslr_adjust_got(__kaslr_offset);
        setup_vmem(__kaslr_offset, __kaslr_offset + kernel_size, asce_limit);
+       dump_physmem_reserved();
        copy_bootdata();
        __apply_alternatives((struct alt_instr *)_vmlinux_info.alt_instructions,
                             (struct alt_instr *)_vmlinux_info.alt_instructions_end,
         */
        psw.addr = __kaslr_offset + vmlinux.entry;
        psw.mask = PSW_KERNEL_BITS;
+       boot_debug("Starting kernel at:  0x%016lx\n", psw.addr);
        __load_psw(psw);
  }
diff --combined arch/s390/boot/vmem.c
index 881a1ece422f67742f382488e6cb4291b1463fe9,c8a2d517511433df470789b7fc761df8beac860e..cfca94a8eac4432ba348f3bca7b50b1d199236bf
@@@ -1,4 -1,5 +1,5 @@@
  // SPDX-License-Identifier: GPL-2.0
+ #define boot_fmt(fmt) "vmem: " fmt
  #include <linux/sched/task.h>
  #include <linux/pgtable.h>
  #include <linux/kasan.h>
@@@ -13,6 -14,7 +14,7 @@@
  #include "decompressor.h"
  #include "boot.h"
  
+ #define INVALID_PHYS_ADDR (~(phys_addr_t)0)
  struct ctlreg __bootdata_preserved(s390_invalid_asce);
  
  #ifdef CONFIG_PROC_FS
@@@ -31,12 -33,42 +33,42 @@@ enum populate_mode 
        POPULATE_IDENTITY,
        POPULATE_KERNEL,
  #ifdef CONFIG_KASAN
+       /* KASAN modes should be last and grouped together, see is_kasan_populate_mode() */
        POPULATE_KASAN_MAP_SHADOW,
        POPULATE_KASAN_ZERO_SHADOW,
        POPULATE_KASAN_SHALLOW
  #endif
  };
  
+ #define POPULATE_MODE_NAME(t) case POPULATE_ ## t: return #t
+ static inline const char *get_populate_mode_name(enum populate_mode t)
+ {
+       switch (t) {
+       POPULATE_MODE_NAME(NONE);
+       POPULATE_MODE_NAME(DIRECT);
+       POPULATE_MODE_NAME(LOWCORE);
+       POPULATE_MODE_NAME(ABS_LOWCORE);
+       POPULATE_MODE_NAME(IDENTITY);
+       POPULATE_MODE_NAME(KERNEL);
+ #ifdef CONFIG_KASAN
+       POPULATE_MODE_NAME(KASAN_MAP_SHADOW);
+       POPULATE_MODE_NAME(KASAN_ZERO_SHADOW);
+       POPULATE_MODE_NAME(KASAN_SHALLOW);
+ #endif
+       default:
+               return "UNKNOWN";
+       }
+ }
+ static bool is_kasan_populate_mode(enum populate_mode mode)
+ {
+ #ifdef CONFIG_KASAN
+       return mode >= POPULATE_KASAN_MAP_SHADOW;
+ #else
+       return false;
+ #endif
+ }
  static void pgtable_populate(unsigned long addr, unsigned long end, enum populate_mode mode);
  
  #ifdef CONFIG_KASAN
@@@ -52,9 -84,12 +84,12 @@@ static pte_t pte_z
  
  static inline void kasan_populate(unsigned long start, unsigned long end, enum populate_mode mode)
  {
-       start = PAGE_ALIGN_DOWN(__sha(start));
-       end = PAGE_ALIGN(__sha(end));
-       pgtable_populate(start, end, mode);
+       unsigned long sha_start = PAGE_ALIGN_DOWN(__sha(start));
+       unsigned long sha_end = PAGE_ALIGN(__sha(end));
+       boot_debug("%-17s 0x%016lx-0x%016lx >> 0x%016lx-0x%016lx\n", get_populate_mode_name(mode),
+                  start, end, sha_start, sha_end);
+       pgtable_populate(sha_start, sha_end, mode);
  }
  
  static void kasan_populate_shadow(unsigned long kernel_start, unsigned long kernel_end)
@@@ -200,7 -235,7 +235,7 @@@ static void *boot_crst_alloc(unsigned l
        unsigned long size = PAGE_SIZE << CRST_ALLOC_ORDER;
        unsigned long *table;
  
-       table = (unsigned long *)physmem_alloc_top_down(RR_VMEM, size, size);
+       table = (unsigned long *)physmem_alloc_or_die(RR_VMEM, size, size);
        crst_table_init(table, val);
        __arch_set_page_dat(table, 1UL << CRST_ALLOC_ORDER);
        return table;
@@@ -216,7 -251,7 +251,7 @@@ static pte_t *boot_pte_alloc(void
         * during POPULATE_KASAN_MAP_SHADOW when EDAT is off
         */
        if (!pte_leftover) {
-               pte_leftover = (void *)physmem_alloc_top_down(RR_VMEM, PAGE_SIZE, PAGE_SIZE);
+               pte_leftover = (void *)physmem_alloc_or_die(RR_VMEM, PAGE_SIZE, PAGE_SIZE);
                pte = pte_leftover + _PAGE_TABLE_SIZE;
                __arch_set_page_dat(pte, 1);
        } else {
        return pte;
  }
  
- static unsigned long _pa(unsigned long addr, unsigned long size, enum populate_mode mode)
+ static unsigned long resolve_pa_may_alloc(unsigned long addr, unsigned long size,
+                                         enum populate_mode mode)
  {
        switch (mode) {
        case POPULATE_NONE:
-               return -1;
+               return INVALID_PHYS_ADDR;
        case POPULATE_DIRECT:
                return addr;
        case POPULATE_LOWCORE:
                return __identity_pa(addr);
  #ifdef CONFIG_KASAN
        case POPULATE_KASAN_MAP_SHADOW:
-               addr = physmem_alloc_top_down(RR_VMEM, size, size);
-               memset((void *)addr, 0, size);
-               return addr;
+               /* Allow to fail large page allocations, this will fall back to 1mb/4k pages */
+               addr = physmem_alloc(RR_VMEM, size, size, size == PAGE_SIZE);
+               if (addr) {
+                       memset((void *)addr, 0, size);
+                       return addr;
+               }
+               return INVALID_PHYS_ADDR;
  #endif
        default:
-               return -1;
+               return INVALID_PHYS_ADDR;
        }
  }
  
- static bool large_allowed(enum populate_mode mode)
+ static bool large_page_mapping_allowed(enum populate_mode mode)
  {
-       return (mode == POPULATE_DIRECT) || (mode == POPULATE_IDENTITY) || (mode == POPULATE_KERNEL);
+       switch (mode) {
+       case POPULATE_DIRECT:
+       case POPULATE_IDENTITY:
+       case POPULATE_KERNEL:
+ #ifdef CONFIG_KASAN
+       case POPULATE_KASAN_MAP_SHADOW:
+ #endif
+               return true;
+       default:
+               return false;
+       }
  }
  
- static bool can_large_pud(pud_t *pu_dir, unsigned long addr, unsigned long end,
-                         enum populate_mode mode)
+ static unsigned long try_get_large_pud_pa(pud_t *pu_dir, unsigned long addr, unsigned long end,
+                                         enum populate_mode mode)
  {
-       unsigned long size = end - addr;
+       unsigned long pa, size = end - addr;
+       if (!machine.has_edat2 || !large_page_mapping_allowed(mode) ||
+           !IS_ALIGNED(addr, PUD_SIZE) || (size < PUD_SIZE))
+               return INVALID_PHYS_ADDR;
+       pa = resolve_pa_may_alloc(addr, size, mode);
+       if (!IS_ALIGNED(pa, PUD_SIZE))
+               return INVALID_PHYS_ADDR;
  
-       return machine.has_edat2 && large_allowed(mode) &&
-              IS_ALIGNED(addr, PUD_SIZE) && (size >= PUD_SIZE) &&
-              IS_ALIGNED(_pa(addr, size, mode), PUD_SIZE);
+       return pa;
  }
  
- static bool can_large_pmd(pmd_t *pm_dir, unsigned long addr, unsigned long end,
-                         enum populate_mode mode)
+ static unsigned long try_get_large_pmd_pa(pmd_t *pm_dir, unsigned long addr, unsigned long end,
+                                         enum populate_mode mode)
  {
-       unsigned long size = end - addr;
+       unsigned long pa, size = end - addr;
  
-       return machine.has_edat1 && large_allowed(mode) &&
-              IS_ALIGNED(addr, PMD_SIZE) && (size >= PMD_SIZE) &&
-              IS_ALIGNED(_pa(addr, size, mode), PMD_SIZE);
+       if (!machine.has_edat1 || !large_page_mapping_allowed(mode) ||
+           !IS_ALIGNED(addr, PMD_SIZE) || (size < PMD_SIZE))
+               return INVALID_PHYS_ADDR;
+       pa = resolve_pa_may_alloc(addr, size, mode);
+       if (!IS_ALIGNED(pa, PMD_SIZE))
+               return INVALID_PHYS_ADDR;
+       return pa;
  }
  
  static void pgtable_pte_populate(pmd_t *pmd, unsigned long addr, unsigned long end,
                if (pte_none(*pte)) {
                        if (kasan_pte_populate_zero_shadow(pte, mode))
                                continue;
-                       entry = __pte(_pa(addr, PAGE_SIZE, mode));
+                       entry = __pte(resolve_pa_may_alloc(addr, PAGE_SIZE, mode));
                        entry = set_pte_bit(entry, PAGE_KERNEL);
                        set_pte(pte, entry);
                        pages++;
                }
        }
 -      if (mode == POPULATE_DIRECT)
 +      if (mode == POPULATE_IDENTITY)
                update_page_count(PG_DIRECT_MAP_4K, pages);
  }
  
  static void pgtable_pmd_populate(pud_t *pud, unsigned long addr, unsigned long end,
                                 enum populate_mode mode)
  {
-       unsigned long next, pages = 0;
+       unsigned long pa, next, pages = 0;
        pmd_t *pmd, entry;
        pte_t *pte;
  
                if (pmd_none(*pmd)) {
                        if (kasan_pmd_populate_zero_shadow(pmd, addr, next, mode))
                                continue;
-                       if (can_large_pmd(pmd, addr, next, mode)) {
-                               entry = __pmd(_pa(addr, _SEGMENT_SIZE, mode));
+                       pa = try_get_large_pmd_pa(pmd, addr, next, mode);
+                       if (pa != INVALID_PHYS_ADDR) {
+                               entry = __pmd(pa);
                                entry = set_pmd_bit(entry, SEGMENT_KERNEL);
                                set_pmd(pmd, entry);
                                pages++;
                }
                pgtable_pte_populate(pmd, addr, next, mode);
        }
 -      if (mode == POPULATE_DIRECT)
 +      if (mode == POPULATE_IDENTITY)
                update_page_count(PG_DIRECT_MAP_1M, pages);
  }
  
  static void pgtable_pud_populate(p4d_t *p4d, unsigned long addr, unsigned long end,
                                 enum populate_mode mode)
  {
-       unsigned long next, pages = 0;
+       unsigned long pa, next, pages = 0;
        pud_t *pud, entry;
        pmd_t *pmd;
  
                if (pud_none(*pud)) {
                        if (kasan_pud_populate_zero_shadow(pud, addr, next, mode))
                                continue;
-                       if (can_large_pud(pud, addr, next, mode)) {
-                               entry = __pud(_pa(addr, _REGION3_SIZE, mode));
+                       pa = try_get_large_pud_pa(pud, addr, next, mode);
+                       if (pa != INVALID_PHYS_ADDR) {
+                               entry = __pud(pa);
                                entry = set_pud_bit(entry, REGION3_KERNEL);
                                set_pud(pud, entry);
                                pages++;
                }
                pgtable_pmd_populate(pud, addr, next, mode);
        }
 -      if (mode == POPULATE_DIRECT)
 +      if (mode == POPULATE_IDENTITY)
                update_page_count(PG_DIRECT_MAP_2G, pages);
  }
  
@@@ -388,6 -452,13 +452,13 @@@ static void pgtable_populate(unsigned l
        pgd_t *pgd;
        p4d_t *p4d;
  
+       if (!is_kasan_populate_mode(mode)) {
+               boot_debug("%-17s 0x%016lx-0x%016lx -> 0x%016lx-0x%016lx\n",
+                          get_populate_mode_name(mode), addr, end,
+                          resolve_pa_may_alloc(addr, 0, mode),
+                          resolve_pa_may_alloc(end - 1, 0, mode) + 1);
+       }
        pgd = pgd_offset(&init_mm, addr);
        for (; addr < end; addr = next, pgd++) {
                next = pgd_addr_end(addr, end);
diff --combined arch/s390/kernel/setup.c
index 1298f0860733f92ec01bf4265106d11258d552fd,4758ad8829a28b1301d8c78fda37ce86e365e62d..d78bcfe707b51717156b62b17439bd49541a0513
@@@ -157,6 -157,12 +157,12 @@@ u64 __bootdata_preserved(stfle_fac_list
  EXPORT_SYMBOL(stfle_fac_list);
  struct oldmem_data __bootdata_preserved(oldmem_data);
  
+ char __bootdata(boot_rb)[PAGE_SIZE * 2];
+ bool __bootdata(boot_earlyprintk);
+ size_t __bootdata(boot_rb_off);
+ char __bootdata(bootdebug_filter)[128];
+ bool __bootdata(bootdebug);
  unsigned long __bootdata_preserved(VMALLOC_START);
  EXPORT_SYMBOL(VMALLOC_START);
  
@@@ -376,7 -382,11 +382,7 @@@ static unsigned long __init stack_alloc
  {
        unsigned long stack;
  
 -      stack = (unsigned long)memblock_alloc(THREAD_SIZE, THREAD_SIZE);
 -      if (!stack) {
 -              panic("%s: Failed to allocate %lu bytes align=0x%lx\n",
 -                    __func__, THREAD_SIZE, THREAD_SIZE);
 -      }
 +      stack = (unsigned long)memblock_alloc_or_panic(THREAD_SIZE, THREAD_SIZE);
        return stack;
  }
  
@@@ -500,7 -510,10 +506,7 @@@ static void __init setup_resources(void
        bss_resource.end = __pa_symbol(__bss_stop) - 1;
  
        for_each_mem_range(i, &start, &end) {
 -              res = memblock_alloc(sizeof(*res), 8);
 -              if (!res)
 -                      panic("%s: Failed to allocate %zu bytes align=0x%x\n",
 -                            __func__, sizeof(*res), 8);
 +              res = memblock_alloc_or_panic(sizeof(*res), 8);
                res->flags = IORESOURCE_BUSY | IORESOURCE_SYSTEM_RAM;
  
                res->name = "System RAM";
                            std_res->start > res->end)
                                continue;
                        if (std_res->end > res->end) {
 -                              sub_res = memblock_alloc(sizeof(*sub_res), 8);
 -                              if (!sub_res)
 -                                      panic("%s: Failed to allocate %zu bytes align=0x%x\n",
 -                                            __func__, sizeof(*sub_res), 8);
 +                              sub_res = memblock_alloc_or_panic(sizeof(*sub_res), 8);
                                *sub_res = *std_res;
                                sub_res->end = res->end;
                                std_res->start = res->end + 1;
@@@ -686,7 -702,7 +692,7 @@@ static void __init reserve_physmem_info
  {
        unsigned long addr, size;
  
-       if (get_physmem_reserved(RR_MEM_DETECT_EXTENDED, &addr, &size))
+       if (get_physmem_reserved(RR_MEM_DETECT_EXT, &addr, &size))
                memblock_reserve(addr, size);
  }
  
@@@ -694,7 -710,7 +700,7 @@@ static void __init free_physmem_info(vo
  {
        unsigned long addr, size;
  
-       if (get_physmem_reserved(RR_MEM_DETECT_EXTENDED, &addr, &size))
+       if (get_physmem_reserved(RR_MEM_DETECT_EXT, &addr, &size))
                memblock_phys_free(addr, size);
  }
  
@@@ -724,7 -740,7 +730,7 @@@ static void __init reserve_lowcore(void
        void *lowcore_end = lowcore_start + sizeof(struct lowcore);
        void *start, *end;
  
-       if ((void *)__identity_base < lowcore_end) {
+       if (absolute_pointer(__identity_base) < lowcore_end) {
                start = max(lowcore_start, (void *)__identity_base);
                end = min(lowcore_end, (void *)(__identity_base + ident_map_size));
                memblock_reserve(__pa(start), __pa(end));
@@@ -806,7 -822,9 +812,7 @@@ static void __init setup_randomness(voi
  {
        struct sysinfo_3_2_2 *vmms;
  
 -      vmms = memblock_alloc(PAGE_SIZE, PAGE_SIZE);
 -      if (!vmms)
 -              panic("Failed to allocate memory for sysinfo structure\n");
 +      vmms = memblock_alloc_or_panic(PAGE_SIZE, PAGE_SIZE);
        if (stsi(vmms, 3, 2, 2) == 0 && vmms->count)
                add_device_randomness(&vmms->vm, sizeof(vmms->vm[0]) * vmms->count);
        memblock_free(vmms, PAGE_SIZE);
@@@ -865,6 -883,23 +871,23 @@@ static void __init log_component_list(v
        }
  }
  
+ /*
+  * Print avoiding interpretation of % in buf and taking bootdebug option
+  * into consideration.
+  */
+ static void __init print_rb_entry(const char *buf)
+ {
+       char fmt[] = KERN_SOH "0boot: %s";
+       int level = printk_get_level(buf);
+       buf = skip_timestamp(printk_skip_level(buf));
+       if (level == KERN_DEBUG[1] && (!bootdebug || !bootdebug_filter_match(buf)))
+               return;
+       fmt[1] = level;
+       printk(fmt, buf);
+ }
  /*
   * Setup function called from init/main.c just after the banner
   * was printed.
@@@ -884,6 -919,9 +907,9 @@@ void __init setup_arch(char **cmdline_p
                pr_info("Linux is running natively in 64-bit mode\n");
        else
                pr_info("Linux is running as a guest in 64-bit mode\n");
+       /* Print decompressor messages if not already printed */
+       if (!boot_earlyprintk)
+               boot_rb_foreach(print_rb_entry);
  
        if (have_relocated_lowcore())
                pr_info("Lowcore relocated to 0x%px\n", get_lowcore());
        /* Add system specific data to the random pool */
        setup_randomness();
  }
+ void __init arch_cpu_finalize_init(void)
+ {
+       sclp_init();
+ }
This page took 0.181866 seconds and 4 git commands to generate.