]> Git Repo - J-linux.git/commitdiff
Merge branches 'rcu-doc.2024.02.14a', 'rcu-nocb.2024.02.14a', 'rcu-exp.2024.02.14a...
authorBoqun Feng <[email protected]>
Tue, 27 Feb 2024 01:37:25 +0000 (17:37 -0800)
committerBoqun Feng <[email protected]>
Tue, 27 Feb 2024 01:37:25 +0000 (17:37 -0800)
1  2  3  4  5 
Documentation/admin-guide/kernel-parameters.txt
kernel/rcu/rcu.h
kernel/rcu/tree.c
kernel/rcu/tree.h
kernel/rcu/tree_nocb.h

index 4839f2919fdfa64779077cea6fd4b8ae5507fba2,31b3a25680d08cfac3603d58b3d3783bbf1e34bb,31b3a25680d08cfac3603d58b3d3783bbf1e34bb,31b3a25680d08cfac3603d58b3d3783bbf1e34bb,b6c848c29a53da12bba2c44052eff42fe7d6d952..94314d0eb3019b760d9bb9548067235db24f5793
@@@@@@ -9,7 -9,7 -9,7 -9,7 -9,7 +9,7 @@@@@@
                        accept_memory=eager can be used to accept all memory
                        at once during boot.
     
 ----   acpi=           [HW,ACPI,X86,ARM64,RISCV64]
 ++++   acpi=           [HW,ACPI,X86,ARM64,RISCV64,EARLY]
                        Advanced Configuration and Power Interface
                        Format: { force | on | off | strict | noirq | rsdt |
                                  copy_dsdt }
     
                        See also Documentation/power/runtime_pm.rst, pci=noacpi
     
 ----   acpi_apic_instance=     [ACPI, IOAPIC]
 ++++   acpi_apic_instance=     [ACPI,IOAPIC,EARLY]
                        Format: <int>
                        2: use 2nd APIC table, if available
                        1,0: use 1st APIC table
                        If set to native, use the device's native backlight mode.
                        If set to none, disable the ACPI backlight interface.
     
 ----   acpi_force_32bit_fadt_addr
 ++++   acpi_force_32bit_fadt_addr [ACPI,EARLY]
                        force FADT to use 32 bit addresses rather than the
                        64 bit X_* addresses. Some firmware have broken 64
                        bit addresses for force ACPI ignore these and use
                        no: ACPI OperationRegions are not marked as reserved,
                        no further checks are performed.
     
 ----   acpi_force_table_verification   [HW,ACPI]
 ++++   acpi_force_table_verification   [HW,ACPI,EARLY]
                        Enable table checksum verification during early stage.
                        By default, this is disabled due to x86 early mapping
                        size limitation.
        acpi_no_memhotplug [ACPI] Disable memory hotplug.  Useful for kdump
                           kernels.
     
 ----   acpi_no_static_ssdt     [HW,ACPI]
 ++++   acpi_no_static_ssdt     [HW,ACPI,EARLY]
                        Disable installation of static SSDTs at early boot time
                        By default, SSDTs contained in the RSDT/XSDT will be
                        installed automatically and they will appear under
                        Ignore the ACPI-based watchdog interface (WDAT) and let
                        a native driver control the watchdog device instead.
     
 ----   acpi_rsdp=      [ACPI,EFI,KEXEC]
 ++++   acpi_rsdp=      [ACPI,EFI,KEXEC,EARLY]
                        Pass the RSDP address to the kernel, mostly used
                        on machines running EFI runtime service to boot the
                        second kernel for kdump.
                        to assume that this machine's pmtimer latches its value
                        and always returns good values.
     
 ----   acpi_sci=       [HW,ACPI] ACPI System Control Interrupt trigger mode
 ++++   acpi_sci=       [HW,ACPI,EARLY] ACPI System Control Interrupt trigger mode
                        Format: { level | edge | high | low }
     
 ----   acpi_skip_timer_override [HW,ACPI]
 ++++   acpi_skip_timer_override [HW,ACPI,EARLY]
                        Recognize and ignore IRQ0/pin2 Interrupt Override.
                        For broken nForce2 BIOS resulting in XT-PIC timer.
     
                        behave incorrectly in some ways with respect to system
                        suspend and resume to be ignored (use wisely).
     
 ----   acpi_use_timer_override [HW,ACPI]
 ++++   acpi_use_timer_override [HW,ACPI,EARLY]
                        Use timer override. For some broken Nvidia NF5 boards
                        that require a timer override, but don't have HPET
     
 ----   add_efi_memmap  [EFI; X86] Include EFI memory map in
 ++++   add_efi_memmap  [EFI,X86,EARLY] Include EFI memory map in
                        kernel's map of available physical RAM.
     
        agp=            [AGP]
                        do not want to use tracing_snapshot_alloc() as it needs
                        to be done where GFP_KERNEL allocations are allowed.
     
 ----   allow_mismatched_32bit_el0 [ARM64]
 ++++   allow_mismatched_32bit_el0 [ARM64,EARLY]
                        Allow execve() of 32-bit applications and setting of the
                        PER_LINUX32 personality on systems where only a strict
                        subset of the CPUs support 32-bit EL0. When this
                                     This mode requires kvm-amd.avic=1.
                                     (Default when IOMMU HW support is present.)
     
 ----   amd_pstate=     [X86]
 ++++   amd_pstate=     [X86,EARLY]
                        disable
                          Do not enable amd_pstate as the default
                          scaling driver for the supported processors
                        not play well with APC CPU idle - disable it if you have
                        APC and your system crashes randomly.
     
 ----   apic=           [APIC,X86] Advanced Programmable Interrupt Controller
 ++++   apic=           [APIC,X86,EARLY] Advanced Programmable Interrupt Controller
                        Change the output verbosity while booting
                        Format: { quiet (default) | verbose | debug }
                        Change the amount of debugging information output
                        Format: apic=driver_name
                        Examples: apic=bigsmp
     
 ----   apic_extnmi=    [APIC,X86] External NMI delivery setting
 ++++   apic_extnmi=    [APIC,X86,EARLY] External NMI delivery setting
                        Format: { bsp (default) | all | none }
                        bsp:  External NMI is delivered only to CPU 0
                        all:  External NMIs are broadcast to all CPUs as a
        bert_disable    [ACPI]
                        Disable BERT OS support on buggy BIOSes.
     
 ----   bgrt_disable    [ACPI][X86]
 ++++   bgrt_disable    [ACPI,X86,EARLY]
                        Disable BGRT to avoid flickering OEM logo.
     
        blkdevparts=    Manual partition parsing of block device(s) for
                        embedded devices based on command line input.
                        See Documentation/block/cmdline-partition.rst
     
 ----   boot_delay=     Milliseconds to delay each printk during boot.
 ++++   boot_delay=     [KNL,EARLY]
 ++++                   Milliseconds to delay each printk during boot.
                        Only works if CONFIG_BOOT_PRINTK_DELAY is enabled,
                        and you may also have to specify "lpj=".  Boot_delay
                        values larger than 10 seconds (10000) are assumed
                        erroneous and ignored.
                        Format: integer
     
 ----   bootconfig      [KNL]
 ++++   bootconfig      [KNL,EARLY]
                        Extended command line options can be added to an initrd
                        and this will cause the kernel to look for it.
     
                        trust validation.
                        format: { id:<keyid> | builtin }
     
 ----   cca=            [MIPS] Override the kernel pages' cache coherency
 ++++   cca=            [MIPS,EARLY] Override the kernel pages' cache coherency
                        algorithm.  Accepted values range from 0 to 7
                        inclusive. See arch/mips/include/asm/pgtable-bits.h
                        for platform specific values (SB1, Loongson3 and
                        [X86-64] hpet,tsc
     
        clocksource.arm_arch_timer.evtstrm=
 ----                   [ARM,ARM64]
 ++++                   [ARM,ARM64,EARLY]
                        Format: <bool>
                        Enable/disable the eventstream feature of the ARM
                        architected timer so that code using WFE-based polling
                        10 seconds when built into the kernel.
     
        cma=nn[MG]@[start[MG][-end[MG]]]
 ----                   [KNL,CMA]
 ++++                   [KNL,CMA,EARLY]
                        Sets the size of kernel global memory area for
                        contiguous memory allocations and optionally the
                        placement constraint by the physical address range of
                        kernel/dma/contiguous.c
     
        cma_pernuma=nn[MG]
 ----                   [KNL,CMA]
 ++++                   [KNL,CMA,EARLY]
                        Sets the size of kernel per-numa memory area for
                        contiguous memory allocations. A value of 0 disables
                        per-numa CMA altogether. And If this option is not
                        they will fallback to the global default memory area.
     
        numa_cma=<node>:nn[MG][,<node>:nn[MG]]
 ----                   [KNL,CMA]
 ++++                   [KNL,CMA,EARLY]
                        Sets the size of kernel numa memory area for
                        contiguous memory allocations. It will reserve CMA
                        area for the specified node.
                        a hypervisor.
                        Default: yes
     
 ----   coherent_pool=nn[KMG]   [ARM,KNL]
 ++++   coherent_pool=nn[KMG]   [ARM,KNL,EARLY]
                        Sets the size of memory pool for coherent, atomic dma
                        allocations, by default set to 256K.
     
        condev=         [HW,S390] console device
        conmode=
     
 ----   con3215_drop=   [S390] 3215 console drop mode.
 ++++   con3215_drop=   [S390,EARLY] 3215 console drop mode.
                        Format: y|n|Y|N|1|0
                        When set to true, drop data on the 3215 console when
                        the console buffer is full. In this case the
                        kernel before the cpufreq driver probes.
     
        cpu_init_udelay=N
 ----                   [X86] Delay for N microsec between assert and de-assert
 ++++                   [X86,EARLY] Delay for N microsec between assert and de-assert
                        of APIC INIT to start processors.  This delay occurs
                        on every CPU online, such as boot, and resume from suspend.
                        Default: 10000
                        kernel more unstable.
     
        crashkernel=size[KMG][@offset[KMG]]
 ----                   [KNL] Using kexec, Linux can switch to a 'crash kernel'
 ++++                   [KNL,EARLY] Using kexec, Linux can switch to a 'crash kernel'
                        upon panic. This parameter reserves the physical
                        memory region [offset, offset + size] for that kernel
                        image. If '@offset' is omitted, then a suitable offset
                        Format: <port#>,<type>
                        See also Documentation/input/devices/joystick-parport.rst
     
 ----   debug           [KNL] Enable kernel debugging (events log level).
 ++++   debug           [KNL,EARLY] Enable kernel debugging (events log level).
     
        debug_boot_weak_hash
 ----                   [KNL] Enable printing [hashed] pointers early in the
 ++++                   [KNL,EARLY] Enable printing [hashed] pointers early in the
                        boot sequence.  If enabled, we use a weak hash instead
                        of siphash to hash pointers.  Use this option if you are
                        seeing instances of '(___ptrval___)') and need to see a
                        will print _a_lot_ more information - normally only
                        useful to lockdep developers.
     
 ----   debug_objects   [KNL] Enable object debugging
 ++++   debug_objects   [KNL,EARLY] Enable object debugging
     
        debug_guardpage_minorder=
 ----                   [KNL] When CONFIG_DEBUG_PAGEALLOC is set, this
 ++++                   [KNL,EARLY] When CONFIG_DEBUG_PAGEALLOC is set, this
                        parameter allows control of the order of pages that will
                        be intentionally kept free (and hence protected) by the
                        buddy allocator. Bigger value increase the probability
                        help tracking down these problems.
     
        debug_pagealloc=
 ----                   [KNL] When CONFIG_DEBUG_PAGEALLOC is set, this parameter
 ++++                   [KNL,EARLY] When CONFIG_DEBUG_PAGEALLOC is set, this parameter
                        enables the feature at boot time. By default, it is
                        disabled and the system will work mostly the same as a
                        kernel built without CONFIG_DEBUG_PAGEALLOC.
                        useful to also enable the page_owner functionality.
                        on: enable the feature
     
 ----   debugfs=        [KNL] This parameter enables what is exposed to userspace
 ----                   and debugfs internal clients.
 ++++   debugfs=        [KNL,EARLY] This parameter enables what is exposed to
 ++++                   userspace and debugfs internal clients.
                        Format: { on, no-mount, off }
                        on:     All functions are enabled.
                        no-mount:
        dhash_entries=  [KNL]
                        Set number of hash buckets for dentry cache.
     
 ----   disable_1tb_segments [PPC]
 ++++   disable_1tb_segments [PPC,EARLY]
                        Disables the use of 1TB hash page table segments. This
                        causes the kernel to fall back to 256MB segments which
                        can be useful when debugging issues that require an SLB
        disable=        [IPV6]
                        See Documentation/networking/ipv6.rst.
     
 ----   disable_radix   [PPC]
 ++++   disable_radix   [PPC,EARLY]
                        Disable RADIX MMU mode on POWER9
     
        disable_tlbie   [PPC]
                        causing system reset or hang due to sending
                        INIT from AP to BSP.
     
 ----   disable_ddw     [PPC/PSERIES]
 ++++   disable_ddw     [PPC/PSERIES,EARLY]
                        Disable Dynamic DMA Window support. Use this
                        to workaround buggy firmware.
     
        disable_ipv6=   [IPV6]
                        See Documentation/networking/ipv6.rst.
     
 ----   disable_mtrr_cleanup [X86]
 ++++   disable_mtrr_cleanup [X86,EARLY]
                        The kernel tries to adjust MTRR layout from continuous
                        to discrete, to make X server driver able to add WB
                        entry later. This parameter disables that.
     
 ----   disable_mtrr_trim [X86, Intel and AMD only]
 ++++   disable_mtrr_trim [X86, Intel and AMD only,EARLY]
                        By default the kernel will trim any uncacheable
                        memory out of your available memory pool based on
                        MTRR settings.  This parameter disables that behavior,
                        possibly causing your machine to run very slowly.
     
 ----   disable_timer_pin_1 [X86]
 ++++   disable_timer_pin_1 [X86,EARLY]
                        Disable PIN 1 of APIC timer
                        Can be useful to work around chipset bugs.
     
     
        dscc4.setup=    [NET]
     
 ----   dt_cpu_ftrs=    [PPC]
 ++++   dt_cpu_ftrs=    [PPC,EARLY]
                        Format: {"off" | "known"}
                        Control how the dt_cpu_ftrs device-tree binding is
                        used for CPU feature discovery and setup (if it
                        Documentation/admin-guide/dynamic-debug-howto.rst
                        for details.
     
 ----   early_ioremap_debug [KNL]
 ++++   early_ioremap_debug [KNL,EARLY]
                        Enable debug messages in early_ioremap support. This
                        is useful for tracking down temporary early mappings
                        which are not unmapped.
     
 ----   earlycon=       [KNL] Output early console device and options.
 ++++   earlycon=       [KNL,EARLY] Output early console device and options.
     
                        When used with no options, the early console is
                        determined by stdout-path property in device tree's
                        address must be provided, and the serial port must
                        already be setup and configured.
     
 ----   earlyprintk=    [X86,SH,ARM,M68k,S390]
 ++++   earlyprintk=    [X86,SH,ARM,M68k,S390,UM,EARLY]
                        earlyprintk=vga
                        earlyprintk=sclp
                        earlyprintk=xen
        edd=            [EDD]
                        Format: {"off" | "on" | "skip[mbr]"}
     
 ----   efi=            [EFI]
 ++++   efi=            [EFI,EARLY]
                        Format: { "debug", "disable_early_pci_dma",
                                  "nochunk", "noruntime", "nosoftreserve",
                                  "novamap", "no_disable_early_pci_dma" }
                        no_disable_early_pci_dma: Leave the busmaster bit set
                        on all PCI bridges while in the EFI boot stub
     
 ----   efi_no_storage_paranoia [EFI; X86]
 ++++   efi_no_storage_paranoia [EFI,X86,EARLY]
                        Using this parameter you can use more than 50% of
                        your efi variable storage. Use this parameter only if
                        you are really sure that your UEFI does sane gc and
                        fulfills the spec otherwise your board may brick.
     
 ----   efi_fake_mem=   nn[KMG]@ss[KMG]:aa[,nn[KMG]@ss[KMG]:aa,..] [EFI; X86]
 ++++   efi_fake_mem=   nn[KMG]@ss[KMG]:aa[,nn[KMG]@ss[KMG]:aa,..] [EFI,X86,EARLY]
                        Add arbitrary attribute to specific memory range by
                        updating original EFI memory map.
                        Region of memory which aa attribute is added to is
        eisa_irq_edge=  [PARISC,HW]
                        See header of drivers/parisc/eisa.c.
     
 ----   ekgdboc=        [X86,KGDB] Allow early kernel console debugging
 ++++   ekgdboc=        [X86,KGDB,EARLY] Allow early kernel console debugging
                        Format: ekgdboc=kbd
     
                        This is designed to be used in conjunction with
                        See comment before function elanfreq_setup() in
                        arch/x86/kernel/cpu/cpufreq/elanfreq.c.
     
 ----   elfcorehdr=[size[KMG]@]offset[KMG] [PPC,SH,X86,S390]
 ++++   elfcorehdr=[size[KMG]@]offset[KMG] [PPC,SH,X86,S390,EARLY]
                        Specifies physical address of start of kernel core
                        image elf header and optionally the size. Generally
                        kexec loader will pass this option to capture kernel.
                        See Documentation/admin-guide/kdump/kdump.rst for details.
     
 ----   enable_mtrr_cleanup [X86]
 ++++   enable_mtrr_cleanup [X86,EARLY]
                        The kernel tries to adjust MTRR layout from continuous
                        to discrete, to make X server driver able to add WB
                        entry later. This parameter enables that.
                        Permit 'security.evm' to be updated regardless of
                        current integrity status.
     
 ----   early_page_ext [KNL] Enforces page_ext initialization to earlier
 ++++   early_page_ext [KNL,EARLY] Enforces page_ext initialization to earlier
                        stages so cover more early boot allocations.
                        Please note that as side effect some optimizations
                        might be disabled to achieve that (e.g. parallelized
                        can be changed at run time by the max_graph_depth file
                        in the tracefs tracing directory. default: 0 (no limit)
     
 ----   fw_devlink=     [KNL] Create device links between consumer and supplier
 ++++   fw_devlink=     [KNL,EARLY] Create device links between consumer and supplier
                        devices by scanning the firmware to infer the
                        consumer/supplier relationships. This feature is
                        especially useful when drivers are loaded as modules as
                        rpm --  Like "on", but also use to order runtime PM.
     
        fw_devlink.strict=<bool>
 ----                   [KNL] Treat all inferred dependencies as mandatory
 ++++                   [KNL,EARLY] Treat all inferred dependencies as mandatory
                        dependencies. This only applies for fw_devlink=on|rpm.
                        Format: <bool>
     
        fw_devlink.sync_state =
 ----                   [KNL] When all devices that could probe have finished
 ++++                   [KNL,EARLY] When all devices that could probe have finished
                        probing, this parameter controls what to do with
                        devices that haven't yet received their sync_state()
                        calls.
     
        gamma=          [HW,DRM]
     
 ----   gart_fix_e820=  [X86-64] disable the fix e820 for K8 GART
 ++++   gart_fix_e820=  [X86-64,EARLY] disable the fix e820 for K8 GART
                        Format: off | on
                        default: on
     
        gather_data_sampling=
 ----                   [X86,INTEL] Control the Gather Data Sampling (GDS)
 ++++                   [X86,INTEL,EARLY] Control the Gather Data Sampling (GDS)
                        mitigation.
     
                        Gather Data Sampling is a hardware vulnerability which
                                (that will set all pages holding image data
                                during restoration read-only).
     
 ----   highmem=nn[KMG] [KNL,BOOT] forces the highmem zone to have an exact
 ++++   highmem=nn[KMG] [KNL,BOOT,EARLY] forces the highmem zone to have an exact
                        size of <nn>. This works even on boxes that have no
                        highmem otherwise. This also works to reduce highmem
                        size on bigger boxes.
     
        hlt             [BUGS=ARM,SH]
     
 ----   hostname=       [KNL] Set the hostname (aka UTS nodename).
 ++++   hostname=       [KNL,EARLY] Set the hostname (aka UTS nodename).
                        Format: <string>
                        This allows setting the system's hostname during early
                        startup. This sets the name returned by gethostname.
                        Documentation/admin-guide/mm/hugetlbpage.rst.
                        Format: size[KMG]
     
 ----   hugetlb_cma=    [HW,CMA] The size of a CMA area used for allocation
 ++++   hugetlb_cma=    [HW,CMA,EARLY] The size of a CMA area used for allocation
                        of gigantic hugepages. Or using node format, the size
                        of a CMA area per node can be specified.
                        Format: nn[KMGTPE] or (node format)
                                If specified, z/VM IUCV HVC accepts connections
                                from listed z/VM user IDs only.
     
 ----   hv_nopvspin     [X86,HYPER_V] Disables the paravirt spinlock optimizations
 ----                                 which allow the hypervisor to 'idle' the
 ----                                 guest on lock contention.
 ++++   hv_nopvspin     [X86,HYPER_V,EARLY]
 ++++                   Disables the paravirt spinlock optimizations
 ++++                   which allow the hypervisor to 'idle' the guest
 ++++                   on lock contention.
     
        i2c_bus=        [HW]    Override the default board specific I2C bus speed
                                or register an additional I2C bus that is not
                        Format: <io>[,<membase>[,<icn_id>[,<icn_id2>]]]
     
     
 ----   idle=           [X86]
 ++++   idle=           [X86,EARLY]
                        Format: idle=poll, idle=halt, idle=nomwait
                        Poll forces a polling idle loop that can slightly
                        improve the performance of waking up a idle CPU, but
                        mode generally follows that for the NaN encoding,
                        except where unsupported by hardware.
     
 ----   ignore_loglevel [KNL]
 ++++   ignore_loglevel [KNL,EARLY]
                        Ignore loglevel setting - this will print /all/
                        kernel messages to the console. Useful for debugging.
                        We also add it as printk module parameter, so users
                        unpacking being completed before device_ and
                        late_ initcalls.
     
 ----   initrd=         [BOOT] Specify the location of the initial ramdisk
 ++++   initrd=         [BOOT,EARLY] Specify the location of the initial ramdisk
     
 ----   initrdmem=      [KNL] Specify a physical address and size from which to
 ++++   initrdmem=      [KNL,EARLY] Specify a physical address and size from which to
                        load the initrd. If an initrd is compiled in or
                        specified in the bootparams, it takes priority over this
                        setting.
                        Format: ss[KMG],nn[KMG]
                        Default is 0, 0
     
 ----   init_on_alloc=  [MM] Fill newly allocated pages and heap objects with
 ++++   init_on_alloc=  [MM,EARLY] Fill newly allocated pages and heap objects with
                        zeroes.
                        Format: 0 | 1
                        Default set by CONFIG_INIT_ON_ALLOC_DEFAULT_ON.
     
 ----   init_on_free=   [MM] Fill freed pages and heap objects with zeroes.
 ++++   init_on_free=   [MM,EARLY] Fill freed pages and heap objects with zeroes.
                        Format: 0 | 1
                        Default set by CONFIG_INIT_ON_FREE_DEFAULT_ON.
     
                        0       disables intel_idle and fall back on acpi_idle.
                        1 to 9  specify maximum depth of C-state.
     
 ----   intel_pstate=   [X86]
 ++++   intel_pstate=   [X86,EARLY]
                        disable
                          Do not enable intel_pstate as the default
                          scaling driver for the supported processors
                          Allow per-logical-CPU P-State performance control limits using
                          cpufreq sysfs interface
     
 ----   intremap=       [X86-64, Intel-IOMMU]
 ++++   intremap=       [X86-64,Intel-IOMMU,EARLY]
                        on      enable Interrupt Remapping (default)
                        off     disable Interrupt Remapping
                        nosid   disable Source ID checking
                strict  regions from userspace.
                relaxed
     
 ----   iommu=          [X86]
 ++++   iommu=          [X86,EARLY]
                off
                force
                noforce
                nobypass        [PPC/POWERNV]
                        Disable IOMMU bypass, using IOMMU for PCI devices.
     
 ----   iommu.forcedac= [ARM64, X86] Control IOVA allocation for PCI devices.
 ++++   iommu.forcedac= [ARM64,X86,EARLY] Control IOVA allocation for PCI devices.
                        Format: { "0" | "1" }
                        0 - Try to allocate a 32-bit DMA address first, before
                          falling back to the full range if needed.
                          forcing Dual Address Cycle for PCI cards supporting
                          greater than 32-bit addressing.
     
 ----   iommu.strict=   [ARM64, X86, S390] Configure TLB invalidation behaviour
 ++++   iommu.strict=   [ARM64,X86,S390,EARLY] Configure TLB invalidation behaviour
                        Format: { "0" | "1" }
                        0 - Lazy mode.
                          Request that DMA unmap operations use deferred
                        legacy driver-specific options takes precedence.
     
        iommu.passthrough=
 ----                   [ARM64, X86] Configure DMA to bypass the IOMMU by default.
 ++++                   [ARM64,X86,EARLY] Configure DMA to bypass the IOMMU by default.
                        Format: { "0" | "1" }
                        0 - Use IOMMU translation for DMA.
                        1 - Bypass the IOMMU for DMA.
                        See comment before marvel_specify_io7 in
                        arch/alpha/kernel/core_marvel.c.
     
 ----   io_delay=       [X86] I/O delay method
 ++++   io_delay=       [X86,EARLY] I/O delay method
                0x80
                        Standard port 0x80 based delay
                0xed
        ip=             [IP_PNP]
                        See Documentation/admin-guide/nfs/nfsroot.rst.
     
 ----   ipcmni_extend   [KNL] Extend the maximum number of unique System V
 ++++   ipcmni_extend   [KNL,EARLY] Extend the maximum number of unique System V
                        IPC identifiers from 32,768 to 16,777,216.
     
        irqaffinity=    [SMP] Set the default irq affinity mask
                        The argument is a cpu list, as described above.
     
        irqchip.gicv2_force_probe=
 ----                   [ARM, ARM64]
 ++++                   [ARM,ARM64,EARLY]
                        Format: <bool>
                        Force the kernel to look for the second 4kB page
                        of a GICv2 controller even if the memory range
                        exposed by the device tree is too small.
     
        irqchip.gicv3_nolpi=
 ----                   [ARM, ARM64]
 ++++                   [ARM,ARM64,EARLY]
                        Force the kernel to ignore the availability of
                        LPIs (and by consequence ITSs). Intended for system
                        that use the kernel as a bootloader, and thus want
                        to let secondary kernels in charge of setting up
                        LPIs.
     
 ----   irqchip.gicv3_pseudo_nmi= [ARM64]
 ++++   irqchip.gicv3_pseudo_nmi= [ARM64,EARLY]
                        Enables support for pseudo-NMIs in the kernel. This
                        requires the kernel to be built with
                        CONFIG_ARM64_PSEUDO_NMI.
                        parameter KASAN will print report only for the first
                        invalid access.
     
 ----   keep_bootcon    [KNL]
 ++++   keep_bootcon    [KNL,EARLY]
                        Do not unregister boot console at start. This is only
                        useful for debugging when something happens in the window
                        between unregistering the boot console and initializing
     
        keepinitrd      [HW,ARM] See retain_initrd.
     
 ----   kernelcore=     [KNL,X86,IA-64,PPC]
 ++++   kernelcore=     [KNL,X86,IA-64,PPC,EARLY]
                        Format: nn[KMGTPE] | nn% | "mirror"
                        This parameter specifies the amount of memory usable by
                        the kernel for non-movable allocations.  The requested
                        for Movable pages.  "nn[KMGTPE]", "nn%", and "mirror"
                        are exclusive, so you cannot specify multiple forms.
     
 ----   kgdbdbgp=       [KGDB,HW] kgdb over EHCI usb debug port.
 ++++   kgdbdbgp=       [KGDB,HW,EARLY] kgdb over EHCI usb debug port.
                        Format: <Controller#>[,poll interval]
                        The controller # is the number of the ehci usb debug
                        port as it is probed via PCI.  The poll interval is
                         kms, kbd format: kms,kbd
                         kms, kbd and serial format: kms,kbd,<ser_dev>[,baud]
     
 ----   kgdboc_earlycon=        [KGDB,HW]
 ++++   kgdboc_earlycon=        [KGDB,HW,EARLY]
                        If the boot console provides the ability to read
                        characters and can work in polling mode, you can use
                        this parameter to tell kgdb to use it as a backend
                        blank and the first boot console that implements
                        read() will be picked.
     
 ----   kgdbwait        [KGDB] Stop kernel execution and enter the
 ++++   kgdbwait        [KGDB,EARLY] Stop kernel execution and enter the
                        kernel debugger at the earliest opportunity.
     
        kmac=           [MIPS] Korina ethernet MAC address.
                        Configure the RouterBoard 532 series on-chip
                        Ethernet adapter MAC address.
     
 ----   kmemleak=       [KNL] Boot-time kmemleak enable/disable
 ++++   kmemleak=       [KNL,EARLY] Boot-time kmemleak enable/disable
                        Valid arguments: on, off
                        Default: on
                        Built with CONFIG_DEBUG_KMEMLEAK_DEFAULT_OFF=y,
                        See also Documentation/trace/kprobetrace.rst "Kernel
                        Boot Parameter" section.
     
 ----   kpti=           [ARM64] Control page table isolation of user
 ----                   and kernel address spaces.
 ++++   kpti=           [ARM64,EARLY] Control page table isolation of
 ++++                   user and kernel address spaces.
                        Default: enabled on cores which need mitigation.
                        0: force disabled
                        1: force enabled
                        for NPT.
     
        kvm-arm.mode=
 ----                   [KVM,ARM] Select one of KVM/arm64's modes of operation.
 ++++                   [KVM,ARM,EARLY] Select one of KVM/arm64's modes of
 ++++                   operation.
     
                        none: Forcefully disable KVM.
     
                        used with extreme caution.
     
        kvm-arm.vgic_v3_group0_trap=
 ----                   [KVM,ARM] Trap guest accesses to GICv3 group-0
 ++++                   [KVM,ARM,EARLY] Trap guest accesses to GICv3 group-0
                        system registers
     
        kvm-arm.vgic_v3_group1_trap=
 ----                   [KVM,ARM] Trap guest accesses to GICv3 group-1
 ++++                   [KVM,ARM,EARLY] Trap guest accesses to GICv3 group-1
                        system registers
     
        kvm-arm.vgic_v3_common_trap=
 ----                   [KVM,ARM] Trap guest accesses to GICv3 common
 ++++                   [KVM,ARM,EARLY] Trap guest accesses to GICv3 common
                        system registers
     
        kvm-arm.vgic_v4_enable=
 ----                   [KVM,ARM] Allow use of GICv4 for direct injection of
 ----                   LPIs.
 ++++                   [KVM,ARM,EARLY] Allow use of GICv4 for direct
 ++++                   injection of LPIs.
     
 ----   kvm_cma_resv_ratio=n [PPC]
 ++++   kvm_cma_resv_ratio=n [PPC,EARLY]
                        Reserves given percentage from system memory area for
                        contiguous memory allocation for KVM hash pagetable
                        allocation.
                        (enabled). Disable by KVM if hardware lacks support
                        for it.
     
 ----   l1d_flush=      [X86,INTEL]
 ++++   l1d_flush=      [X86,INTEL,EARLY]
                        Control mitigation for L1D based snooping vulnerability.
     
                        Certain CPUs are vulnerable to an exploit against CPU
     
                        on         - enable the interface for the mitigation
     
 ----   l1tf=           [X86] Control mitigation of the L1TF vulnerability on
 ++++   l1tf=           [X86,EARLY] Control mitigation of the L1TF vulnerability on
                              affected CPUs
     
                        The kernel PTE inversion protection is unconditionally
     
        l3cr=           [PPC]
     
 ----   lapic           [X86-32,APIC] Enable the local APIC even if BIOS
 ++++   lapic           [X86-32,APIC,EARLY] Enable the local APIC even if BIOS
                        disabled it.
     
        lapic=          [X86,APIC] Do not use TSC deadline
                        back to the programmable timer unit in the LAPIC.
                        Format: notscdeadline
     
 ----   lapic_timer_c2_ok       [X86,APIC] trust the local apic timer
 ++++   lapic_timer_c2_ok       [X86,APIC,EARLY] trust the local apic timer
                        in C2 power state.
     
        libata.dma=     [LIBATA] DMA control
        lockd.nlm_udpport=M     [NFS] Assign UDP port.
                        Format: <integer>
     
 ----   lockdown=       [SECURITY]
 ++++   lockdown=       [SECURITY,EARLY]
                        { integrity | confidentiality }
                        Enable the kernel lockdown feature. If set to
                        integrity, kernel features that allow userland to
        logibm.irq=     [HW,MOUSE] Logitech Bus Mouse Driver
                        Format: <irq>
     
 ----   loglevel=       All Kernel Messages with a loglevel smaller than the
 ++++   loglevel=       [KNL,EARLY]
 ++++                   All Kernel Messages with a loglevel smaller than the
                        console loglevel will be printed to the console. It can
                        also be changed with klogd or other programs. The
                        loglevels are defined as follows:
                        6 (KERN_INFO)           informational
                        7 (KERN_DEBUG)          debug-level messages
     
 ----   log_buf_len=n[KMG]      Sets the size of the printk ring buffer,
 ----                   in bytes.  n must be a power of two and greater
 ----                   than the minimal size. The minimal size is defined
 ----                   by LOG_BUF_SHIFT kernel config parameter. There is
 ----                   also CONFIG_LOG_CPU_MAX_BUF_SHIFT config parameter
 ----                   that allows to increase the default size depending on
 ----                   the number of CPUs. See init/Kconfig for more details.
 ++++   log_buf_len=n[KMG] [KNL,EARLY]
 ++++                   Sets the size of the printk ring buffer, in bytes.
 ++++                   n must be a power of two and greater than the
 ++++                   minimal size. The minimal size is defined by
 ++++                   LOG_BUF_SHIFT kernel config parameter. There
 ++++                   is also CONFIG_LOG_CPU_MAX_BUF_SHIFT config
 ++++                   parameter that allows to increase the default size
 ++++                   depending on the number of CPUs. See init/Kconfig
 ++++                   for more details.
     
        logo.nologo     [FB] Disables display of the built-in Linux logo.
                        This may be used to provide more screen space for
        max_addr=nn[KMG]        [KNL,BOOT,IA-64] All physical memory greater
                        than or equal to this physical address is ignored.
     
 ----   maxcpus=        [SMP] Maximum number of processors that an SMP kernel
 ++++   maxcpus=        [SMP,EARLY] Maximum number of processors that an SMP kernel
                        will bring up during bootup.  maxcpus=n : n >= 0 limits
                        the kernel to bring up 'n' processors. Surely after
                        bootup you can bring up the other plugged cpu by executing
                        Format: <first>,<last>
                        Specifies range of consoles to be captured by the MDA.
     
 ----   mds=            [X86,INTEL]
 ++++   mds=            [X86,INTEL,EARLY]
                        Control mitigation for the Micro-architectural Data
                        Sampling (MDS) vulnerability.
     
     
                        For details see: Documentation/admin-guide/hw-vuln/mds.rst
     
 ----   mem=nn[KMG]     [HEXAGON] Set the memory size.
 ++++   mem=nn[KMG]     [HEXAGON,EARLY] Set the memory size.
                        Must be specified, otherwise memory size will be 0.
     
 ----   mem=nn[KMG]     [KNL,BOOT] Force usage of a specific amount of memory
 ----                   Amount of memory to be used in cases as follows:
 ++++   mem=nn[KMG]     [KNL,BOOT,EARLY] Force usage of a specific amount
 ++++                   of memory Amount of memory to be used in cases
 ++++                   as follows:
     
                        1 for test;
                        2 when the kernel is not able to see the whole system memory;
                        if system memory of hypervisor is not sufficient.
     
        mem=nn[KMG]@ss[KMG]
 ----                   [ARM,MIPS] - override the memory layout reported by
 ----                   firmware.
 ++++                   [ARM,MIPS,EARLY] - override the memory layout
 ++++                   reported by firmware.
                        Define a memory region of size nn[KMG] starting at
                        ss[KMG].
                        Multiple different regions can be specified with
        mem=nopentium   [BUGS=X86-32] Disable usage of 4MB pages for kernel
                        memory.
     
 ----   memblock=debug  [KNL] Enable memblock debug messages.
 ++++   memblock=debug  [KNL,EARLY] Enable memblock debug messages.
     
        memchunk=nn[KMG]
                        [KNL,SH] Allow user to override the default size for
                        option.
                        See Documentation/admin-guide/mm/memory-hotplug.rst.
     
 ----   memmap=exactmap [KNL,X86] Enable setting of an exact
 ++++   memmap=exactmap [KNL,X86,EARLY] Enable setting of an exact
                        E820 memory map, as specified by the user.
                        Such memmap=exactmap lines can be constructed based on
                        BIOS output or other requirements. See the memmap=nn@ss
                        option description.
     
        memmap=nn[KMG]@ss[KMG]
 ----                   [KNL, X86, MIPS, XTENSA] Force usage of a specific region of memory.
 ++++                   [KNL, X86,MIPS,XTENSA,EARLY] Force usage of a specific region of memory.
                        Region of memory to be used is from ss to ss+nn.
                        If @ss[KMG] is omitted, it is equivalent to mem=nn[KMG],
                        which limits max address to nn[KMG].
                                memmap=100M@2G,100M#3G,1G!1024G
     
        memmap=nn[KMG]#ss[KMG]
 ----                   [KNL,ACPI] Mark specific memory as ACPI data.
 ++++                   [KNL,ACPI,EARLY] Mark specific memory as ACPI data.
                        Region of memory to be marked is from ss to ss+nn.
     
        memmap=nn[KMG]$ss[KMG]
 ----                   [KNL,ACPI] Mark specific memory as reserved.
 ++++                   [KNL,ACPI,EARLY] Mark specific memory as reserved.
                        Region of memory to be reserved is from ss to ss+nn.
                        Example: Exclude memory from 0x18690000-0x1869ffff
                                 memmap=64K$0x18690000
                        like Grub2, otherwise '$' and the following number
                        will be eaten.
     
 ----   memmap=nn[KMG]!ss[KMG]
 ++++   memmap=nn[KMG]!ss[KMG,EARLY]
                        [KNL,X86] Mark specific memory as protected.
                        Region of memory to be used, from ss to ss+nn.
                        The memory region may be marked as e820 type 12 (0xc)
                        and is NVDIMM or ADR memory.
     
        memmap=<size>%<offset>-<oldtype>+<newtype>
 ----                   [KNL,ACPI] Convert memory within the specified region
 ++++                   [KNL,ACPI,EARLY] Convert memory within the specified region
                        from <oldtype> to <newtype>. If "-<oldtype>" is left
                        out, the whole region will be marked as <newtype>,
                        even if previously unavailable. If "+<newtype>" is left
                        specified as e820 types, e.g., 1 = RAM, 2 = reserved,
                        3 = ACPI, 12 = PRAM.
     
 ----   memory_corruption_check=0/1 [X86]
 ++++   memory_corruption_check=0/1 [X86,EARLY]
                        Some BIOSes seem to corrupt the first 64k of
                        memory when doing things like suspend/resume.
                        Setting this option will scan the memory
                        affects the same memory, you can use memmap=
                        to prevent the kernel from using that memory.
     
 ----   memory_corruption_check_size=size [X86]
 ++++   memory_corruption_check_size=size [X86,EARLY]
                        By default it checks for corruption in the low
                        64k, making this memory unavailable for normal
                        use.  Use this parameter to scan for
                        corruption in more or less memory.
     
 ----   memory_corruption_check_period=seconds [X86]
 ++++   memory_corruption_check_period=seconds [X86,EARLY]
                        By default it checks for corruption every 60
                        seconds.  Use this parameter to check at some
                        other rate.  0 disables periodic checking.
                        Note that even when enabled, there are a few cases where
                        the feature is not effective.
     
 ----   memtest=        [KNL,X86,ARM,M68K,PPC,RISCV] Enable memtest
 ++++   memtest=        [KNL,X86,ARM,M68K,PPC,RISCV,EARLY] Enable memtest
                        Format: <integer>
                        default : 0 <disable>
                        Specifies the number of memtest passes to be
                        https://repo.or.cz/w/linux-2.6/mini2440.git
     
        mitigations=
 ----                   [X86,PPC,S390,ARM64] Control optional mitigations for
 ++++                   [X86,PPC,S390,ARM64,EARLY] Control optional mitigations for
                        CPU vulnerabilities.  This is a set of curated,
                        arch-independent options, each of which is an
                        aggregation of existing arch-specific options.
                                               retbleed=auto,nosmt [X86]
     
        mminit_loglevel=
 ----                   [KNL] When CONFIG_DEBUG_MEMORY_INIT is set, this
 ++++                   [KNL,EARLY] When CONFIG_DEBUG_MEMORY_INIT is set, this
                        parameter allows control of the logging verbosity for
                        the additional memory initialisation checks. A value
                        of 0 disables mminit logging and a level of 4 will
                        so loglevel=8 may also need to be specified.
     
        mmio_stale_data=
 ----                   [X86,INTEL] Control mitigation for the Processor
 ++++                   [X86,INTEL,EARLY] Control mitigation for the Processor
                        MMIO Stale Data vulnerabilities.
     
                        Processor MMIO Stale Data is a class of
        mousedev.yres=  [MOUSE] Vertical screen resolution, used for devices
                        reporting absolute coordinates, such as tablets
     
 ----   movablecore=    [KNL,X86,IA-64,PPC]
 ++++   movablecore=    [KNL,X86,IA-64,PPC,EARLY]
                        Format: nn[KMGTPE] | nn%
                        This parameter is the complement to kernelcore=, it
                        specifies the amount of memory used for migratable
                        that the amount of memory usable for all allocations
                        is not too small.
     
 ----   movable_node    [KNL] Boot-time switch to make hotplugable memory
 ++++   movable_node    [KNL,EARLY] Boot-time switch to make hotplugable memory
                        NUMA nodes to be movable. This means that the memory
                        of such nodes will be usable only for movable
                        allocations which rules out almost all kernel
                        [HW] Make the MicroTouch USB driver use raw coordinates
                        ('y', default) or cooked coordinates ('n')
     
 ----   mtrr=debug      [X86]
 ++++   mtrr=debug      [X86,EARLY]
                        Enable printing debug information related to MTRR
                        registers at boot time.
     
 ----   mtrr_chunk_size=nn[KMG] [X86]
 ++++   mtrr_chunk_size=nn[KMG,X86,EARLY]
                        used for mtrr cleanup. It is largest continuous chunk
                        that could hold holes aka. UC entries.
     
 ----   mtrr_gran_size=nn[KMG] [X86]
 ++++   mtrr_gran_size=nn[KMG,X86,EARLY]
                        Used for mtrr cleanup. It is granularity of mtrr block.
                        Default is 1.
                        Large value could prevent small alignment from
                        using up MTRRs.
     
 ----   mtrr_spare_reg_nr=n [X86]
 ++++   mtrr_spare_reg_nr=n [X86,EARLY]
                        Format: <integer>
                        Range: 0,7 : spare reg number
                        Default : 1
                        emulation library even if a 387 maths coprocessor
                        is present.
     
 ----   no4lvl          [RISCV] Disable 4-level and 5-level paging modes. Forces
 ----                   kernel to use 3-level paging instead.
 ++++   no4lvl          [RISCV,EARLY] Disable 4-level and 5-level paging modes.
 ++++                   Forces kernel to use 3-level paging instead.
     
 ----   no5lvl          [X86-64,RISCV] Disable 5-level paging mode. Forces
 ++++   no5lvl          [X86-64,RISCV,EARLY] Disable 5-level paging mode. Forces
                        kernel to use 4-level paging instead.
     
        noaliencache    [MM, NUMA, SLAB] Disables the allocation of alien
     
        noalign         [KNL,ARM]
     
 ----   noaltinstr      [S390] Disables alternative instructions patching
 ----                   (CPU alternatives feature).
 ++++   noaltinstr      [S390,EARLY] Disables alternative instructions
 ++++                   patching (CPU alternatives feature).
     
 ----   noapic          [SMP,APIC] Tells the kernel to not make use of any
 ++++   noapic          [SMP,APIC,EARLY] Tells the kernel to not make use of any
                        IOAPICs that may be present in the system.
     
        noautogroup     Disable scheduler automatic task group creation.
     
 ----   nocache         [ARM]
 ++++   nocache         [ARM,EARLY]
     
        no_console_suspend
                        [HW] Never suspend the console
                        turn on/off it dynamically.
     
        no_debug_objects
 ----                   [KNL] Disable object debugging
 ++++                   [KNL,EARLY] Disable object debugging
     
        nodsp           [SH] Disable hardware DSP at boot time.
     
 ----   noefi           Disable EFI runtime services support.
 ++++   noefi           [EFI,EARLY] Disable EFI runtime services support.
     
 ----   no_entry_flush  [PPC] Don't flush the L1-D cache when entering the kernel.
 ++++   no_entry_flush  [PPC,EARLY] Don't flush the L1-D cache when entering the kernel.
     
        noexec          [IA-64]
     
                        real-time systems.
     
        no_hash_pointers
 ++++                   [KNL,EARLY]
                        Force pointers printed to the console or buffers to be
                        unhashed.  By default, when a pointer is printed via %p
                        format string, that pointer is "hashed", i.e. obscured
                        the impact of the sleep instructions. This is also
                        useful when using JTAG debugger.
     
 ----   nohugeiomap     [KNL,X86,PPC,ARM64] Disable kernel huge I/O mappings.
 ++++   nohugeiomap     [KNL,X86,PPC,ARM64,EARLY] Disable kernel huge I/O mappings.
     
 ----   nohugevmalloc   [KNL,X86,PPC,ARM64] Disable kernel huge vmalloc mappings.
 ++++   nohugevmalloc   [KNL,X86,PPC,ARM64,EARLY] Disable kernel huge vmalloc mappings.
     
        nohz=           [KNL] Boottime enable/disable dynamic ticks
                        Valid arguments: on, off
        noinitrd        [RAM] Tells the kernel not to load any configured
                        initial RAM disk.
     
 ----   nointremap      [X86-64, Intel-IOMMU] Do not enable interrupt
 ++++   nointremap      [X86-64,Intel-IOMMU,EARLY] Do not enable interrupt
                        remapping.
                        [Deprecated - use intremap=off]
     
        nointroute      [IA-64]
     
 ----   noinvpcid       [X86] Disable the INVPCID cpu feature.
 ++++   noinvpcid       [X86,EARLY] Disable the INVPCID cpu feature.
     
        noiotrap        [SH] Disables trapped I/O port accesses.
     
     
        nojitter        [IA-64] Disables jitter checking for ITC timers.
     
 ----   nokaslr         [KNL]
 ++++   nokaslr         [KNL,EARLY]
                        When CONFIG_RANDOMIZE_BASE is set, this disables
                        kernel and module base offset ASLR (Address Space
                        Layout Randomization).
     
 ----   no-kvmapf       [X86,KVM] Disable paravirtualized asynchronous page
 ++++   no-kvmapf       [X86,KVM,EARLY] Disable paravirtualized asynchronous page
                        fault handling.
     
 ----   no-kvmclock     [X86,KVM] Disable paravirtualized KVM clock driver
 ++++   no-kvmclock     [X86,KVM,EARLY] Disable paravirtualized KVM clock driver
     
 ----   nolapic         [X86-32,APIC] Do not enable or use the local APIC.
 ++++   nolapic         [X86-32,APIC,EARLY] Do not enable or use the local APIC.
     
 ----   nolapic_timer   [X86-32,APIC] Do not use the local APIC timer.
 ++++   nolapic_timer   [X86-32,APIC,EARLY] Do not use the local APIC timer.
     
        nomca           [IA-64] Disable machine check abort handling
     
                        shutdown the other cpus.  Instead use the REBOOT_VECTOR
                        irq.
     
 ----   nopat           [X86] Disable PAT (page attribute table extension of
 ++++   nopat           [X86,EARLY] Disable PAT (page attribute table extension of
                        pagetables) support.
     
 ----   nopcid          [X86-64] Disable the PCID cpu feature.
 ++++   nopcid          [X86-64,EARLY] Disable the PCID cpu feature.
     
        nopku           [X86] Disable Memory Protection Keys CPU feature found
                        in some Intel CPUs.
     
 ----   nopti           [X86-64]
 ++++   nopti           [X86-64,EARLY]
                        Equivalent to pti=off
     
 ----   nopv=           [X86,XEN,KVM,HYPER_V,VMWARE]
 ++++   nopv=           [X86,XEN,KVM,HYPER_V,VMWARE,EARLY]
                        Disables the PV optimizations forcing the guest to run
                        as generic guest with no PV drivers. Currently support
                        XEN HVM, KVM, HYPER_V and VMWARE guest.
     
 ----   nopvspin        [X86,XEN,KVM]
 ++++   nopvspin        [X86,XEN,KVM,EARLY]
                        Disables the qspinlock slow path using PV optimizations
                        which allow the hypervisor to 'idle' the guest on lock
                        contention.
                        This is required for the Braillex ib80-piezo Braille
                        reader made by F.H. Papenmeier (Germany).
     
 ----   nosgx           [X86-64,SGX] Disables Intel SGX kernel support.
 ++++   nosgx           [X86-64,SGX,EARLY] Disables Intel SGX kernel support.
     
 ----   nosmap          [PPC]
 ++++   nosmap          [PPC,EARLY]
                        Disable SMAP (Supervisor Mode Access Prevention)
                        even if it is supported by processor.
     
 ----   nosmep          [PPC64s]
 ++++   nosmep          [PPC64s,EARLY]
                        Disable SMEP (Supervisor Mode Execution Prevention)
                        even if it is supported by processor.
     
 ----   nosmp           [SMP] Tells an SMP kernel to act as a UP kernel,
 ++++   nosmp           [SMP,EARLY] Tells an SMP kernel to act as a UP kernel,
                        and disable the IO APIC.  legacy for "maxcpus=0".
     
 ----   nosmt           [KNL,MIPS,PPC,S390] Disable symmetric multithreading (SMT).
 ++++   nosmt           [KNL,MIPS,PPC,S390,EARLY] Disable symmetric multithreading (SMT).
                        Equivalent to smt=1.
     
                        [KNL,X86,PPC] Disable symmetric multithreading (SMT).
        nosoftlockup    [KNL] Disable the soft-lockup detector.
     
        nospec_store_bypass_disable
 ----                   [HW] Disable all mitigations for the Speculative Store Bypass vulnerability
 ++++                   [HW,EARLY] Disable all mitigations for the Speculative
 ++++                   Store Bypass vulnerability
     
 ----   nospectre_bhb   [ARM64] Disable all mitigations for Spectre-BHB (branch
 ++++   nospectre_bhb   [ARM64,EARLY] Disable all mitigations for Spectre-BHB (branch
                        history injection) vulnerability. System may allow data leaks
                        with this option.
     
 ----   nospectre_v1    [X86,PPC] Disable mitigations for Spectre Variant 1
 ++++   nospectre_v1    [X86,PPC,EARLY] Disable mitigations for Spectre Variant 1
                        (bounds check bypass). With this option data leaks are
                        possible in the system.
     
 ----   nospectre_v2    [X86,PPC_E500,ARM64] Disable all mitigations for
 ----                   the Spectre variant 2 (indirect branch prediction)
 ----                   vulnerability. System may allow data leaks with this
 ----                   option.
 ++++   nospectre_v2    [X86,PPC_E500,ARM64,EARLY] Disable all mitigations
 ++++                   for the Spectre variant 2 (indirect branch
 ++++                   prediction) vulnerability. System may allow data
 ++++                   leaks with this option.
     
 ----   no-steal-acc    [X86,PV_OPS,ARM64,PPC/PSERIES,RISCV] Disable
 ++++   no-steal-acc    [X86,PV_OPS,ARM64,PPC/PSERIES,RISCV,EARLY] Disable
                        paravirtualized steal time accounting. steal time is
                        computed, but won't influence scheduler behaviour
     
                        broken timer IRQ sources.
     
        no_uaccess_flush
 ----                   [PPC] Don't flush the L1-D cache after accessing user data.
 ++++                   [PPC,EARLY] Don't flush the L1-D cache after accessing user data.
     
        novmcoredd      [KNL,KDUMP]
                        Disable device dump. Device dump allows drivers to
                        is set.
     
        no-vmw-sched-clock
 ----                   [X86,PV_OPS] Disable paravirtualized VMware scheduler
 ----                   clock and use the default one.
 ++++                   [X86,PV_OPS,EARLY] Disable paravirtualized VMware
 ++++                   scheduler clock and use the default one.
     
        nowatchdog      [KNL] Disable both lockup detectors, i.e.
                        soft-lockup and NMI watchdog (hard-lockup).
     
 ----   nowb            [ARM]
 ++++   nowb            [ARM,EARLY]
     
 ----   nox2apic        [X86-64,APIC] Do not enable x2APIC mode.
 ++++   nox2apic        [X86-64,APIC,EARLY] Do not enable x2APIC mode.
     
                        NOTE: this parameter will be ignored on systems with the
                        LEGACY_XAPIC_DISABLED bit set in the
                        purges which is reported from either PAL_VM_SUMMARY or
                        SAL PALO.
     
 ----   nr_cpus=        [SMP] Maximum number of processors that an SMP kernel
 ++++   nr_cpus=        [SMP,EARLY] Maximum number of processors that an SMP kernel
                        could support.  nr_cpus=n : n >= 1 limits the kernel to
                        support 'n' processors. It could be larger than the
                        number of already plugged CPU during bootup, later in
     
        nr_uarts=       [SERIAL] maximum number of UARTs to be registered.
     
 ----   numa=off        [KNL, ARM64, PPC, RISCV, SPARC, X86] Disable NUMA, Only
 ----                   set up a single NUMA node spanning all memory.
 ++++   numa=off        [KNL, ARM64, PPC, RISCV, SPARC, X86, EARLY]
 ++++                   Disable NUMA, Only set up a single NUMA node
 ++++                   spanning all memory.
     
        numa_balancing= [KNL,ARM64,PPC,RISCV,S390,X86] Enable or disable automatic
                        NUMA balancing.
                        This can be set from sysctl after boot.
                        See Documentation/admin-guide/sysctl/vm.rst for details.
     
 ----   ohci1394_dma=early      [HW] enable debugging via the ohci1394 driver.
 ++++   ohci1394_dma=early      [HW,EARLY] enable debugging via the ohci1394 driver.
                        See Documentation/core-api/debugging-via-ohci1394.rst for more
                        info.
     
                                   Once locked, the boundary cannot be changed.
                                   1 indicates lock status, 0 indicates unlock status.
     
 ----   oops=panic      Always panic on oopses. Default is to just kill the
 ++++   oops=panic      [KNL,EARLY]
 ++++                   Always panic on oopses. Default is to just kill the
                        process, but there is a small probability of
                        deadlocking the machine.
                        This will also cause panics on machine check exceptions.
                        can be read from sysfs at:
                        /sys/module/page_alloc/parameters/shuffle.
     
 ----   page_owner=     [KNL] Boot-time page_owner enabling option.
 ++++   page_owner=     [KNL,EARLY] Boot-time page_owner enabling option.
                        Storage of the information about who allocated
                        each page is disabled in default. With this switch,
                        we can turn it on.
                        on: enable the feature
     
 ----   page_poison=    [KNL] Boot-time parameter changing the state of
 ++++   page_poison=    [KNL,EARLY] Boot-time parameter changing the state of
                        poisoning on the buddy allocator, available with
                        CONFIG_PAGE_POISONING=y.
                        off: turn off poisoning (default)
                        timeout < 0: reboot immediately
                        Format: <timeout>
     
 ----   panic_on_taint= Bitmask for conditionally calling panic() in add_taint()
 ++++   panic_on_taint= [KNL,EARLY]
 ++++                   Bitmask for conditionally calling panic() in add_taint()
                        Format: <hex>[,nousertaint]
                        Hexadecimal bitmask representing the set of TAINT flags
                        that will cause the kernel to panic when add_taint() is
     
        pcbit=          [HW,ISDN]
     
 ----   pci=option[,option...]  [PCI] various PCI subsystem options.
 ++++   pci=option[,option...]  [PCI,EARLY] various PCI subsystem options.
     
                                Some options herein operate on a specific device
                                or a set of devices (<pci_dev>). These are
                        Format: { 0 | 1 }
                        See arch/parisc/kernel/pdc_chassis.c
     
 ----   percpu_alloc=   Select which percpu first chunk allocator to use.
 ++++   percpu_alloc=   [MM,EARLY]
 ++++                   Select which percpu first chunk allocator to use.
                        Currently supported values are "embed" and "page".
                        Archs may support subset or none of the selections.
                        See comments in mm/percpu.c for details on each
                        execution priority.
     
        ppc_strict_facility_enable
 ----                   [PPC] This option catches any kernel floating point,
 ++++                   [PPC,ENABLE] This option catches any kernel floating point,
                        Altivec, VSX and SPE outside of regions specifically
                        allowed (eg kernel_enable_fpu()/kernel_disable_fpu()).
                        There is some performance impact when enabling this.
     
 ----   ppc_tm=         [PPC]
 ++++   ppc_tm=         [PPC,EARLY]
                        Format: {"off"}
                        Disable Hardware Transactional Memory
     
                        [KNL] Number of legacy pty's. Overwrites compiled-in
                        default number.
     
 ----   quiet           [KNL] Disable most log messages
 ++++   quiet           [KNL,EARLY] Disable most log messages
     
        r128=           [HW,DRM]
     
        ramdisk_start=  [RAM] RAM disk image start address
     
        random.trust_cpu=off
 ----                   [KNL] Disable trusting the use of the CPU's
 ++++                   [KNL,EARLY] Disable trusting the use of the CPU's
                        random number generator (if available) to
                        initialize the kernel's RNG.
     
        random.trust_bootloader=off
 ----                   [KNL] Disable trusting the use of the a seed
 ++++                   [KNL,EARLY] Disable trusting the use of the a seed
                        passed by the bootloader (if available) to
                        initialize the kernel's RNG.
     
        randomize_kstack_offset=
 ----                   [KNL] Enable or disable kernel stack offset
 ++++                   [KNL,EARLY] Enable or disable kernel stack offset
                        randomization, which provides roughly 5 bits of
                        entropy, frustrating memory corruption attacks
                        that depend on stack address determinism or
                        this kernel boot parameter, forcibly setting it
                        to zero.
     
++++    rcutree.enable_rcu_lazy= [KNL]
++++                    To save power, batch RCU callbacks and flush after
++++                    delay, memory pressure or callback list growing too
++++                    big.
++++ 
        rcuscale.gp_async= [KNL]
                        Measure performance of asynchronous
                        grace-period primitives such as call_rcu().
                        Run specified binary instead of /init from the ramdisk,
                        used for early userspace startup. See initrd.
     
 ----   rdrand=         [X86]
 ++++   rdrand=         [X86,EARLY]
                        force - Override the decision by the kernel to hide the
                                advertisement of RDRAND support (this affects
                                certain AMD processors because of buggy BIOS
                        them.  If <base> is less than 0x10000, the region
                        is assumed to be I/O ports; otherwise it is memory.
     
 ----   reservetop=     [X86-32]
 ++++   reservetop=     [X86-32,EARLY]
                        Format: nn[KMG]
                        Reserves a hole at the top of the kernel virtual
                        address space.
                        [KNL] Disable ring 3 MONITOR/MWAIT feature on supported
                        CPUs.
     
 ----   riscv_isa_fallback [RISCV]
 ++++   riscv_isa_fallback [RISCV,EARLY]
                        When CONFIG_RISCV_ISA_FALLBACK is not enabled, permit
                        falling back to detecting extension support by parsing
                        "riscv,isa" property on devicetree systems when the
     
        ro              [KNL] Mount root device read-only on boot
     
 ----   rodata=         [KNL]
 ++++   rodata=         [KNL,EARLY]
                on      Mark read-only kernel memory as read-only (default).
                off     Leave read-only kernel memory writable for debugging.
                full    Mark read-only kernel memory and aliases as read-only
                        [arm64]
     
        rockchip.usb_uart
 ++++                   [EARLY]
                        Enable the uart passthrough on the designated usb port
                        on Rockchip SoCs. When active, the signals of the
                        debug-uart get routed to the D+ and D- pins of the usb
        sa1100ir        [NET]
                        See drivers/net/irda/sa1100_ir.c.
     
 ----   sched_verbose   [KNL] Enables verbose scheduler debug messages.
 ++++   sched_verbose   [KNL,EARLY] Enables verbose scheduler debug messages.
     
        schedstats=     [KNL,X86] Enable or disable scheduled statistics.
                        Allowed values are enable and disable. This feature
                        non-zero "wait" parameter.  See weight_single
                        and weight_many.
     
 ----   skew_tick=      [KNL] Offset the periodic timer tick per cpu to mitigate
 ++++   skew_tick=      [KNL,EARLY] Offset the periodic timer tick per cpu to mitigate
                        xtime_lock contention on larger systems, and/or RCU lock
                        contention on all systems with CONFIG_MAXSMP set.
                        Format: { "0" | "1" }
                                1: Fast pin select (default)
                                2: ATC IRMode
     
 ----   smt=            [KNL,MIPS,S390] Set the maximum number of threads (logical
 ----                   CPUs) to use per physical CPU on systems capable of
 ----                   symmetric multithreading (SMT). Will be capped to the
 ----                   actual hardware limit.
 ++++   smt=            [KNL,MIPS,S390,EARLY] Set the maximum number of threads
 ++++                   (logical CPUs) to use per physical CPU on systems
 ++++                   capable of symmetric multithreading (SMT). Will
 ++++                   be capped to the actual hardware limit.
                        Format: <integer>
                        Default: -1 (no limit)
     
        sonypi.*=       [HW] Sony Programmable I/O Control Device driver
                        See Documentation/admin-guide/laptops/sonypi.rst
     
 ----   spectre_v2=     [X86] Control mitigation of Spectre variant 2
 ++++   spectre_v2=     [X86,EARLY] Control mitigation of Spectre variant 2
                        (indirect branch speculation) vulnerability.
                        The default operation protects the kernel from
                        user space attacks.
                        spectre_v2_user=auto.
     
        spec_rstack_overflow=
 ----                   [X86] Control RAS overflow mitigation on AMD Zen CPUs
 ++++                   [X86,EARLY] Control RAS overflow mitigation on AMD Zen CPUs
     
                        off             - Disable mitigation
                        microcode       - Enable microcode mitigation only
                                          (cloud-specific mitigation)
     
        spec_store_bypass_disable=
 ----                   [HW] Control Speculative Store Bypass (SSB) Disable mitigation
 ++++                   [HW,EARLY] Control Speculative Store Bypass (SSB) Disable mitigation
                        (Speculative Store Bypass vulnerability)
     
                        Certain CPUs are vulnerable to an exploit against a
                        #DB exception for bus lock is triggered only when
                        CPL > 0.
     
 ----   srbds=          [X86,INTEL]
 ++++   srbds=          [X86,INTEL,EARLY]
                        Control the Special Register Buffer Data Sampling
                        (SRBDS) mitigation.
     
                        srcutree.convert_to_big must have the 0x10 bit
                        set for contention-based conversions to occur.
     
 ----   ssbd=           [ARM64,HW]
 ++++   ssbd=           [ARM64,HW,EARLY]
                        Speculative Store Bypass Disable control
     
                        On CPUs that are vulnerable to the Speculative
                        growing up) the main stack are reserved for no other
                        mapping. Default value is 256 pages.
     
 ----   stack_depot_disable= [KNL]
 ++++   stack_depot_disable= [KNL,EARLY]
                        Setting this to true through kernel command line will
                        disable the stack depot thereby saving the static memory
                        consumed by the stack hash table. By default this is set
                        be used to filter out binaries which have
                        not yet been made aware of AT_MINSIGSTKSZ.
     
 ----   stress_hpt      [PPC]
 ++++   stress_hpt      [PPC,EARLY]
                        Limits the number of kernel HPT entries in the hash
                        page table to increase the rate of hash page table
                        faults on kernel addresses.
     
 ----   stress_slb      [PPC]
 ++++   stress_slb      [PPC,EARLY]
                        Limits the number of kernel SLB entries, and flushes
                        them frequently to increase the rate of SLB faults
                        on kernel addresses.
                        This parameter controls use of the Protected
                        Execution Facility on pSeries.
     
 ----   swiotlb=        [ARM,IA-64,PPC,MIPS,X86]
 ++++   swiotlb=        [ARM,IA-64,PPC,MIPS,X86,EARLY]
                        Format: { <int> [,<int>] | force | noforce }
                        <int> -- Number of I/O TLB slabs
                        <int> -- Second integer after comma. Number of swiotlb
                                 wouldn't be automatically used by the kernel
                        noforce -- Never use bounce buffers (for debugging)
     
 ----   switches=       [HW,M68k]
 ++++   switches=       [HW,M68k,EARLY]
     
        sysctl.*=       [KNL]
                        Set a sysctl parameter, right before loading the init
                        <deci-seconds>: poll all this frequency
                        0: no polling (default)
     
 ----   threadirqs      [KNL]
 ++++   threadirqs      [KNL,EARLY]
                        Force threading of all interrupt handlers except those
                        marked explicitly IRQF_NO_THREAD.
     
 ----   topology=       [S390]
 ++++   topology=       [S390,EARLY]
                        Format: {off | on}
                        Specify if the kernel should make use of the cpu
                        topology information if the hardware supports this.
                        can be overridden by a later tsc=nowatchdog.  A console
                        message will flag any such suppression or overriding.
     
 ----   tsc_early_khz=  [X86] Skip early TSC calibration and use the given
 ++++   tsc_early_khz=  [X86,EARLY] Skip early TSC calibration and use the given
                        value instead. Useful when the early TSC frequency discovery
                        procedure is not reliable, such as on overclocked systems
                        with CPUID.16h support and partial CPUID.15h support.
                        See Documentation/admin-guide/hw-vuln/tsx_async_abort.rst
                        for more details.
     
 ----   tsx_async_abort= [X86,INTEL] Control mitigation for the TSX Async
 ++++   tsx_async_abort= [X86,INTEL,EARLY] Control mitigation for the TSX Async
                        Abort (TAA) vulnerability.
     
                        Similar to Micro-architectural Data Sampling (MDS)
        unknown_nmi_panic
                        [X86] Cause panic on unknown NMI.
     
 ----   unwind_debug    [X86-64]
 ++++   unwind_debug    [X86-64,EARLY]
                        Enable unwinder debug output.  This can be
                        useful for debugging certain unwinder error
                        conditions, including corrupt stacks and
                        Example: user_debug=31
     
        userpte=
 ----                   [X86] Flags controlling user PTE allocations.
 ++++                   [X86,EARLY] Flags controlling user PTE allocations.
     
                                nohigh = do not allocate PTE pages in
                                        HIGHMEM regardless of setting
        vector=         [IA-64,SMP]
                        vector=percpu: enable percpu vector domain
     
 ----   video=          [FB] Frame buffer configuration
 ++++   video=          [FB,EARLY] Frame buffer configuration
                        See Documentation/fb/modedb.rst.
     
        video.brightness_switch_enabled= [ACPI]
                          P     Enable page structure init time poisoning
                          -     Disable all of the above options
     
 ----   vmalloc=nn[KMG] [KNL,BOOT] Forces the vmalloc area to have an exact
 ----                   size of <nn>. This can be used to increase the
 ----                   minimum size (128MB on x86). It can also be used to
 ----                   decrease the size and leave more room for directly
 ----                   mapped kernel RAM.
 ++++   vmalloc=nn[KMG] [KNL,BOOT,EARLY] Forces the vmalloc area to have an
 ++++                   exact size of <nn>. This can be used to increase
 ++++                   the minimum size (128MB on x86). It can also be
 ++++                   used to decrease the size and leave more room
 ++++                   for directly mapped kernel RAM.
     
 ----   vmcp_cma=nn[MG] [KNL,S390]
 ++++   vmcp_cma=nn[MG] [KNL,S390,EARLY]
                        Sets the memory size reserved for contiguous memory
                        allocations for the vmcp device driver.
     
        vmpoff=         [KNL,S390] Perform z/VM CP command after power off.
                        Format: <command>
     
 ----   vsyscall=       [X86-64]
 ++++   vsyscall=       [X86-64,EARLY]
                        Controls the behavior of vsyscalls (i.e. calls to
                        fixed addresses of 0xffffffffff600x00 from legacy
                        code).  Most statically-linked binaries and older
                        When enabled, memory and cache locality will be
                        impacted.
     
 ----   writecombine=   [LOONGARCH] Control the MAT (Memory Access Type) of
 ----                   ioremap_wc().
 ++++   writecombine=   [LOONGARCH,EARLY] Control the MAT (Memory Access
 ++++                   Type) of ioremap_wc().
     
                        on   - Enable writecombine, use WUC for ioremap_wc()
                        off  - Disable writecombine, use SUC for ioremap_wc()
     
 ----   x2apic_phys     [X86-64,APIC] Use x2apic physical mode instead of
 ++++   x2apic_phys     [X86-64,APIC,EARLY] Use x2apic physical mode instead of
                        default x2apic cluster mode on platforms
                        supporting x2apic.
     
                        save/restore/migration must be enabled to handle larger
                        domains.
     
 ----   xen_emul_unplug=                [HW,X86,XEN]
 ++++   xen_emul_unplug=                [HW,X86,XEN,EARLY]
                        Unplug Xen emulated devices
                        Format: [unplug0,][unplug1]
                        ide-disks -- unplug primary master IDE devices
                                the unplug protocol
                        never -- do not unplug even if version check succeeds
     
 ----   xen_legacy_crash        [X86,XEN]
 ++++   xen_legacy_crash        [X86,XEN,EARLY]
                        Crash from Xen panic notifier, without executing late
                        panic() code such as dumping handler.
     
 ----   xen_msr_safe=   [X86,XEN]
 ++++   xen_msr_safe=   [X86,XEN,EARLY]
                        Format: <bool>
                        Select whether to always use non-faulting (safe) MSR
                        access functions when running as Xen PV guest. The
                        default value is controlled by CONFIG_XEN_PV_MSR_SAFE.
     
 ----   xen_nopvspin    [X86,XEN]
 ++++   xen_nopvspin    [X86,XEN,EARLY]
                        Disables the qspinlock slowpath using Xen PV optimizations.
                        This parameter is obsoleted by "nopvspin" parameter, which
                        has equivalent effect for XEN platform.
                        has equivalent effect for XEN platform.
     
        xen_no_vector_callback
 ----                   [KNL,X86,XEN] Disable the vector callback for Xen
 ++++                   [KNL,X86,XEN,EARLY] Disable the vector callback for Xen
                        event channel interrupts.
     
        xen_scrub_pages=        [XEN]
                        with /sys/devices/system/xen_memory/xen_memory0/scrub_pages.
                        Default value controlled with CONFIG_XEN_SCRUB_PAGES_DEFAULT.
     
 ----   xen_timer_slop= [X86-64,XEN]
 ++++   xen_timer_slop= [X86-64,XEN,EARLY]
                        Set the timer slop (in nanoseconds) for the virtual Xen
                        timers (default is 100000). This adjusts the minimum
                        delta of virtualized Xen timers, where lower values
                        host controller quirks. Meaning of each bit can be
                        consulted in header drivers/usb/host/xhci.h.
     
 ----   xmon            [PPC]
 ++++   xmon            [PPC,EARLY]
                        Format: { early | on | rw | ro | off }
                        Controls if xmon debugger is enabled. Default is off.
                        Passing only "xmon" is equivalent to "xmon=early".
diff --combined kernel/rcu/rcu.h
index f94f65877f2b68055b4e5c7a057c22bf4fb96a18,f94f65877f2b68055b4e5c7a057c22bf4fb96a18,99032b9cb667423dcc91ff4bbf6c64f9bcb830ee,ef63ea59c8b6732f75548cd07c1d0c99ae69c431,dcfb666f24993fbef04ec075c1015712e3618ef8..86fce206560e83f05e3a57114e5771e0c0a76b7d
@@@@@@ -528,6 -528,6 -528,6 -528,12 -528,6 +528,12 @@@@@@ struct task_struct *get_rcu_tasks_gp_kt
     struct task_struct *get_rcu_tasks_rude_gp_kthread(void);
     #endif // # ifdef CONFIG_TASKS_RUDE_RCU
     
+++ +#ifdef CONFIG_TASKS_RCU_GENERIC
+++ +void tasks_cblist_init_generic(void);
+++ +#else /* #ifdef CONFIG_TASKS_RCU_GENERIC */
+++ +static inline void tasks_cblist_init_generic(void) { }
+++ +#endif /* #else #ifdef CONFIG_TASKS_RCU_GENERIC */
+++ +
     #define RCU_SCHEDULER_INACTIVE     0
     #define RCU_SCHEDULER_INIT 1
     #define RCU_SCHEDULER_RUNNING      2
@@@@@@ -543,11 -543,11 -543,11 -549,11 -543,11 +549,11 @@@@@@ enum rcutorture_type 
     };
     
     #if defined(CONFIG_RCU_LAZY)
---- unsigned long rcu_lazy_get_jiffies_till_flush(void);
---- void rcu_lazy_set_jiffies_till_flush(unsigned long j);
++++ unsigned long rcu_get_jiffies_lazy_flush(void);
++++ void rcu_set_jiffies_lazy_flush(unsigned long j);
     #else
---- static inline unsigned long rcu_lazy_get_jiffies_till_flush(void) { return 0; }
---- static inline void rcu_lazy_set_jiffies_till_flush(unsigned long j) { }
++++ static inline unsigned long rcu_get_jiffies_lazy_flush(void) { return 0; }
++++ static inline void rcu_set_jiffies_lazy_flush(unsigned long j) { }
     #endif
     
     #if defined(CONFIG_TREE_RCU)
@@@@@@ -623,12 -623,12 -623,7 -629,12 -623,12 +629,7 @@@@@@ int rcu_get_gp_kthreads_prio(void)
     void rcu_fwd_progress_check(unsigned long j);
     void rcu_force_quiescent_state(void);
     extern struct workqueue_struct *rcu_gp_wq;
-- --#ifdef CONFIG_RCU_EXP_KTHREAD
     extern struct kthread_worker *rcu_exp_gp_kworker;
-- --extern struct kthread_worker *rcu_exp_par_gp_kworker;
-- --#else /* !CONFIG_RCU_EXP_KTHREAD */
-- --extern struct workqueue_struct *rcu_par_gp_wq;
-- --#endif /* CONFIG_RCU_EXP_KTHREAD */
     void rcu_gp_slow_register(atomic_t *rgssp);
     void rcu_gp_slow_unregister(atomic_t *rgssp);
     #endif /* #else #ifdef CONFIG_TINY_RCU */
diff --combined kernel/rcu/tree.c
index b2bccfd37c383d04692fb6a7a72eb71a1f62798b,cc0e169e299a6c3ff99ca099678b69ef9114f162,9591c22408a1e4bb96dfe3106fa5532bab9a0175,ba9137f39d143ccef43bcceaf1b9cf2f2e425e84,41c50a6c607ef460197aa98c5a8d0f72ba1454e4..d9642dd06c2535d9a59682e9b9416d980bd6703c
@@@@@@ -145,7 -145,7 -145,7 -145,7 -145,7 +145,7 @@@@@@ static int rcu_scheduler_fully_active _
     
     static void rcu_report_qs_rnp(unsigned long mask, struct rcu_node *rnp,
                              unsigned long gps, unsigned long flags);
-- --static void rcu_boost_kthread_setaffinity(struct rcu_node *rnp, int outgoingcpu);
++ ++static struct task_struct *rcu_boost_task(struct rcu_node *rnp);
     static void invoke_rcu_core(void);
     static void rcu_report_exp_rdp(struct rcu_data *rdp);
     static void sync_sched_exp_online_cleanup(int cpu);
@@@@@@ -2145,6 -2145,12 -2145,6 -2145,6 -2145,6 +2145,12 @@@@@@ static void rcu_do_batch(struct rcu_dat
         * Extract the list of ready callbacks, disabling IRQs to prevent
         * races with call_rcu() from interrupt handlers.  Leave the
         * callback counts, as rcu_barrier() needs to be conservative.
+ +++    *
+ +++    * Callbacks execution is fully ordered against preceding grace period
+ +++    * completion (materialized by rnp->gp_seq update) thanks to the
+ +++    * smp_mb__after_unlock_lock() upon node locking required for callbacks
+ +++    * advancing. In NOCB mode this ordering is then further relayed through
+ +++    * the nocb locking that protects both callbacks advancing and extraction.
         */
        rcu_nocb_lock_irqsave(rdp, flags);
        WARN_ON_ONCE(cpu_is_offline(smp_processor_id()));
@@@@@@ -2591,12 -2597,26 -2591,12 -2591,12 -2591,12 +2597,26 @@@@@@ static int __init rcu_spawn_core_kthrea
        return 0;
     }
     
+ +++static void rcutree_enqueue(struct rcu_data *rdp, struct rcu_head *head, rcu_callback_t func)
+ +++{
+ +++   rcu_segcblist_enqueue(&rdp->cblist, head);
+ +++   if (__is_kvfree_rcu_offset((unsigned long)func))
+ +++           trace_rcu_kvfree_callback(rcu_state.name, head,
+ +++                                    (unsigned long)func,
+ +++                                    rcu_segcblist_n_cbs(&rdp->cblist));
+ +++   else
+ +++           trace_rcu_callback(rcu_state.name, head,
+ +++                              rcu_segcblist_n_cbs(&rdp->cblist));
+ +++   trace_rcu_segcb_stats(&rdp->cblist, TPS("SegCBQueued"));
+ +++}
+ +++
     /*
      * Handle any core-RCU processing required by a call_rcu() invocation.
      */
- ---static void __call_rcu_core(struct rcu_data *rdp, struct rcu_head *head,
- ---                       unsigned long flags)
+ +++static void call_rcu_core(struct rcu_data *rdp, struct rcu_head *head,
+ +++                     rcu_callback_t func, unsigned long flags)
     {
+ +++   rcutree_enqueue(rdp, head, func);
        /*
         * If called from an extended quiescent state, invoke the RCU
         * core in order to force a re-evaluation of RCU's idleness.
@@@@@@ -2692,7 -2712,6 -2692,7 -2692,7 -2692,7 +2712,6 @@@@@@ __call_rcu_common(struct rcu_head *head
        unsigned long flags;
        bool lazy;
        struct rcu_data *rdp;
- ---   bool was_alldone;
     
        /* Misaligned rcu_head! */
        WARN_ON_ONCE((unsigned long)head & (sizeof(void *) - 1));
        }
     
        check_cb_ovld(rdp);
- ---   if (rcu_nocb_try_bypass(rdp, head, &was_alldone, flags, lazy))
- ---           return; // Enqueued onto ->nocb_bypass, so just leave.
- ---   // If no-CBs CPU gets here, rcu_nocb_try_bypass() acquired ->nocb_lock.
- ---   rcu_segcblist_enqueue(&rdp->cblist, head);
- ---   if (__is_kvfree_rcu_offset((unsigned long)func))
- ---           trace_rcu_kvfree_callback(rcu_state.name, head,
- ---                                    (unsigned long)func,
- ---                                    rcu_segcblist_n_cbs(&rdp->cblist));
- ---   else
- ---           trace_rcu_callback(rcu_state.name, head,
- ---                              rcu_segcblist_n_cbs(&rdp->cblist));
  -  
  -     trace_rcu_segcb_stats(&rdp->cblist, TPS("SegCBQueued"));
     
-  --   trace_rcu_segcb_stats(&rdp->cblist, TPS("SegCBQueued"));
-  --
- ---   /* Go handle any RCU core processing required. */
- ---   if (unlikely(rcu_rdp_is_offloaded(rdp))) {
- ---           __call_rcu_nocb_wake(rdp, was_alldone, flags); /* unlocks */
- ---   } else {
- ---           __call_rcu_core(rdp, head, flags);
- ---           local_irq_restore(flags);
- ---   }
+ +++   if (unlikely(rcu_rdp_is_offloaded(rdp)))
+ +++           call_rcu_nocb(rdp, head, func, flags, lazy);
+ +++   else
+ +++           call_rcu_core(rdp, head, func, flags);
+ +++   local_irq_restore(flags);
     }
     
     #ifdef CONFIG_RCU_LAZY
++++ static bool enable_rcu_lazy __read_mostly = !IS_ENABLED(CONFIG_RCU_LAZY_DEFAULT_OFF);
++++ module_param(enable_rcu_lazy, bool, 0444);
++++ 
     /**
      * call_rcu_hurry() - Queue RCU callback for invocation after grace period, and
      * flush all lazy callbacks (including the new one) to the main ->cblist while
@@@@@@ -2778,6 -2782,6 -2778,6 -2778,6 -2781,8 +2785,8 @@@@@@ void call_rcu_hurry(struct rcu_head *he
        __call_rcu_common(head, func, false);
     }
     EXPORT_SYMBOL_GPL(call_rcu_hurry);
++++ #else
++++ #define enable_rcu_lazy            false
     #endif
     
     /**
      */
     void call_rcu(struct rcu_head *head, rcu_callback_t func)
     {
----    __call_rcu_common(head, func, IS_ENABLED(CONFIG_RCU_LAZY));
++++    __call_rcu_common(head, func, enable_rcu_lazy);
     }
     EXPORT_SYMBOL_GPL(call_rcu);
     
@@@@@@ -4394,6 -4398,6 -4394,66 -4394,6 -4399,6 +4403,66 @@@@@@ rcu_boot_init_percpu_data(int cpu
        rcu_boot_init_nocb_percpu_data(rdp);
     }
     
++ ++struct kthread_worker *rcu_exp_gp_kworker;
++ ++
++ ++static void rcu_spawn_exp_par_gp_kworker(struct rcu_node *rnp)
++ ++{
++ ++   struct kthread_worker *kworker;
++ ++   const char *name = "rcu_exp_par_gp_kthread_worker/%d";
++ ++   struct sched_param param = { .sched_priority = kthread_prio };
++ ++   int rnp_index = rnp - rcu_get_root();
++ ++
++ ++   if (rnp->exp_kworker)
++ ++           return;
++ ++
++ ++   kworker = kthread_create_worker(0, name, rnp_index);
++ ++   if (IS_ERR_OR_NULL(kworker)) {
++ ++           pr_err("Failed to create par gp kworker on %d/%d\n",
++ ++                  rnp->grplo, rnp->grphi);
++ ++           return;
++ ++   }
++ ++   WRITE_ONCE(rnp->exp_kworker, kworker);
++ ++
++ ++   if (IS_ENABLED(CONFIG_RCU_EXP_KTHREAD))
++ ++           sched_setscheduler_nocheck(kworker->task, SCHED_FIFO, &param);
++ ++}
++ ++
++ ++static struct task_struct *rcu_exp_par_gp_task(struct rcu_node *rnp)
++ ++{
++ ++   struct kthread_worker *kworker = READ_ONCE(rnp->exp_kworker);
++ ++
++ ++   if (!kworker)
++ ++           return NULL;
++ ++
++ ++   return kworker->task;
++ ++}
++ ++
++ ++static void __init rcu_start_exp_gp_kworker(void)
++ ++{
++ ++   const char *name = "rcu_exp_gp_kthread_worker";
++ ++   struct sched_param param = { .sched_priority = kthread_prio };
++ ++
++ ++   rcu_exp_gp_kworker = kthread_create_worker(0, name);
++ ++   if (IS_ERR_OR_NULL(rcu_exp_gp_kworker)) {
++ ++           pr_err("Failed to create %s!\n", name);
++ ++           rcu_exp_gp_kworker = NULL;
++ ++           return;
++ ++   }
++ ++
++ ++   if (IS_ENABLED(CONFIG_RCU_EXP_KTHREAD))
++ ++           sched_setscheduler_nocheck(rcu_exp_gp_kworker->task, SCHED_FIFO, &param);
++ ++}
++ ++
++ ++static void rcu_spawn_rnp_kthreads(struct rcu_node *rnp)
++ ++{
++ ++   if (rcu_scheduler_fully_active) {
++ ++           mutex_lock(&rnp->kthread_mutex);
++ ++           rcu_spawn_one_boost_kthread(rnp);
++ ++           rcu_spawn_exp_par_gp_kworker(rnp);
++ ++           mutex_unlock(&rnp->kthread_mutex);
++ ++   }
++ ++}
++ ++
     /*
      * Invoked early in the CPU-online process, when pretty much all services
      * are available.  The incoming CPU is not present.
@@@@@@ -4442,7 -4446,7 -4502,7 -4442,7 -4447,7 +4511,7 @@@@@@ int rcutree_prepare_cpu(unsigned int cp
        rdp->rcu_iw_gp_seq = rdp->gp_seq - 1;
        trace_rcu_grace_period(rcu_state.name, rdp->gp_seq, TPS("cpuonl"));
        raw_spin_unlock_irqrestore_rcu_node(rnp, flags);
-- --   rcu_spawn_one_boost_kthread(rnp);
++ ++   rcu_spawn_rnp_kthreads(rnp);
        rcu_spawn_cpu_nocb_kthread(cpu);
        WRITE_ONCE(rcu_state.n_online_cpus, rcu_state.n_online_cpus + 1);
     
     }
     
     /*
-- -- * Update RCU priority boot kthread affinity for CPU-hotplug changes.
++ ++ * Update kthreads affinity during CPU-hotplug changes.
++ ++ *
++ ++ * Set the per-rcu_node kthread's affinity to cover all CPUs that are
++ ++ * served by the rcu_node in question.  The CPU hotplug lock is still
++ ++ * held, so the value of rnp->qsmaskinit will be stable.
++ ++ *
++ ++ * We don't include outgoingcpu in the affinity set, use -1 if there is
++ ++ * no outgoing CPU.  If there are no CPUs left in the affinity set,
++ ++ * this function allows the kthread to execute on any CPU.
++ ++ *
++ ++ * Any future concurrent calls are serialized via ->kthread_mutex.
      */
-- --static void rcutree_affinity_setting(unsigned int cpu, int outgoing)
++ ++static void rcutree_affinity_setting(unsigned int cpu, int outgoingcpu)
     {
-- --   struct rcu_data *rdp = per_cpu_ptr(&rcu_data, cpu);
++ ++   cpumask_var_t cm;
++ ++   unsigned long mask;
++ ++   struct rcu_data *rdp;
++ ++   struct rcu_node *rnp;
++ ++   struct task_struct *task_boost, *task_exp;
+  ++
 -      rcu_boost_kthread_setaffinity(rdp->mynode, outgoing);
++ ++   rdp = per_cpu_ptr(&rcu_data, cpu);
++ ++   rnp = rdp->mynode;
++ ++
++ ++   task_boost = rcu_boost_task(rnp);
++ ++   task_exp = rcu_exp_par_gp_task(rnp);
++ ++
++ ++   /*
++ ++    * If CPU is the boot one, those tasks are created later from early
++ ++    * initcall since kthreadd must be created first.
++ ++    */
++ ++   if (!task_boost && !task_exp)
++ ++           return;
++ ++
++ ++   if (!zalloc_cpumask_var(&cm, GFP_KERNEL))
++ ++           return;
++ ++
++ ++   mutex_lock(&rnp->kthread_mutex);
++ ++   mask = rcu_rnp_online_cpus(rnp);
++ ++   for_each_leaf_node_possible_cpu(rnp, cpu)
++ ++           if ((mask & leaf_node_cpu_bit(rnp, cpu)) &&
++ ++               cpu != outgoingcpu)
++ ++                   cpumask_set_cpu(cpu, cm);
++ ++   cpumask_and(cm, cm, housekeeping_cpumask(HK_TYPE_RCU));
++ ++   if (cpumask_empty(cm)) {
++ ++           cpumask_copy(cm, housekeeping_cpumask(HK_TYPE_RCU));
++ ++           if (outgoingcpu >= 0)
++ ++                   cpumask_clear_cpu(outgoingcpu, cm);
++ ++   }
++ ++
++ ++   if (task_exp)
++ ++           set_cpus_allowed_ptr(task_exp, cm);
++ ++
++ ++   if (task_boost)
++ ++           set_cpus_allowed_ptr(task_boost, cm);
 +  +
-  -    rcu_boost_kthread_setaffinity(rdp->mynode, outgoing);
++ ++   mutex_unlock(&rnp->kthread_mutex);
++ + 
    -   rcu_boost_kthread_setaffinity(rdp->mynode, outgoing);
++ ++   free_cpumask_var(cm);
     }
     
     /*
@@@@@@ -4640,8 -4644,9 -4751,8 -4640,8 -4645,8 +4760,9 @@@@@@ void rcutree_migrate_callbacks(int cpu
                __call_rcu_nocb_wake(my_rdp, true, flags);
        } else {
                rcu_nocb_unlock(my_rdp); /* irqs remain disabled. */
- ---           raw_spin_unlock_irqrestore_rcu_node(my_rnp, flags);
+ +++           raw_spin_unlock_rcu_node(my_rnp); /* irqs remain disabled. */
        }
+ +++   local_irq_restore(flags);
        if (needwake)
                rcu_gp_kthread_wake();
        lockdep_assert_irqs_enabled();
@@@@@@ -4730,51 -4735,51 -4841,6 -4730,51 -4735,51 +4851,6 @@@@@@ static int rcu_pm_notify(struct notifie
        return NOTIFY_OK;
     }
     
-- --#ifdef CONFIG_RCU_EXP_KTHREAD
-- --struct kthread_worker *rcu_exp_gp_kworker;
-- --struct kthread_worker *rcu_exp_par_gp_kworker;
-- --
-- --static void __init rcu_start_exp_gp_kworkers(void)
-- --{
-- --   const char *par_gp_kworker_name = "rcu_exp_par_gp_kthread_worker";
-- --   const char *gp_kworker_name = "rcu_exp_gp_kthread_worker";
-- --   struct sched_param param = { .sched_priority = kthread_prio };
-- --
-- --   rcu_exp_gp_kworker = kthread_create_worker(0, gp_kworker_name);
-- --   if (IS_ERR_OR_NULL(rcu_exp_gp_kworker)) {
-- --           pr_err("Failed to create %s!\n", gp_kworker_name);
-- --           return;
-- --   }
-- --
-- --   rcu_exp_par_gp_kworker = kthread_create_worker(0, par_gp_kworker_name);
-- --   if (IS_ERR_OR_NULL(rcu_exp_par_gp_kworker)) {
-- --           pr_err("Failed to create %s!\n", par_gp_kworker_name);
-- --           kthread_destroy_worker(rcu_exp_gp_kworker);
-- --           return;
-- --   }
-- --
-- --   sched_setscheduler_nocheck(rcu_exp_gp_kworker->task, SCHED_FIFO, &param);
-- --   sched_setscheduler_nocheck(rcu_exp_par_gp_kworker->task, SCHED_FIFO,
-- --                              &param);
-- --}
-- --
-- --static inline void rcu_alloc_par_gp_wq(void)
-- --{
-- --}
-- --#else /* !CONFIG_RCU_EXP_KTHREAD */
-- --struct workqueue_struct *rcu_par_gp_wq;
-- --
-- --static void __init rcu_start_exp_gp_kworkers(void)
-- --{
-- --}
-- --
-- --static inline void rcu_alloc_par_gp_wq(void)
-- --{
-- --   rcu_par_gp_wq = alloc_workqueue("rcu_par_gp", WQ_MEM_RECLAIM, 0);
-- --   WARN_ON(!rcu_par_gp_wq);
-- --}
-- --#endif /* CONFIG_RCU_EXP_KTHREAD */
-- --
     /*
      * Spawn the kthreads that handle RCU's grace periods.
      */
@@@@@@ -4809,10 -4814,10 -4875,10 -4809,10 -4814,10 +4885,10 @@@@@@ static int __init rcu_spawn_gp_kthread(
         * due to rcu_scheduler_fully_active.
         */
        rcu_spawn_cpu_nocb_kthread(smp_processor_id());
-- --   rcu_spawn_one_boost_kthread(rdp->mynode);
++ ++   rcu_spawn_rnp_kthreads(rdp->mynode);
        rcu_spawn_core_kthreads();
        /* Create kthread worker for expedited GPs */
-- --   rcu_start_exp_gp_kworkers();
++ ++   rcu_start_exp_gp_kworker();
        return 0;
     }
     early_initcall(rcu_spawn_gp_kthread);
@@@@@@ -4915,7 -4920,7 -4981,7 -4915,7 -4920,7 +4991,7 @@@@@@ static void __init rcu_init_one(void
                        init_waitqueue_head(&rnp->exp_wq[2]);
                        init_waitqueue_head(&rnp->exp_wq[3]);
                        spin_lock_init(&rnp->exp_lock);
-- --                   mutex_init(&rnp->boost_kthread_mutex);
++ ++                   mutex_init(&rnp->kthread_mutex);
                        raw_spin_lock_init(&rnp->exp_poll_lock);
                        rnp->exp_seq_poll_rq = RCU_GET_STATE_COMPLETED;
                        INIT_WORK(&rnp->exp_poll_wq, sync_rcu_do_polled_gp);
@@@@@@ -5152,7 -5157,7 -5218,6 -5152,7 -5157,7 +5228,6 @@@@@@ void __init rcu_init(void
        /* Create workqueue for Tree SRCU and for expedited GPs. */
        rcu_gp_wq = alloc_workqueue("rcu_gp", WQ_MEM_RECLAIM, 0);
        WARN_ON(!rcu_gp_wq);
-- --   rcu_alloc_par_gp_wq();
     
        /* Fill in default value for rcutree.qovld boot parameter. */
        /* -After- the rcu_node ->lock fields are initialized! */
        (void)start_poll_synchronize_rcu_expedited();
     
        rcu_test_sync_prims();
+++ +
+++ +   tasks_cblist_init_generic();
     }
     
     #include "tree_stall.h"
diff --combined kernel/rcu/tree.h
index e9821a8422dbe7d327f875a633a8d4fc1348feba,bf478da89a8f337dd7e396fb23eb0563bcb7320f,f35e47f24d80ef6144f4bda0b8acbefaf0bc342f,e9821a8422dbe7d327f875a633a8d4fc1348feba,e9821a8422dbe7d327f875a633a8d4fc1348feba..df48160b3136dca1b668a3e0d275832ccc273dd3
     
     #include "rcu_segcblist.h"
     
-- --/* Communicate arguments to a workqueue handler. */
++ ++/* Communicate arguments to a kthread worker handler. */
     struct rcu_exp_work {
        unsigned long rew_s;
-- --#ifdef CONFIG_RCU_EXP_KTHREAD
        struct kthread_work rew_work;
-- --#else
-- --   struct work_struct rew_work;
-- --#endif /* CONFIG_RCU_EXP_KTHREAD */
     };
     
     /* RCU's kthread states for tracing. */
@@@@@@ -72,6 -72,6 -68,9 -72,6 -72,6 +68,9 @@@@@@ struct rcu_node 
                                /* Online CPUs for next expedited GP. */
                                /*  Any CPU that has ever been online will */
                                /*  have its bit set. */
++ ++   struct kthread_worker *exp_kworker;
++ ++                           /* Workers performing per node expedited GP */
++ ++                           /* initialization. */
        unsigned long cbovldmask;
                                /* CPUs experiencing callback overload. */
        unsigned long ffmask;   /* Fully functional CPUs. */
                                /*  side effect, not as a lock. */
        unsigned long boost_time;
                                /* When to start boosting (jiffies). */
-- --   struct mutex boost_kthread_mutex;
++ ++   struct mutex kthread_mutex;
                                /* Exclusion for thread spawning and affinity */
                                /*  manipulation. */
        struct task_struct *boost_kthread_task;
@@@@@@ -467,11 -467,10 -466,11 -467,11 -467,11 +466,10 @@@@@@ static void rcu_init_one_nocb(struct rc
     static bool wake_nocb_gp(struct rcu_data *rdp, bool force);
     static bool rcu_nocb_flush_bypass(struct rcu_data *rdp, struct rcu_head *rhp,
                                  unsigned long j, bool lazy);
- ---static bool rcu_nocb_try_bypass(struct rcu_data *rdp, struct rcu_head *rhp,
- ---                           bool *was_alldone, unsigned long flags,
- ---                           bool lazy);
- ---static void __call_rcu_nocb_wake(struct rcu_data *rdp, bool was_empty,
- ---                            unsigned long flags);
+ +++static void call_rcu_nocb(struct rcu_data *rdp, struct rcu_head *head,
+ +++                     rcu_callback_t func, unsigned long flags, bool lazy);
+ +++static void __maybe_unused __call_rcu_nocb_wake(struct rcu_data *rdp, bool was_empty,
+ +++                                           unsigned long flags);
     static int rcu_nocb_need_deferred_wakeup(struct rcu_data *rdp, int level);
     static bool do_nocb_deferred_wakeup(struct rcu_data *rdp);
     static void rcu_boot_init_nocb_percpu_data(struct rcu_data *rdp);
diff --combined kernel/rcu/tree_nocb.h
index 4efbf7333d4e168c3bbaca61b43b919d5ce3fe26,f124d4d45ce641ac84369bea08f91a5f8ca6854e,4efbf7333d4e168c3bbaca61b43b919d5ce3fe26,4efbf7333d4e168c3bbaca61b43b919d5ce3fe26,aecef51166c7e218329cec9fd087a4206583b055..3f85577bddd4ef101cbfc682a3c9622ca816d14a
@@@@@@ -256,6 -256,6 -256,6 -256,6 -256,7 +256,7 @@@@@@ static bool wake_nocb_gp(struct rcu_dat
        return __wake_nocb_gp(rdp_gp, rdp, force, flags);
     }
     
++++ #ifdef CONFIG_RCU_LAZY
     /*
      * LAZY_FLUSH_JIFFIES decides the maximum amount of time that
      * can elapse before lazy callbacks are flushed. Lazy callbacks
      * left unsubmitted to RCU after those many jiffies.
      */
     #define LAZY_FLUSH_JIFFIES (10 * HZ)
---- static unsigned long jiffies_till_flush = LAZY_FLUSH_JIFFIES;
++++ static unsigned long jiffies_lazy_flush = LAZY_FLUSH_JIFFIES;
     
---- #ifdef CONFIG_RCU_LAZY
     // To be called only from test code.
---- void rcu_lazy_set_jiffies_till_flush(unsigned long jif)
++++ void rcu_set_jiffies_lazy_flush(unsigned long jif)
     {
----    jiffies_till_flush = jif;
++++    jiffies_lazy_flush = jif;
     }
---- EXPORT_SYMBOL(rcu_lazy_set_jiffies_till_flush);
++++ EXPORT_SYMBOL(rcu_set_jiffies_lazy_flush);
     
---- unsigned long rcu_lazy_get_jiffies_till_flush(void)
++++ unsigned long rcu_get_jiffies_lazy_flush(void)
     {
----    return jiffies_till_flush;
++++    return jiffies_lazy_flush;
     }
---- EXPORT_SYMBOL(rcu_lazy_get_jiffies_till_flush);
++++ EXPORT_SYMBOL(rcu_get_jiffies_lazy_flush);
     #endif
     
     /*
@@@@@@ -299,7 -299,7 -299,7 -299,7 -299,7 +299,7 @@@@@@ static void wake_nocb_gp_defer(struct r
         */
        if (waketype == RCU_NOCB_WAKE_LAZY &&
            rdp->nocb_defer_wakeup == RCU_NOCB_WAKE_NOT) {
----            mod_timer(&rdp_gp->nocb_timer, jiffies + jiffies_till_flush);
++++            mod_timer(&rdp_gp->nocb_timer, jiffies + rcu_get_jiffies_lazy_flush());
                WRITE_ONCE(rdp_gp->nocb_defer_wakeup, waketype);
        } else if (waketype == RCU_NOCB_WAKE_BYPASS) {
                mod_timer(&rdp_gp->nocb_timer, jiffies + 2);
@@@@@@ -482,7 -482,7 -482,7 -482,7 -482,7 +482,7 @@@@@@ static bool rcu_nocb_try_bypass(struct 
        // flush ->nocb_bypass to ->cblist.
        if ((ncbs && !bypass_is_lazy && j != READ_ONCE(rdp->nocb_bypass_first)) ||
            (ncbs &&  bypass_is_lazy &&
----         (time_after(j, READ_ONCE(rdp->nocb_bypass_first) + jiffies_till_flush))) ||
++++         (time_after(j, READ_ONCE(rdp->nocb_bypass_first) + rcu_get_jiffies_lazy_flush()))) ||
            ncbs >= qhimark) {
                rcu_nocb_lock(rdp);
                *was_alldone = !rcu_segcblist_pend_cbs(&rdp->cblist);
        // 2. Both of these conditions are met:
        //    a. The bypass list previously had only lazy CBs, and:
        //    b. The new CB is non-lazy.
- ---   if (ncbs && (!bypass_is_lazy || lazy)) {
- ---           local_irq_restore(flags);
- ---   } else {
+ +++   if (!ncbs || (bypass_is_lazy && !lazy)) {
                // No-CBs GP kthread might be indefinitely asleep, if so, wake.
                rcu_nocb_lock(rdp); // Rare during call_rcu() flood.
                if (!rcu_segcblist_pend_cbs(&rdp->cblist)) {
                } else {
                        trace_rcu_nocb_wake(rcu_state.name, rdp->cpu,
                                            TPS("FirstBQnoWake"));
- ---                   rcu_nocb_unlock_irqrestore(rdp, flags);
+ +++                   rcu_nocb_unlock(rdp);
                }
        }
        return true; // Callback already enqueued.
@@@@@@ -566,11 -564,12 -566,11 -566,11 -566,11 +564,12 @@@@@@ static void __call_rcu_nocb_wake(struc
        long lazy_len;
        long len;
        struct task_struct *t;
+ +++   struct rcu_data *rdp_gp = rdp->nocb_gp_rdp;
     
        // If we are being polled or there is no kthread, just leave.
        t = READ_ONCE(rdp->nocb_gp_kthread);
        if (rcu_nocb_poll || !t) {
- ---           rcu_nocb_unlock_irqrestore(rdp, flags);
+ +++           rcu_nocb_unlock(rdp);
                trace_rcu_nocb_wake(rcu_state.name, rdp->cpu,
                                    TPS("WakeNotPoll"));
                return;
                rdp->qlen_last_fqs_check = len;
                // Only lazy CBs in bypass list
                if (lazy_len && bypass_len == lazy_len) {
- ---                   rcu_nocb_unlock_irqrestore(rdp, flags);
+ +++                   rcu_nocb_unlock(rdp);
                        wake_nocb_gp_defer(rdp, RCU_NOCB_WAKE_LAZY,
                                           TPS("WakeLazy"));
                } else if (!irqs_disabled_flags(flags)) {
                        /* ... if queue was empty ... */
- ---                   rcu_nocb_unlock_irqrestore(rdp, flags);
+ +++                   rcu_nocb_unlock(rdp);
                        wake_nocb_gp(rdp, false);
                        trace_rcu_nocb_wake(rcu_state.name, rdp->cpu,
                                            TPS("WakeEmpty"));
                } else {
- ---                   rcu_nocb_unlock_irqrestore(rdp, flags);
+ +++                   rcu_nocb_unlock(rdp);
                        wake_nocb_gp_defer(rdp, RCU_NOCB_WAKE,
                                           TPS("WakeEmptyIsDeferred"));
                }
                smp_mb(); /* Enqueue before timer_pending(). */
                if ((rdp->nocb_cb_sleep ||
                     !rcu_segcblist_ready_cbs(&rdp->cblist)) &&
- ---               !timer_pending(&rdp->nocb_timer)) {
- ---                   rcu_nocb_unlock_irqrestore(rdp, flags);
+ +++               !timer_pending(&rdp_gp->nocb_timer)) {
+ +++                   rcu_nocb_unlock(rdp);
                        wake_nocb_gp_defer(rdp, RCU_NOCB_WAKE_FORCE,
                                           TPS("WakeOvfIsDeferred"));
                } else {
- ---                   rcu_nocb_unlock_irqrestore(rdp, flags);
+ +++                   rcu_nocb_unlock(rdp);
                        trace_rcu_nocb_wake(rcu_state.name, rdp->cpu, TPS("WakeNot"));
                }
        } else {
- ---           rcu_nocb_unlock_irqrestore(rdp, flags);
+ +++           rcu_nocb_unlock(rdp);
                trace_rcu_nocb_wake(rcu_state.name, rdp->cpu, TPS("WakeNot"));
        }
     }
     
+ +++static void call_rcu_nocb(struct rcu_data *rdp, struct rcu_head *head,
+ +++                     rcu_callback_t func, unsigned long flags, bool lazy)
+ +++{
+ +++   bool was_alldone;
+ +++
+ +++   if (!rcu_nocb_try_bypass(rdp, head, &was_alldone, flags, lazy)) {
+ +++           /* Not enqueued on bypass but locked, do regular enqueue */
+ +++           rcutree_enqueue(rdp, head, func);
+ +++           __call_rcu_nocb_wake(rdp, was_alldone, flags); /* unlocks */
+ +++   }
+ +++}
+ +++
     static int nocb_gp_toggle_rdp(struct rcu_data *rdp,
                               bool *wake_state)
     {
@@@@@@ -723,7 -734,7 -723,7 -723,7 -723,7 +734,7 @@@@@@ static void nocb_gp_wait(struct rcu_dat
                lazy_ncbs = READ_ONCE(rdp->lazy_len);
     
                if (bypass_ncbs && (lazy_ncbs == bypass_ncbs) &&
----                (time_after(j, READ_ONCE(rdp->nocb_bypass_first) + jiffies_till_flush) ||
++++                (time_after(j, READ_ONCE(rdp->nocb_bypass_first) + rcu_get_jiffies_lazy_flush()) ||
                     bypass_ncbs > 2 * qhimark)) {
                        flush_bypass = true;
                } else if (bypass_ncbs && (lazy_ncbs != bypass_ncbs) &&
                if (rcu_segcblist_ready_cbs(&rdp->cblist)) {
                        needwake = rdp->nocb_cb_sleep;
                        WRITE_ONCE(rdp->nocb_cb_sleep, false);
- ---                   smp_mb(); /* CB invocation -after- GP end. */
                } else {
                        needwake = false;
                }
@@@@@@ -933,8 -943,7 -933,8 -933,8 -933,8 +943,7 @@@@@@ static void nocb_cb_wait(struct rcu_dat
                swait_event_interruptible_exclusive(rdp->nocb_cb_wq,
                                                    nocb_cb_wait_cond(rdp));
     
- ---           // VVV Ensure CB invocation follows _sleep test.
- ---           if (smp_load_acquire(&rdp->nocb_cb_sleep)) { // ^^^
+ +++           if (READ_ONCE(rdp->nocb_cb_sleep)) {
                        WARN_ON(signal_pending(current));
                        trace_rcu_nocb_wake(rcu_state.name, rdp->cpu, TPS("WokeEmpty"));
                }
@@@@@@ -1383,7 -1392,7 -1383,7 -1383,7 -1383,7 +1392,7 @@@@@@ lazy_rcu_shrink_scan(struct shrinker *s
                        rcu_nocb_unlock_irqrestore(rdp, flags);
                        continue;
                }
- ---           WARN_ON_ONCE(!rcu_nocb_flush_bypass(rdp, NULL, jiffies, false));
+ +++           rcu_nocb_try_flush_bypass(rdp, jiffies);
                rcu_nocb_unlock_irqrestore(rdp, flags);
                wake_nocb_gp(rdp, false);
                sc->nr_to_scan -= _count;
@@@@@@ -1768,10 -1777,10 -1768,10 -1768,10 -1768,10 +1777,10 @@@@@@ static bool rcu_nocb_flush_bypass(struc
        return true;
     }
     
- ---static bool rcu_nocb_try_bypass(struct rcu_data *rdp, struct rcu_head *rhp,
- ---                           bool *was_alldone, unsigned long flags, bool lazy)
+ +++static void call_rcu_nocb(struct rcu_data *rdp, struct rcu_head *head,
+ +++                     rcu_callback_t func, unsigned long flags, bool lazy)
     {
- ---   return false;
+ +++   WARN_ON_ONCE(1);  /* Should be dead code! */
     }
     
     static void __call_rcu_nocb_wake(struct rcu_data *rdp, bool was_empty,
This page took 0.273242 seconds and 4 git commands to generate.