arch/um/kernel/process.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  * Copyright (C) 2015 Anton Ivanov (aivanov@{brocade.com,kot-begemot.co.uk})
   4  * Copyright (C) 2015 Thomas Meyer ([email protected])
   5  * Copyright (C) 2000 - 2007 Jeff Dike (jdike@{addtoit,linux.intel}.com)
   6  * Copyright 2003 PathScale, Inc.
   7  */
   8
   9 #include <linux/stddef.h>
  10 #include <linux/err.h>
  11 #include <linux/hardirq.h>
  12 #include <linux/mm.h>
  13 #include <linux/module.h>
  14 #include <linux/personality.h>
  15 #include <linux/proc_fs.h>
  16 #include <linux/ptrace.h>
  17 #include <linux/random.h>
  18 #include <linux/cpu.h>
  19 #include <linux/slab.h>
  20 #include <linux/sched.h>
  21 #include <linux/sched/debug.h>
  22 #include <linux/sched/task.h>
  23 #include <linux/sched/task_stack.h>
  24 #include <linux/seq_file.h>
  25 #include <linux/tick.h>
  26 #include <linux/threads.h>
  27 #include <linux/resume_user_mode.h>
  28 #include <asm/current.h>
  29 #include <asm/mmu_context.h>
  30 #include <asm/switch_to.h>
  31 #include <asm/exec.h>
  32 #include <linux/uaccess.h>
  33 #include <as-layout.h>
  34 #include <kern_util.h>
  35 #include <os.h>
  36 #include <skas.h>
  37 #include <registers.h>
  38 #include <linux/time-internal.h>
  39 #include <linux/elfcore.h>
  40
  41 /*
  42  * This is a per-cpu array.  A processor only modifies its entry and it only
  43  * cares about its entry, so it's OK if another processor is modifying its
  44  * entry.
  45  */
  46 struct task_struct *cpu_tasks[NR_CPUS];
  47 EXPORT_SYMBOL(cpu_tasks);
  48
  49 void free_stack(unsigned long stack, int order)
  50 {
  51         free_pages(stack, order);
  52 }
  53
  54 unsigned long alloc_stack(int order, int atomic)
  55 {
  56         unsigned long page;
  57         gfp_t flags = GFP_KERNEL;
  58
  59         if (atomic)
  60                 flags = GFP_ATOMIC;
  61         page = __get_free_pages(flags, order);
  62
  63         return page;
  64 }
  65
  66 static inline void set_current(struct task_struct *task)
  67 {
  68         cpu_tasks[task_thread_info(task)->cpu] = task;
  69 }
  70
  71 struct task_struct *__switch_to(struct task_struct *from, struct task_struct *to)
  72 {
  73         to->thread.prev_sched = from;
  74         set_current(to);
  75
  76         switch_threads(&from->thread.switch_buf, &to->thread.switch_buf);
  77         arch_switch_to(current);
  78
  79         return current->thread.prev_sched;
  80 }
  81
  82 void interrupt_end(void)
  83 {
  84         struct pt_regs *regs = &current->thread.regs;
  85
  86         if (need_resched())
  87                 schedule();
  88         if (test_thread_flag(TIF_SIGPENDING) ||
  89             test_thread_flag(TIF_NOTIFY_SIGNAL))
  90                 do_signal(regs);
  91         if (test_thread_flag(TIF_NOTIFY_RESUME))
  92                 resume_user_mode_work(regs);
  93 }
  94
  95 int get_current_pid(void)
  96 {
  97         return task_pid_nr(current);
  98 }
  99
 100 /*
 101  * This is called magically, by its address being stuffed in a jmp_buf
 102  * and being longjmp-d to.
 103  */
 104 void new_thread_handler(void)
 105 {
 106         int (*fn)(void *);
 107         void *arg;
 108
 109         if (current->thread.prev_sched != NULL)
 110                 schedule_tail(current->thread.prev_sched);
 111         current->thread.prev_sched = NULL;
 112
 113         fn = current->thread.request.thread.proc;
 114         arg = current->thread.request.thread.arg;
 115
 116         /*
 117          * callback returns only if the kernel thread execs a process
 118          */
 119         fn(arg);
 120         userspace(&current->thread.regs.regs);
 121 }
 122
 123 /* Called magically, see new_thread_handler above */
 124 static void fork_handler(void)
 125 {
 126         schedule_tail(current->thread.prev_sched);
 127
 128         /*
 129          * XXX: if interrupt_end() calls schedule, this call to
 130          * arch_switch_to isn't needed. We could want to apply this to
 131          * improve performance. -bb
 132          */
 133         arch_switch_to(current);
 134
 135         current->thread.prev_sched = NULL;
 136
 137         userspace(&current->thread.regs.regs);
 138 }
 139
 140 int copy_thread(struct task_struct * p, const struct kernel_clone_args *args)
 141 {
 142         unsigned long clone_flags = args->flags;
 143         unsigned long sp = args->stack;
 144         unsigned long tls = args->tls;
 145         void (*handler)(void);
 146         int ret = 0;
 147
 148         p->thread = (struct thread_struct) INIT_THREAD;
 149
 150         if (!args->fn) {
 151                 memcpy(&p->thread.regs.regs, current_pt_regs(),
 152                        sizeof(p->thread.regs.regs));
 153                 PT_REGS_SET_SYSCALL_RETURN(&p->thread.regs, 0);
 154                 if (sp != 0)
 155                         REGS_SP(p->thread.regs.regs.gp) = sp;
 156
 157                 handler = fork_handler;
 158
 159                 arch_copy_thread(&current->thread.arch, &p->thread.arch);
 160         } else {
 161                 get_safe_registers(p->thread.regs.regs.gp, p->thread.regs.regs.fp);
 162                 p->thread.request.thread.proc = args->fn;
 163                 p->thread.request.thread.arg = args->fn_arg;
 164                 handler = new_thread_handler;
 165         }
 166
 167         new_thread(task_stack_page(p), &p->thread.switch_buf, handler);
 168
 169         if (!args->fn) {
 170                 clear_flushed_tls(p);
 171
 172                 /*
 173                  * Set a new TLS for the child thread?
 174                  */
 175                 if (clone_flags & CLONE_SETTLS)
 176                         ret = arch_set_tls(p, tls);
 177         }
 178
 179         return ret;
 180 }
 181
 182 void initial_thread_cb(void (*proc)(void *), void *arg)
 183 {
 184         int save_kmalloc_ok = kmalloc_ok;
 185
 186         kmalloc_ok = 0;
 187         initial_thread_cb_skas(proc, arg);
 188         kmalloc_ok = save_kmalloc_ok;
 189 }
 190
 191 int arch_dup_task_struct(struct task_struct *dst,
 192                          struct task_struct *src)
 193 {
 194         /* init_task is not dynamically sized (missing FPU state) */
 195         if (unlikely(src == &init_task)) {
 196                 memcpy(dst, src, sizeof(init_task));
 197                 memset((void *)dst + sizeof(init_task), 0,
 198                        arch_task_struct_size - sizeof(init_task));
 199         } else {
 200                 memcpy(dst, src, arch_task_struct_size);
 201         }
 202
 203         return 0;
 204 }
 205
 206 void um_idle_sleep(void)
 207 {
 208         if (time_travel_mode != TT_MODE_OFF)
 209                 time_travel_sleep();
 210         else
 211                 os_idle_sleep();
 212 }
 213
 214 void arch_cpu_idle(void)
 215 {
 216         um_idle_sleep();
 217 }
 218
 219 int __uml_cant_sleep(void) {
 220         return in_atomic() || irqs_disabled() || in_interrupt();
 221         /* Is in_interrupt() really needed? */
 222 }
 223
 224 extern exitcall_t __uml_exitcall_begin, __uml_exitcall_end;
 225
 226 void do_uml_exitcalls(void)
 227 {
 228         exitcall_t *call;
 229
 230         call = &__uml_exitcall_end;
 231         while (--call >= &__uml_exitcall_begin)
 232                 (*call)();
 233 }
 234
 235 char *uml_strdup(const char *string)
 236 {
 237         return kstrdup(string, GFP_KERNEL);
 238 }
 239 EXPORT_SYMBOL(uml_strdup);
 240
 241 int copy_from_user_proc(void *to, void __user *from, int size)
 242 {
 243         return copy_from_user(to, from, size);
 244 }
 245
 246 int singlestepping(void)
 247 {
 248         return test_thread_flag(TIF_SINGLESTEP);
 249 }
 250
 251 /*
 252  * Only x86 and x86_64 have an arch_align_stack().
 253  * All other arches have "#define arch_align_stack(x) (x)"
 254  * in their asm/exec.h
 255  * As this is included in UML from asm-um/system-generic.h,
 256  * we can use it to behave as the subarch does.
 257  */
 258 #ifndef arch_align_stack
 259 unsigned long arch_align_stack(unsigned long sp)
 260 {
 261         if (!(current->personality & ADDR_NO_RANDOMIZE) && randomize_va_space)
 262                 sp -= get_random_u32_below(8192);
 263         return sp & ~0xf;
 264 }
 265 #endif
 266
 267 unsigned long __get_wchan(struct task_struct *p)
 268 {
 269         unsigned long stack_page, sp, ip;
 270         bool seen_sched = 0;
 271
 272         stack_page = (unsigned long) task_stack_page(p);
 273         /* Bail if the process has no kernel stack for some reason */
 274         if (stack_page == 0)
 275                 return 0;
 276
 277         sp = p->thread.switch_buf->JB_SP;
 278         /*
 279          * Bail if the stack pointer is below the bottom of the kernel
 280          * stack for some reason
 281          */
 282         if (sp < stack_page)
 283                 return 0;
 284
 285         while (sp < stack_page + THREAD_SIZE) {
 286                 ip = *((unsigned long *) sp);
 287                 if (in_sched_functions(ip))
 288                         /* Ignore everything until we're above the scheduler */
 289                         seen_sched = 1;
 290                 else if (kernel_text_address(ip) && seen_sched)
 291                         return ip;
 292
 293                 sp += sizeof(unsigned long);
 294         }
 295
 296         return 0;
 297 }