arch/x86/xen/time.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  * Xen time implementation.
   4  *
   5  * This is implemented in terms of a clocksource driver which uses
   6  * the hypervisor clock as a nanosecond timebase, and a clockevent
   7  * driver which uses the hypervisor's timer mechanism.
   8  *
   9  * Jeremy Fitzhardinge <[email protected]>, XenSource Inc, 2007
  10  */
  11 #include <linux/kernel.h>
  12 #include <linux/interrupt.h>
  13 #include <linux/clocksource.h>
  14 #include <linux/clockchips.h>
  15 #include <linux/gfp.h>
  16 #include <linux/slab.h>
  17 #include <linux/pvclock_gtod.h>
  18 #include <linux/timekeeper_internal.h>
  19
  20 #include <asm/pvclock.h>
  21 #include <asm/xen/hypervisor.h>
  22 #include <asm/xen/hypercall.h>
  23
  24 #include <xen/events.h>
  25 #include <xen/features.h>
  26 #include <xen/interface/xen.h>
  27 #include <xen/interface/vcpu.h>
  28
  29 #include "xen-ops.h"
  30
  31 /* Xen may fire a timer up to this many ns early */
  32 #define TIMER_SLOP      100000
  33
  34 static u64 xen_sched_clock_offset __read_mostly;
  35
  36 /* Get the TSC speed from Xen */
  37 static unsigned long xen_tsc_khz(void)
  38 {
  39         struct pvclock_vcpu_time_info *info =
  40                 &HYPERVISOR_shared_info->vcpu_info[0].time;
  41
  42         return pvclock_tsc_khz(info);
  43 }
  44
  45 static u64 xen_clocksource_read(void)
  46 {
  47         struct pvclock_vcpu_time_info *src;
  48         u64 ret;
  49
  50         preempt_disable_notrace();
  51         src = &__this_cpu_read(xen_vcpu)->time;
  52         ret = pvclock_clocksource_read(src);
  53         preempt_enable_notrace();
  54         return ret;
  55 }
  56
  57 static u64 xen_clocksource_get_cycles(struct clocksource *cs)
  58 {
  59         return xen_clocksource_read();
  60 }
  61
  62 static u64 xen_sched_clock(void)
  63 {
  64         return xen_clocksource_read() - xen_sched_clock_offset;
  65 }
  66
  67 static void xen_read_wallclock(struct timespec64 *ts)
  68 {
  69         struct shared_info *s = HYPERVISOR_shared_info;
  70         struct pvclock_wall_clock *wall_clock = &(s->wc);
  71         struct pvclock_vcpu_time_info *vcpu_time;
  72
  73         vcpu_time = &get_cpu_var(xen_vcpu)->time;
  74         pvclock_read_wallclock(wall_clock, vcpu_time, ts);
  75         put_cpu_var(xen_vcpu);
  76 }
  77
  78 static void xen_get_wallclock(struct timespec64 *now)
  79 {
  80         xen_read_wallclock(now);
  81 }
  82
  83 static int xen_set_wallclock(const struct timespec64 *now)
  84 {
  85         return -ENODEV;
  86 }
  87
  88 static int xen_pvclock_gtod_notify(struct notifier_block *nb,
  89                                    unsigned long was_set, void *priv)
  90 {
  91         /* Protected by the calling core code serialization */
  92         static struct timespec64 next_sync;
  93
  94         struct xen_platform_op op;
  95         struct timespec64 now;
  96         struct timekeeper *tk = priv;
  97         static bool settime64_supported = true;
  98         int ret;
  99
 100         now.tv_sec = tk->xtime_sec;
 101         now.tv_nsec = (long)(tk->tkr_mono.xtime_nsec >> tk->tkr_mono.shift);
 102
 103         /*
 104          * We only take the expensive HV call when the clock was set
 105          * or when the 11 minutes RTC synchronization time elapsed.
 106          */
 107         if (!was_set && timespec64_compare(&now, &next_sync) < 0)
 108                 return NOTIFY_OK;
 109
 110 again:
 111         if (settime64_supported) {
 112                 op.cmd = XENPF_settime64;
 113                 op.u.settime64.mbz = 0;
 114                 op.u.settime64.secs = now.tv_sec;
 115                 op.u.settime64.nsecs = now.tv_nsec;
 116                 op.u.settime64.system_time = xen_clocksource_read();
 117         } else {
 118                 op.cmd = XENPF_settime32;
 119                 op.u.settime32.secs = now.tv_sec;
 120                 op.u.settime32.nsecs = now.tv_nsec;
 121                 op.u.settime32.system_time = xen_clocksource_read();
 122         }
 123
 124         ret = HYPERVISOR_platform_op(&op);
 125
 126         if (ret == -ENOSYS && settime64_supported) {
 127                 settime64_supported = false;
 128                 goto again;
 129         }
 130         if (ret < 0)
 131                 return NOTIFY_BAD;
 132
 133         /*
 134          * Move the next drift compensation time 11 minutes
 135          * ahead. That's emulating the sync_cmos_clock() update for
 136          * the hardware RTC.
 137          */
 138         next_sync = now;
 139         next_sync.tv_sec += 11 * 60;
 140
 141         return NOTIFY_OK;
 142 }
 143
 144 static struct notifier_block xen_pvclock_gtod_notifier = {
 145         .notifier_call = xen_pvclock_gtod_notify,
 146 };
 147
 148 static struct clocksource xen_clocksource __read_mostly = {
 149         .name = "xen",
 150         .rating = 400,
 151         .read = xen_clocksource_get_cycles,
 152         .mask = ~0,
 153         .flags = CLOCK_SOURCE_IS_CONTINUOUS,
 154 };
 155
 156 /*
 157    Xen clockevent implementation
 158
 159    Xen has two clockevent implementations:
 160
 161    The old timer_op one works with all released versions of Xen prior
 162    to version 3.0.4.  This version of the hypervisor provides a
 163    single-shot timer with nanosecond resolution.  However, sharing the
 164    same event channel is a 100Hz tick which is delivered while the
 165    vcpu is running.  We don't care about or use this tick, but it will
 166    cause the core time code to think the timer fired too soon, and
 167    will end up resetting it each time.  It could be filtered, but
 168    doing so has complications when the ktime clocksource is not yet
 169    the xen clocksource (ie, at boot time).
 170
 171    The new vcpu_op-based timer interface allows the tick timer period
 172    to be changed or turned off.  The tick timer is not useful as a
 173    periodic timer because events are only delivered to running vcpus.
 174    The one-shot timer can report when a timeout is in the past, so
 175    set_next_event is capable of returning -ETIME when appropriate.
 176    This interface is used when available.
 177 */
 178
 179
 180 /*
 181   Get a hypervisor absolute time.  In theory we could maintain an
 182   offset between the kernel's time and the hypervisor's time, and
 183   apply that to a kernel's absolute timeout.  Unfortunately the
 184   hypervisor and kernel times can drift even if the kernel is using
 185   the Xen clocksource, because ntp can warp the kernel's clocksource.
 186 */
 187 static s64 get_abs_timeout(unsigned long delta)
 188 {
 189         return xen_clocksource_read() + delta;
 190 }
 191
 192 static int xen_timerop_shutdown(struct clock_event_device *evt)
 193 {
 194         /* cancel timeout */
 195         HYPERVISOR_set_timer_op(0);
 196
 197         return 0;
 198 }
 199
 200 static int xen_timerop_set_next_event(unsigned long delta,
 201                                       struct clock_event_device *evt)
 202 {
 203         WARN_ON(!clockevent_state_oneshot(evt));
 204
 205         if (HYPERVISOR_set_timer_op(get_abs_timeout(delta)) < 0)
 206                 BUG();
 207
 208         /* We may have missed the deadline, but there's no real way of
 209            knowing for sure.  If the event was in the past, then we'll
 210            get an immediate interrupt. */
 211
 212         return 0;
 213 }
 214
 215 static const struct clock_event_device xen_timerop_clockevent = {
 216         .name                   = "xen",
 217         .features               = CLOCK_EVT_FEAT_ONESHOT,
 218
 219         .max_delta_ns           = 0xffffffff,
 220         .max_delta_ticks        = 0xffffffff,
 221         .min_delta_ns           = TIMER_SLOP,
 222         .min_delta_ticks        = TIMER_SLOP,
 223
 224         .mult                   = 1,
 225         .shift                  = 0,
 226         .rating                 = 500,
 227
 228         .set_state_shutdown     = xen_timerop_shutdown,
 229         .set_next_event         = xen_timerop_set_next_event,
 230 };
 231
 232 static int xen_vcpuop_shutdown(struct clock_event_device *evt)
 233 {
 234         int cpu = smp_processor_id();
 235
 236         if (HYPERVISOR_vcpu_op(VCPUOP_stop_singleshot_timer, xen_vcpu_nr(cpu),
 237                                NULL) ||
 238             HYPERVISOR_vcpu_op(VCPUOP_stop_periodic_timer, xen_vcpu_nr(cpu),
 239                                NULL))
 240                 BUG();
 241
 242         return 0;
 243 }
 244
 245 static int xen_vcpuop_set_oneshot(struct clock_event_device *evt)
 246 {
 247         int cpu = smp_processor_id();
 248
 249         if (HYPERVISOR_vcpu_op(VCPUOP_stop_periodic_timer, xen_vcpu_nr(cpu),
 250                                NULL))
 251                 BUG();
 252
 253         return 0;
 254 }
 255
 256 static int xen_vcpuop_set_next_event(unsigned long delta,
 257                                      struct clock_event_device *evt)
 258 {
 259         int cpu = smp_processor_id();
 260         struct vcpu_set_singleshot_timer single;
 261         int ret;
 262
 263         WARN_ON(!clockevent_state_oneshot(evt));
 264
 265         single.timeout_abs_ns = get_abs_timeout(delta);
 266         /* Get an event anyway, even if the timeout is already expired */
 267         single.flags = 0;
 268
 269         ret = HYPERVISOR_vcpu_op(VCPUOP_set_singleshot_timer, xen_vcpu_nr(cpu),
 270                                  &single);
 271         BUG_ON(ret != 0);
 272
 273         return ret;
 274 }
 275
 276 static const struct clock_event_device xen_vcpuop_clockevent = {
 277         .name = "xen",
 278         .features = CLOCK_EVT_FEAT_ONESHOT,
 279
 280         .max_delta_ns = 0xffffffff,
 281         .max_delta_ticks = 0xffffffff,
 282         .min_delta_ns = TIMER_SLOP,
 283         .min_delta_ticks = TIMER_SLOP,
 284
 285         .mult = 1,
 286         .shift = 0,
 287         .rating = 500,
 288
 289         .set_state_shutdown = xen_vcpuop_shutdown,
 290         .set_state_oneshot = xen_vcpuop_set_oneshot,
 291         .set_next_event = xen_vcpuop_set_next_event,
 292 };
 293
 294 static const struct clock_event_device *xen_clockevent =
 295         &xen_timerop_clockevent;
 296
 297 struct xen_clock_event_device {
 298         struct clock_event_device evt;
 299         char name[16];
 300 };
 301 static DEFINE_PER_CPU(struct xen_clock_event_device, xen_clock_events) = { .evt.irq = -1 };
 302
 303 static irqreturn_t xen_timer_interrupt(int irq, void *dev_id)
 304 {
 305         struct clock_event_device *evt = this_cpu_ptr(&xen_clock_events.evt);
 306         irqreturn_t ret;
 307
 308         ret = IRQ_NONE;
 309         if (evt->event_handler) {
 310                 evt->event_handler(evt);
 311                 ret = IRQ_HANDLED;
 312         }
 313
 314         return ret;
 315 }
 316
 317 void xen_teardown_timer(int cpu)
 318 {
 319         struct clock_event_device *evt;
 320         evt = &per_cpu(xen_clock_events, cpu).evt;
 321
 322         if (evt->irq >= 0) {
 323                 unbind_from_irqhandler(evt->irq, NULL);
 324                 evt->irq = -1;
 325         }
 326 }
 327
 328 void xen_setup_timer(int cpu)
 329 {
 330         struct xen_clock_event_device *xevt = &per_cpu(xen_clock_events, cpu);
 331         struct clock_event_device *evt = &xevt->evt;
 332         int irq;
 333
 334         WARN(evt->irq >= 0, "IRQ%d for CPU%d is already allocated\n", evt->irq, cpu);
 335         if (evt->irq >= 0)
 336                 xen_teardown_timer(cpu);
 337
 338         printk(KERN_INFO "installing Xen timer for CPU %d\n", cpu);
 339
 340         snprintf(xevt->name, sizeof(xevt->name), "timer%d", cpu);
 341
 342         irq = bind_virq_to_irqhandler(VIRQ_TIMER, cpu, xen_timer_interrupt,
 343                                       IRQF_PERCPU|IRQF_NOBALANCING|IRQF_TIMER|
 344                                       IRQF_FORCE_RESUME|IRQF_EARLY_RESUME,
 345                                       xevt->name, NULL);
 346         (void)xen_set_irq_priority(irq, XEN_IRQ_PRIORITY_MAX);
 347
 348         memcpy(evt, xen_clockevent, sizeof(*evt));
 349
 350         evt->cpumask = cpumask_of(cpu);
 351         evt->irq = irq;
 352 }
 353
 354
 355 void xen_setup_cpu_clockevents(void)
 356 {
 357         clockevents_register_device(this_cpu_ptr(&xen_clock_events.evt));
 358 }
 359
 360 void xen_timer_resume(void)
 361 {
 362         int cpu;
 363
 364         pvclock_resume();
 365
 366         if (xen_clockevent != &xen_vcpuop_clockevent)
 367                 return;
 368
 369         for_each_online_cpu(cpu) {
 370                 if (HYPERVISOR_vcpu_op(VCPUOP_stop_periodic_timer,
 371                                        xen_vcpu_nr(cpu), NULL))
 372                         BUG();
 373         }
 374 }
 375
 376 static const struct pv_time_ops xen_time_ops __initconst = {
 377         .sched_clock = xen_sched_clock,
 378         .steal_clock = xen_steal_clock,
 379 };
 380
 381 static struct pvclock_vsyscall_time_info *xen_clock __read_mostly;
 382
 383 void xen_save_time_memory_area(void)
 384 {
 385         struct vcpu_register_time_memory_area t;
 386         int ret;
 387
 388         if (!xen_clock)
 389                 return;
 390
 391         t.addr.v = NULL;
 392
 393         ret = HYPERVISOR_vcpu_op(VCPUOP_register_vcpu_time_memory_area, 0, &t);
 394         if (ret != 0)
 395                 pr_notice("Cannot save secondary vcpu_time_info (err %d)",
 396                           ret);
 397         else
 398                 clear_page(xen_clock);
 399 }
 400
 401 void xen_restore_time_memory_area(void)
 402 {
 403         struct vcpu_register_time_memory_area t;
 404         int ret;
 405
 406         if (!xen_clock)
 407                 return;
 408
 409         t.addr.v = &xen_clock->pvti;
 410
 411         ret = HYPERVISOR_vcpu_op(VCPUOP_register_vcpu_time_memory_area, 0, &t);
 412
 413         /*
 414          * We don't disable VCLOCK_PVCLOCK entirely if it fails to register the
 415          * secondary time info with Xen or if we migrated to a host without the
 416          * necessary flags. On both of these cases what happens is either
 417          * process seeing a zeroed out pvti or seeing no PVCLOCK_TSC_STABLE_BIT
 418          * bit set. Userspace checks the latter and if 0, it discards the data
 419          * in pvti and fallbacks to a system call for a reliable timestamp.
 420          */
 421         if (ret != 0)
 422                 pr_notice("Cannot restore secondary vcpu_time_info (err %d)",
 423                           ret);
 424 }
 425
 426 static void xen_setup_vsyscall_time_info(void)
 427 {
 428         struct vcpu_register_time_memory_area t;
 429         struct pvclock_vsyscall_time_info *ti;
 430         int ret;
 431
 432         ti = (struct pvclock_vsyscall_time_info *)get_zeroed_page(GFP_KERNEL);
 433         if (!ti)
 434                 return;
 435
 436         t.addr.v = &ti->pvti;
 437
 438         ret = HYPERVISOR_vcpu_op(VCPUOP_register_vcpu_time_memory_area, 0, &t);
 439         if (ret) {
 440                 pr_notice("xen: VCLOCK_PVCLOCK not supported (err %d)\n", ret);
 441                 free_page((unsigned long)ti);
 442                 return;
 443         }
 444
 445         /*
 446          * If primary time info had this bit set, secondary should too since
 447          * it's the same data on both just different memory regions. But we
 448          * still check it in case hypervisor is buggy.
 449          */
 450         if (!(ti->pvti.flags & PVCLOCK_TSC_STABLE_BIT)) {
 451                 t.addr.v = NULL;
 452                 ret = HYPERVISOR_vcpu_op(VCPUOP_register_vcpu_time_memory_area,
 453                                          0, &t);
 454                 if (!ret)
 455                         free_page((unsigned long)ti);
 456
 457                 pr_notice("xen: VCLOCK_PVCLOCK not supported (tsc unstable)\n");
 458                 return;
 459         }
 460
 461         xen_clock = ti;
 462         pvclock_set_pvti_cpu0_va(xen_clock);
 463
 464         xen_clocksource.archdata.vclock_mode = VCLOCK_PVCLOCK;
 465 }
 466
 467 static void __init xen_time_init(void)
 468 {
 469         struct pvclock_vcpu_time_info *pvti;
 470         int cpu = smp_processor_id();
 471         struct timespec64 tp;
 472
 473         /* As Dom0 is never moved, no penalty on using TSC there */
 474         if (xen_initial_domain())
 475                 xen_clocksource.rating = 275;
 476
 477         clocksource_register_hz(&xen_clocksource, NSEC_PER_SEC);
 478
 479         if (HYPERVISOR_vcpu_op(VCPUOP_stop_periodic_timer, xen_vcpu_nr(cpu),
 480                                NULL) == 0) {
 481                 /* Successfully turned off 100Hz tick, so we have the
 482                    vcpuop-based timer interface */
 483                 printk(KERN_DEBUG "Xen: using vcpuop timer interface\n");
 484                 xen_clockevent = &xen_vcpuop_clockevent;
 485         }
 486
 487         /* Set initial system time with full resolution */
 488         xen_read_wallclock(&tp);
 489         do_settimeofday64(&tp);
 490
 491         setup_force_cpu_cap(X86_FEATURE_TSC);
 492
 493         /*
 494          * We check ahead on the primary time info if this
 495          * bit is supported hence speeding up Xen clocksource.
 496          */
 497         pvti = &__this_cpu_read(xen_vcpu)->time;
 498         if (pvti->flags & PVCLOCK_TSC_STABLE_BIT) {
 499                 pvclock_set_flags(PVCLOCK_TSC_STABLE_BIT);
 500                 xen_setup_vsyscall_time_info();
 501         }
 502
 503         xen_setup_runstate_info(cpu);
 504         xen_setup_timer(cpu);
 505         xen_setup_cpu_clockevents();
 506
 507         xen_time_setup_guest();
 508
 509         if (xen_initial_domain())
 510                 pvclock_gtod_register_notifier(&xen_pvclock_gtod_notifier);
 511 }
 512
 513 void __init xen_init_time_ops(void)
 514 {
 515         xen_sched_clock_offset = xen_clocksource_read();
 516         pv_ops.time = xen_time_ops;
 517
 518         x86_init.timers.timer_init = xen_time_init;
 519         x86_init.timers.setup_percpu_clockev = x86_init_noop;
 520         x86_cpuinit.setup_percpu_clockev = x86_init_noop;
 521
 522         x86_platform.calibrate_tsc = xen_tsc_khz;
 523         x86_platform.get_wallclock = xen_get_wallclock;
 524         /* Dom0 uses the native method to set the hardware RTC. */
 525         if (!xen_initial_domain())
 526                 x86_platform.set_wallclock = xen_set_wallclock;
 527 }
 528
 529 #ifdef CONFIG_XEN_PVHVM
 530 static void xen_hvm_setup_cpu_clockevents(void)
 531 {
 532         int cpu = smp_processor_id();
 533         xen_setup_runstate_info(cpu);
 534         /*
 535          * xen_setup_timer(cpu) - snprintf is bad in atomic context. Hence
 536          * doing it xen_hvm_cpu_notify (which gets called by smp_init during
 537          * early bootup and also during CPU hotplug events).
 538          */
 539         xen_setup_cpu_clockevents();
 540 }
 541
 542 void __init xen_hvm_init_time_ops(void)
 543 {
 544         /*
 545          * vector callback is needed otherwise we cannot receive interrupts
 546          * on cpu > 0 and at this point we don't know how many cpus are
 547          * available.
 548          */
 549         if (!xen_have_vector_callback)
 550                 return;
 551
 552         if (!xen_feature(XENFEAT_hvm_safe_pvclock)) {
 553                 pr_info("Xen doesn't support pvclock on HVM, disable pv timer");
 554                 return;
 555         }
 556
 557         xen_sched_clock_offset = xen_clocksource_read();
 558         pv_ops.time = xen_time_ops;
 559         x86_init.timers.setup_percpu_clockev = xen_time_init;
 560         x86_cpuinit.setup_percpu_clockev = xen_hvm_setup_cpu_clockevents;
 561
 562         x86_platform.calibrate_tsc = xen_tsc_khz;
 563         x86_platform.get_wallclock = xen_get_wallclock;
 564         x86_platform.set_wallclock = xen_set_wallclock;
 565 }
 566 #endif