util/qemu-timer.c

   1 /*
   2  * QEMU System Emulator
   3  *
   4  * Copyright (c) 2003-2008 Fabrice Bellard
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a copy
   7  * of this software and associated documentation files (the "Software"), to deal
   8  * in the Software without restriction, including without limitation the rights
   9  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
  10  * copies of the Software, and to permit persons to whom the Software is
  11  * furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in
  14  * all copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
  19  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  22  * THE SOFTWARE.
  23  */
  24
  25 #include "qemu/osdep.h"
  26 #include "qemu/main-loop.h"
  27 #include "qemu/timer.h"
  28 #include "qemu/lockable.h"
  29 #include "sysemu/cpu-timers.h"
  30 #include "sysemu/replay.h"
  31 #include "sysemu/cpus.h"
  32 #include "sysemu/qtest.h"
  33
  34 #ifdef CONFIG_POSIX
  35 #include <pthread.h>
  36 #endif
  37
  38 #ifdef CONFIG_PPOLL
  39 #include <poll.h>
  40 #endif
  41
  42 #ifdef CONFIG_PRCTL_PR_SET_TIMERSLACK
  43 #include <sys/prctl.h>
  44 #endif
  45
  46 /***********************************************************/
  47 /* timers */
  48
  49 typedef struct QEMUClock {
  50     /* We rely on BQL to protect the timerlists */
  51     QLIST_HEAD(, QEMUTimerList) timerlists;
  52
  53     QEMUClockType type;
  54     bool enabled;
  55 } QEMUClock;
  56
  57 QEMUTimerListGroup main_loop_tlg;
  58 static QEMUClock qemu_clocks[QEMU_CLOCK_MAX];
  59
  60 /* A QEMUTimerList is a list of timers attached to a clock. More
  61  * than one QEMUTimerList can be attached to each clock, for instance
  62  * used by different AioContexts / threads. Each clock also has
  63  * a list of the QEMUTimerLists associated with it, in order that
  64  * reenabling the clock can call all the notifiers.
  65  */
  66
  67 struct QEMUTimerList {
  68     QEMUClock *clock;
  69     QemuMutex active_timers_lock;
  70     QEMUTimer *active_timers;
  71     QLIST_ENTRY(QEMUTimerList) list;
  72     QEMUTimerListNotifyCB *notify_cb;
  73     void *notify_opaque;
  74
  75     /* lightweight method to mark the end of timerlist's running */
  76     QemuEvent timers_done_ev;
  77 };
  78
  79 /**
  80  * qemu_clock_ptr:
  81  * @type: type of clock
  82  *
  83  * Translate a clock type into a pointer to QEMUClock object.
  84  *
  85  * Returns: a pointer to the QEMUClock object
  86  */
  87 static inline QEMUClock *qemu_clock_ptr(QEMUClockType type)
  88 {
  89     return &qemu_clocks[type];
  90 }
  91
  92 static bool timer_expired_ns(QEMUTimer *timer_head, int64_t current_time)
  93 {
  94     return timer_head && (timer_head->expire_time <= current_time);
  95 }
  96
  97 QEMUTimerList *timerlist_new(QEMUClockType type,
  98                              QEMUTimerListNotifyCB *cb,
  99                              void *opaque)
 100 {
 101     QEMUTimerList *timer_list;
 102     QEMUClock *clock = qemu_clock_ptr(type);
 103
 104     timer_list = g_malloc0(sizeof(QEMUTimerList));
 105     qemu_event_init(&timer_list->timers_done_ev, true);
 106     timer_list->clock = clock;
 107     timer_list->notify_cb = cb;
 108     timer_list->notify_opaque = opaque;
 109     qemu_mutex_init(&timer_list->active_timers_lock);
 110     QLIST_INSERT_HEAD(&clock->timerlists, timer_list, list);
 111     return timer_list;
 112 }
 113
 114 void timerlist_free(QEMUTimerList *timer_list)
 115 {
 116     assert(!timerlist_has_timers(timer_list));
 117     if (timer_list->clock) {
 118         QLIST_REMOVE(timer_list, list);
 119     }
 120     qemu_mutex_destroy(&timer_list->active_timers_lock);
 121     g_free(timer_list);
 122 }
 123
 124 static void qemu_clock_init(QEMUClockType type, QEMUTimerListNotifyCB *notify_cb)
 125 {
 126     QEMUClock *clock = qemu_clock_ptr(type);
 127
 128     /* Assert that the clock of type TYPE has not been initialized yet. */
 129     assert(main_loop_tlg.tl[type] == NULL);
 130
 131     clock->type = type;
 132     clock->enabled = (type == QEMU_CLOCK_VIRTUAL ? false : true);
 133     QLIST_INIT(&clock->timerlists);
 134     main_loop_tlg.tl[type] = timerlist_new(type, notify_cb, NULL);
 135 }
 136
 137 bool qemu_clock_use_for_deadline(QEMUClockType type)
 138 {
 139     return !(icount_enabled() && (type == QEMU_CLOCK_VIRTUAL));
 140 }
 141
 142 void qemu_clock_notify(QEMUClockType type)
 143 {
 144     QEMUTimerList *timer_list;
 145     QEMUClock *clock = qemu_clock_ptr(type);
 146     QLIST_FOREACH(timer_list, &clock->timerlists, list) {
 147         timerlist_notify(timer_list);
 148     }
 149 }
 150
 151 /* Disabling the clock will wait for related timerlists to stop
 152  * executing qemu_run_timers.  Thus, this functions should not
 153  * be used from the callback of a timer that is based on @clock.
 154  * Doing so would cause a deadlock.
 155  *
 156  * Caller should hold BQL.
 157  */
 158 void qemu_clock_enable(QEMUClockType type, bool enabled)
 159 {
 160     QEMUClock *clock = qemu_clock_ptr(type);
 161     QEMUTimerList *tl;
 162     bool old = clock->enabled;
 163     clock->enabled = enabled;
 164     if (enabled && !old) {
 165         qemu_clock_notify(type);
 166     } else if (!enabled && old) {
 167         QLIST_FOREACH(tl, &clock->timerlists, list) {
 168             qemu_event_wait(&tl->timers_done_ev);
 169         }
 170     }
 171 }
 172
 173 bool timerlist_has_timers(QEMUTimerList *timer_list)
 174 {
 175     return !!qatomic_read(&timer_list->active_timers);
 176 }
 177
 178 bool qemu_clock_has_timers(QEMUClockType type)
 179 {
 180     return timerlist_has_timers(
 181         main_loop_tlg.tl[type]);
 182 }
 183
 184 bool timerlist_expired(QEMUTimerList *timer_list)
 185 {
 186     int64_t expire_time;
 187
 188     if (!qatomic_read(&timer_list->active_timers)) {
 189         return false;
 190     }
 191
 192     WITH_QEMU_LOCK_GUARD(&timer_list->active_timers_lock) {
 193         if (!timer_list->active_timers) {
 194             return false;
 195         }
 196         expire_time = timer_list->active_timers->expire_time;
 197     }
 198
 199     return expire_time <= qemu_clock_get_ns(timer_list->clock->type);
 200 }
 201
 202 bool qemu_clock_expired(QEMUClockType type)
 203 {
 204     return timerlist_expired(
 205         main_loop_tlg.tl[type]);
 206 }
 207
 208 /*
 209  * As above, but return -1 for no deadline, and do not cap to 2^32
 210  * as we know the result is always positive.
 211  */
 212
 213 int64_t timerlist_deadline_ns(QEMUTimerList *timer_list)
 214 {
 215     int64_t delta;
 216     int64_t expire_time;
 217
 218     if (!qatomic_read(&timer_list->active_timers)) {
 219         return -1;
 220     }
 221
 222     if (!timer_list->clock->enabled) {
 223         return -1;
 224     }
 225
 226     /* The active timers list may be modified before the caller uses our return
 227      * value but ->notify_cb() is called when the deadline changes.  Therefore
 228      * the caller should notice the change and there is no race condition.
 229      */
 230     WITH_QEMU_LOCK_GUARD(&timer_list->active_timers_lock) {
 231         if (!timer_list->active_timers) {
 232             return -1;
 233         }
 234         expire_time = timer_list->active_timers->expire_time;
 235     }
 236
 237     delta = expire_time - qemu_clock_get_ns(timer_list->clock->type);
 238
 239     if (delta <= 0) {
 240         return 0;
 241     }
 242
 243     return delta;
 244 }
 245
 246 /* Calculate the soonest deadline across all timerlists attached
 247  * to the clock. This is used for the icount timeout so we
 248  * ignore whether or not the clock should be used in deadline
 249  * calculations.
 250  */
 251 int64_t qemu_clock_deadline_ns_all(QEMUClockType type, int attr_mask)
 252 {
 253     int64_t deadline = -1;
 254     int64_t delta;
 255     int64_t expire_time;
 256     QEMUTimer *ts;
 257     QEMUTimerList *timer_list;
 258     QEMUClock *clock = qemu_clock_ptr(type);
 259
 260     if (!clock->enabled) {
 261         return -1;
 262     }
 263
 264     QLIST_FOREACH(timer_list, &clock->timerlists, list) {
 265         qemu_mutex_lock(&timer_list->active_timers_lock);
 266         ts = timer_list->active_timers;
 267         /* Skip all external timers */
 268         while (ts && (ts->attributes & ~attr_mask)) {
 269             ts = ts->next;
 270         }
 271         if (!ts) {
 272             qemu_mutex_unlock(&timer_list->active_timers_lock);
 273             continue;
 274         }
 275         expire_time = ts->expire_time;
 276         qemu_mutex_unlock(&timer_list->active_timers_lock);
 277
 278         delta = expire_time - qemu_clock_get_ns(type);
 279         if (delta <= 0) {
 280             delta = 0;
 281         }
 282         deadline = qemu_soonest_timeout(deadline, delta);
 283     }
 284     return deadline;
 285 }
 286
 287 QEMUClockType timerlist_get_clock(QEMUTimerList *timer_list)
 288 {
 289     return timer_list->clock->type;
 290 }
 291
 292 QEMUTimerList *qemu_clock_get_main_loop_timerlist(QEMUClockType type)
 293 {
 294     return main_loop_tlg.tl[type];
 295 }
 296
 297 void timerlist_notify(QEMUTimerList *timer_list)
 298 {
 299     if (timer_list->notify_cb) {
 300         timer_list->notify_cb(timer_list->notify_opaque, timer_list->clock->type);
 301     } else {
 302         qemu_notify_event();
 303     }
 304 }
 305
 306 /* Transition function to convert a nanosecond timeout to ms
 307  * This is used where a system does not support ppoll
 308  */
 309 int qemu_timeout_ns_to_ms(int64_t ns)
 310 {
 311     int64_t ms;
 312     if (ns < 0) {
 313         return -1;
 314     }
 315
 316     if (!ns) {
 317         return 0;
 318     }
 319
 320     /* Always round up, because it's better to wait too long than to wait too
 321      * little and effectively busy-wait
 322      */
 323     ms = DIV_ROUND_UP(ns, SCALE_MS);
 324
 325     /* To avoid overflow problems, limit this to 2^31, i.e. approx 25 days */
 326     return MIN(ms, INT32_MAX);
 327 }
 328
 329
 330 /* qemu implementation of g_poll which uses a nanosecond timeout but is
 331  * otherwise identical to g_poll
 332  */
 333 int qemu_poll_ns(GPollFD *fds, guint nfds, int64_t timeout)
 334 {
 335 #ifdef CONFIG_PPOLL
 336     if (timeout < 0) {
 337         return ppoll((struct pollfd *)fds, nfds, NULL, NULL);
 338     } else {
 339         struct timespec ts;
 340         int64_t tvsec = timeout / 1000000000LL;
 341         /* Avoid possibly overflowing and specifying a negative number of
 342          * seconds, which would turn a very long timeout into a busy-wait.
 343          */
 344         if (tvsec > (int64_t)INT32_MAX) {
 345             tvsec = INT32_MAX;
 346         }
 347         ts.tv_sec = tvsec;
 348         ts.tv_nsec = timeout % 1000000000LL;
 349         return ppoll((struct pollfd *)fds, nfds, &ts, NULL);
 350     }
 351 #else
 352     return g_poll(fds, nfds, qemu_timeout_ns_to_ms(timeout));
 353 #endif
 354 }
 355
 356
 357 void timer_init_full(QEMUTimer *ts,
 358                      QEMUTimerListGroup *timer_list_group, QEMUClockType type,
 359                      int scale, int attributes,
 360                      QEMUTimerCB *cb, void *opaque)
 361 {
 362     if (!timer_list_group) {
 363         timer_list_group = &main_loop_tlg;
 364     }
 365     ts->timer_list = timer_list_group->tl[type];
 366     ts->cb = cb;
 367     ts->opaque = opaque;
 368     ts->scale = scale;
 369     ts->attributes = attributes;
 370     ts->expire_time = -1;
 371 }
 372
 373 void timer_deinit(QEMUTimer *ts)
 374 {
 375     assert(ts->expire_time == -1);
 376     ts->timer_list = NULL;
 377 }
 378
 379 static void timer_del_locked(QEMUTimerList *timer_list, QEMUTimer *ts)
 380 {
 381     QEMUTimer **pt, *t;
 382
 383     ts->expire_time = -1;
 384     pt = &timer_list->active_timers;
 385     for(;;) {
 386         t = *pt;
 387         if (!t)
 388             break;
 389         if (t == ts) {
 390             qatomic_set(pt, t->next);
 391             break;
 392         }
 393         pt = &t->next;
 394     }
 395 }
 396
 397 static bool timer_mod_ns_locked(QEMUTimerList *timer_list,
 398                                 QEMUTimer *ts, int64_t expire_time)
 399 {
 400     QEMUTimer **pt, *t;
 401
 402     /* add the timer in the sorted list */
 403     pt = &timer_list->active_timers;
 404     for (;;) {
 405         t = *pt;
 406         if (!timer_expired_ns(t, expire_time)) {
 407             break;
 408         }
 409         pt = &t->next;
 410     }
 411     ts->expire_time = MAX(expire_time, 0);
 412     ts->next = *pt;
 413     qatomic_set(pt, ts);
 414
 415     return pt == &timer_list->active_timers;
 416 }
 417
 418 static void timerlist_rearm(QEMUTimerList *timer_list)
 419 {
 420     /* Interrupt execution to force deadline recalculation.  */
 421     if (icount_enabled() && timer_list->clock->type == QEMU_CLOCK_VIRTUAL) {
 422         icount_start_warp_timer();
 423     }
 424     timerlist_notify(timer_list);
 425 }
 426
 427 /* stop a timer, but do not dealloc it */
 428 void timer_del(QEMUTimer *ts)
 429 {
 430     QEMUTimerList *timer_list = ts->timer_list;
 431
 432     if (timer_list) {
 433         qemu_mutex_lock(&timer_list->active_timers_lock);
 434         timer_del_locked(timer_list, ts);
 435         qemu_mutex_unlock(&timer_list->active_timers_lock);
 436     }
 437 }
 438
 439 /* modify the current timer so that it will be fired when current_time
 440    >= expire_time. The corresponding callback will be called. */
 441 void timer_mod_ns(QEMUTimer *ts, int64_t expire_time)
 442 {
 443     QEMUTimerList *timer_list = ts->timer_list;
 444     bool rearm;
 445
 446     qemu_mutex_lock(&timer_list->active_timers_lock);
 447     timer_del_locked(timer_list, ts);
 448     rearm = timer_mod_ns_locked(timer_list, ts, expire_time);
 449     qemu_mutex_unlock(&timer_list->active_timers_lock);
 450
 451     if (rearm) {
 452         timerlist_rearm(timer_list);
 453     }
 454 }
 455
 456 /* modify the current timer so that it will be fired when current_time
 457    >= expire_time or the current deadline, whichever comes earlier.
 458    The corresponding callback will be called. */
 459 void timer_mod_anticipate_ns(QEMUTimer *ts, int64_t expire_time)
 460 {
 461     QEMUTimerList *timer_list = ts->timer_list;
 462     bool rearm;
 463
 464     WITH_QEMU_LOCK_GUARD(&timer_list->active_timers_lock) {
 465         if (ts->expire_time == -1 || ts->expire_time > expire_time) {
 466             if (ts->expire_time != -1) {
 467                 timer_del_locked(timer_list, ts);
 468             }
 469             rearm = timer_mod_ns_locked(timer_list, ts, expire_time);
 470         } else {
 471             rearm = false;
 472         }
 473     }
 474     if (rearm) {
 475         timerlist_rearm(timer_list);
 476     }
 477 }
 478
 479 void timer_mod(QEMUTimer *ts, int64_t expire_time)
 480 {
 481     timer_mod_ns(ts, expire_time * ts->scale);
 482 }
 483
 484 void timer_mod_anticipate(QEMUTimer *ts, int64_t expire_time)
 485 {
 486     timer_mod_anticipate_ns(ts, expire_time * ts->scale);
 487 }
 488
 489 bool timer_pending(QEMUTimer *ts)
 490 {
 491     return ts->expire_time >= 0;
 492 }
 493
 494 bool timer_expired(QEMUTimer *timer_head, int64_t current_time)
 495 {
 496     return timer_expired_ns(timer_head, current_time * timer_head->scale);
 497 }
 498
 499 bool timerlist_run_timers(QEMUTimerList *timer_list)
 500 {
 501     QEMUTimer *ts;
 502     int64_t current_time;
 503     bool progress = false;
 504     QEMUTimerCB *cb;
 505     void *opaque;
 506
 507     if (!qatomic_read(&timer_list->active_timers)) {
 508         return false;
 509     }
 510
 511     qemu_event_reset(&timer_list->timers_done_ev);
 512     if (!timer_list->clock->enabled) {
 513         goto out;
 514     }
 515
 516     switch (timer_list->clock->type) {
 517     case QEMU_CLOCK_REALTIME:
 518         break;
 519     default:
 520     case QEMU_CLOCK_VIRTUAL:
 521         break;
 522     case QEMU_CLOCK_HOST:
 523         if (!replay_checkpoint(CHECKPOINT_CLOCK_HOST)) {
 524             goto out;
 525         }
 526         break;
 527     case QEMU_CLOCK_VIRTUAL_RT:
 528         if (!replay_checkpoint(CHECKPOINT_CLOCK_VIRTUAL_RT)) {
 529             goto out;
 530         }
 531         break;
 532     }
 533
 534     /*
 535      * Extract expired timers from active timers list and process them.
 536      *
 537      * In rr mode we need "filtered" checkpointing for virtual clock.  The
 538      * checkpoint must be recorded/replayed before processing any non-EXTERNAL timer,
 539      * and that must only be done once since the clock value stays the same. Because
 540      * non-EXTERNAL timers may appear in the timers list while it being processed,
 541      * the checkpoint can be issued at a time until no timers are left and we are
 542      * done".
 543      */
 544     current_time = qemu_clock_get_ns(timer_list->clock->type);
 545     qemu_mutex_lock(&timer_list->active_timers_lock);
 546     while ((ts = timer_list->active_timers)) {
 547         if (!timer_expired_ns(ts, current_time)) {
 548             /* No expired timers left.  The checkpoint can be skipped
 549              * if no timers fired or they were all external.
 550              */
 551             break;
 552         }
 553         /* Checkpoint for virtual clock is redundant in cases where
 554          * it's being triggered with only non-EXTERNAL timers, because
 555          * these timers don't change guest state directly.
 556          */
 557         if (replay_mode != REPLAY_MODE_NONE
 558             && timer_list->clock->type == QEMU_CLOCK_VIRTUAL
 559             && !(ts->attributes & QEMU_TIMER_ATTR_EXTERNAL)
 560             && !replay_checkpoint(CHECKPOINT_CLOCK_VIRTUAL)) {
 561             qemu_mutex_unlock(&timer_list->active_timers_lock);
 562             goto out;
 563         }
 564
 565         /* remove timer from the list before calling the callback */
 566         timer_list->active_timers = ts->next;
 567         ts->next = NULL;
 568         ts->expire_time = -1;
 569         cb = ts->cb;
 570         opaque = ts->opaque;
 571
 572         /* run the callback (the timer list can be modified) */
 573         qemu_mutex_unlock(&timer_list->active_timers_lock);
 574         cb(opaque);
 575         qemu_mutex_lock(&timer_list->active_timers_lock);
 576
 577         progress = true;
 578     }
 579     qemu_mutex_unlock(&timer_list->active_timers_lock);
 580
 581 out:
 582     qemu_event_set(&timer_list->timers_done_ev);
 583     return progress;
 584 }
 585
 586 bool qemu_clock_run_timers(QEMUClockType type)
 587 {
 588     return timerlist_run_timers(main_loop_tlg.tl[type]);
 589 }
 590
 591 void timerlistgroup_init(QEMUTimerListGroup *tlg,
 592                          QEMUTimerListNotifyCB *cb, void *opaque)
 593 {
 594     QEMUClockType type;
 595     for (type = 0; type < QEMU_CLOCK_MAX; type++) {
 596         tlg->tl[type] = timerlist_new(type, cb, opaque);
 597     }
 598 }
 599
 600 void timerlistgroup_deinit(QEMUTimerListGroup *tlg)
 601 {
 602     QEMUClockType type;
 603     for (type = 0; type < QEMU_CLOCK_MAX; type++) {
 604         timerlist_free(tlg->tl[type]);
 605     }
 606 }
 607
 608 bool timerlistgroup_run_timers(QEMUTimerListGroup *tlg)
 609 {
 610     QEMUClockType type;
 611     bool progress = false;
 612     for (type = 0; type < QEMU_CLOCK_MAX; type++) {
 613         progress |= timerlist_run_timers(tlg->tl[type]);
 614     }
 615     return progress;
 616 }
 617
 618 int64_t timerlistgroup_deadline_ns(QEMUTimerListGroup *tlg)
 619 {
 620     int64_t deadline = -1;
 621     QEMUClockType type;
 622     for (type = 0; type < QEMU_CLOCK_MAX; type++) {
 623         if (qemu_clock_use_for_deadline(type)) {
 624             deadline = qemu_soonest_timeout(deadline,
 625                                             timerlist_deadline_ns(tlg->tl[type]));
 626         }
 627     }
 628     return deadline;
 629 }
 630
 631 int64_t qemu_clock_get_ns(QEMUClockType type)
 632 {
 633     switch (type) {
 634     case QEMU_CLOCK_REALTIME:
 635         return get_clock();
 636     default:
 637     case QEMU_CLOCK_VIRTUAL:
 638         return cpus_get_virtual_clock();
 639     case QEMU_CLOCK_HOST:
 640         return REPLAY_CLOCK(REPLAY_CLOCK_HOST, get_clock_realtime());
 641     case QEMU_CLOCK_VIRTUAL_RT:
 642         return REPLAY_CLOCK(REPLAY_CLOCK_VIRTUAL_RT, cpu_get_clock());
 643     }
 644 }
 645
 646 void init_clocks(QEMUTimerListNotifyCB *notify_cb)
 647 {
 648     QEMUClockType type;
 649     for (type = 0; type < QEMU_CLOCK_MAX; type++) {
 650         qemu_clock_init(type, notify_cb);
 651     }
 652
 653 #ifdef CONFIG_PRCTL_PR_SET_TIMERSLACK
 654     prctl(PR_SET_TIMERSLACK, 1, 0, 0, 0);
 655 #endif
 656 }
 657
 658 uint64_t timer_expire_time_ns(QEMUTimer *ts)
 659 {
 660     return timer_pending(ts) ? ts->expire_time : -1;
 661 }
 662
 663 bool qemu_clock_run_all_timers(void)
 664 {
 665     bool progress = false;
 666     QEMUClockType type;
 667
 668     for (type = 0; type < QEMU_CLOCK_MAX; type++) {
 669         if (qemu_clock_use_for_deadline(type)) {
 670             progress |= qemu_clock_run_timers(type);
 671         }
 672     }
 673
 674     return progress;
 675 }