block.c

   1 /*
   2  * QEMU System Emulator block driver
   3  *
   4  * Copyright (c) 2003 Fabrice Bellard
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a copy
   7  * of this software and associated documentation files (the "Software"), to deal
   8  * in the Software without restriction, including without limitation the rights
   9  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
  10  * copies of the Software, and to permit persons to whom the Software is
  11  * furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in
  14  * all copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
  19  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  22  * THE SOFTWARE.
  23  */
  24 #include "config-host.h"
  25 #include "qemu-common.h"
  26 #include "trace.h"
  27 #include "monitor/monitor.h"
  28 #include "block/block_int.h"
  29 #include "block/blockjob.h"
  30 #include "qemu/module.h"
  31 #include "qapi/qmp/qjson.h"
  32 #include "sysemu/sysemu.h"
  33 #include "qemu/notify.h"
  34 #include "block/coroutine.h"
  35 #include "block/qapi.h"
  36 #include "qmp-commands.h"
  37 #include "qemu/timer.h"
  38
  39 #ifdef CONFIG_BSD
  40 #include <sys/types.h>
  41 #include <sys/stat.h>
  42 #include <sys/ioctl.h>
  43 #include <sys/queue.h>
  44 #ifndef __DragonFly__
  45 #include <sys/disk.h>
  46 #endif
  47 #endif
  48
  49 #ifdef _WIN32
  50 #include <windows.h>
  51 #endif
  52
  53 struct BdrvDirtyBitmap {
  54     HBitmap *bitmap;
  55     QLIST_ENTRY(BdrvDirtyBitmap) list;
  56 };
  57
  58 #define NOT_DONE 0x7fffffff /* used while emulated sync operation in progress */
  59
  60 static void bdrv_dev_change_media_cb(BlockDriverState *bs, bool load);
  61 static BlockDriverAIOCB *bdrv_aio_readv_em(BlockDriverState *bs,
  62         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
  63         BlockDriverCompletionFunc *cb, void *opaque);
  64 static BlockDriverAIOCB *bdrv_aio_writev_em(BlockDriverState *bs,
  65         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
  66         BlockDriverCompletionFunc *cb, void *opaque);
  67 static int coroutine_fn bdrv_co_readv_em(BlockDriverState *bs,
  68                                          int64_t sector_num, int nb_sectors,
  69                                          QEMUIOVector *iov);
  70 static int coroutine_fn bdrv_co_writev_em(BlockDriverState *bs,
  71                                          int64_t sector_num, int nb_sectors,
  72                                          QEMUIOVector *iov);
  73 static int coroutine_fn bdrv_co_do_readv(BlockDriverState *bs,
  74     int64_t sector_num, int nb_sectors, QEMUIOVector *qiov,
  75     BdrvRequestFlags flags);
  76 static int coroutine_fn bdrv_co_do_writev(BlockDriverState *bs,
  77     int64_t sector_num, int nb_sectors, QEMUIOVector *qiov,
  78     BdrvRequestFlags flags);
  79 static BlockDriverAIOCB *bdrv_co_aio_rw_vector(BlockDriverState *bs,
  80                                                int64_t sector_num,
  81                                                QEMUIOVector *qiov,
  82                                                int nb_sectors,
  83                                                BdrvRequestFlags flags,
  84                                                BlockDriverCompletionFunc *cb,
  85                                                void *opaque,
  86                                                bool is_write);
  87 static void coroutine_fn bdrv_co_do_rw(void *opaque);
  88 static int coroutine_fn bdrv_co_do_write_zeroes(BlockDriverState *bs,
  89     int64_t sector_num, int nb_sectors, BdrvRequestFlags flags);
  90
  91 static QTAILQ_HEAD(, BlockDriverState) bdrv_states =
  92     QTAILQ_HEAD_INITIALIZER(bdrv_states);
  93
  94 static QTAILQ_HEAD(, BlockDriverState) graph_bdrv_states =
  95     QTAILQ_HEAD_INITIALIZER(graph_bdrv_states);
  96
  97 static QLIST_HEAD(, BlockDriver) bdrv_drivers =
  98     QLIST_HEAD_INITIALIZER(bdrv_drivers);
  99
 100 /* If non-zero, use only whitelisted block drivers */
 101 static int use_bdrv_whitelist;
 102
 103 #ifdef _WIN32
 104 static int is_windows_drive_prefix(const char *filename)
 105 {
 106     return (((filename[0] >= 'a' && filename[0] <= 'z') ||
 107              (filename[0] >= 'A' && filename[0] <= 'Z')) &&
 108             filename[1] == ':');
 109 }
 110
 111 int is_windows_drive(const char *filename)
 112 {
 113     if (is_windows_drive_prefix(filename) &&
 114         filename[2] == '\0')
 115         return 1;
 116     if (strstart(filename, "\\\\.\\", NULL) ||
 117         strstart(filename, "//./", NULL))
 118         return 1;
 119     return 0;
 120 }
 121 #endif
 122
 123 /* throttling disk I/O limits */
 124 void bdrv_set_io_limits(BlockDriverState *bs,
 125                         ThrottleConfig *cfg)
 126 {
 127     int i;
 128
 129     throttle_config(&bs->throttle_state, cfg);
 130
 131     for (i = 0; i < 2; i++) {
 132         qemu_co_enter_next(&bs->throttled_reqs[i]);
 133     }
 134 }
 135
 136 /* this function drain all the throttled IOs */
 137 static bool bdrv_start_throttled_reqs(BlockDriverState *bs)
 138 {
 139     bool drained = false;
 140     bool enabled = bs->io_limits_enabled;
 141     int i;
 142
 143     bs->io_limits_enabled = false;
 144
 145     for (i = 0; i < 2; i++) {
 146         while (qemu_co_enter_next(&bs->throttled_reqs[i])) {
 147             drained = true;
 148         }
 149     }
 150
 151     bs->io_limits_enabled = enabled;
 152
 153     return drained;
 154 }
 155
 156 void bdrv_io_limits_disable(BlockDriverState *bs)
 157 {
 158     bs->io_limits_enabled = false;
 159
 160     bdrv_start_throttled_reqs(bs);
 161
 162     throttle_destroy(&bs->throttle_state);
 163 }
 164
 165 static void bdrv_throttle_read_timer_cb(void *opaque)
 166 {
 167     BlockDriverState *bs = opaque;
 168     qemu_co_enter_next(&bs->throttled_reqs[0]);
 169 }
 170
 171 static void bdrv_throttle_write_timer_cb(void *opaque)
 172 {
 173     BlockDriverState *bs = opaque;
 174     qemu_co_enter_next(&bs->throttled_reqs[1]);
 175 }
 176
 177 /* should be called before bdrv_set_io_limits if a limit is set */
 178 void bdrv_io_limits_enable(BlockDriverState *bs)
 179 {
 180     assert(!bs->io_limits_enabled);
 181     throttle_init(&bs->throttle_state,
 182                   QEMU_CLOCK_VIRTUAL,
 183                   bdrv_throttle_read_timer_cb,
 184                   bdrv_throttle_write_timer_cb,
 185                   bs);
 186     bs->io_limits_enabled = true;
 187 }
 188
 189 /* This function makes an IO wait if needed
 190  *
 191  * @nb_sectors: the number of sectors of the IO
 192  * @is_write:   is the IO a write
 193  */
 194 static void bdrv_io_limits_intercept(BlockDriverState *bs,
 195                                      int nb_sectors,
 196                                      bool is_write)
 197 {
 198     /* does this io must wait */
 199     bool must_wait = throttle_schedule_timer(&bs->throttle_state, is_write);
 200
 201     /* if must wait or any request of this type throttled queue the IO */
 202     if (must_wait ||
 203         !qemu_co_queue_empty(&bs->throttled_reqs[is_write])) {
 204         qemu_co_queue_wait(&bs->throttled_reqs[is_write]);
 205     }
 206
 207     /* the IO will be executed, do the accounting */
 208     throttle_account(&bs->throttle_state,
 209                      is_write,
 210                      nb_sectors * BDRV_SECTOR_SIZE);
 211
 212     /* if the next request must wait -> do nothing */
 213     if (throttle_schedule_timer(&bs->throttle_state, is_write)) {
 214         return;
 215     }
 216
 217     /* else queue next request for execution */
 218     qemu_co_queue_next(&bs->throttled_reqs[is_write]);
 219 }
 220
 221 size_t bdrv_opt_mem_align(BlockDriverState *bs)
 222 {
 223     if (!bs || !bs->drv) {
 224         /* 4k should be on the safe side */
 225         return 4096;
 226     }
 227
 228     return bs->bl.opt_mem_alignment;
 229 }
 230
 231 /* check if the path starts with "<protocol>:" */
 232 static int path_has_protocol(const char *path)
 233 {
 234     const char *p;
 235
 236 #ifdef _WIN32
 237     if (is_windows_drive(path) ||
 238         is_windows_drive_prefix(path)) {
 239         return 0;
 240     }
 241     p = path + strcspn(path, ":/\\");
 242 #else
 243     p = path + strcspn(path, ":/");
 244 #endif
 245
 246     return *p == ':';
 247 }
 248
 249 int path_is_absolute(const char *path)
 250 {
 251 #ifdef _WIN32
 252     /* specific case for names like: "\\.\d:" */
 253     if (is_windows_drive(path) || is_windows_drive_prefix(path)) {
 254         return 1;
 255     }
 256     return (*path == '/' || *path == '\\');
 257 #else
 258     return (*path == '/');
 259 #endif
 260 }
 261
 262 /* if filename is absolute, just copy it to dest. Otherwise, build a
 263    path to it by considering it is relative to base_path. URL are
 264    supported. */
 265 void path_combine(char *dest, int dest_size,
 266                   const char *base_path,
 267                   const char *filename)
 268 {
 269     const char *p, *p1;
 270     int len;
 271
 272     if (dest_size <= 0)
 273         return;
 274     if (path_is_absolute(filename)) {
 275         pstrcpy(dest, dest_size, filename);
 276     } else {
 277         p = strchr(base_path, ':');
 278         if (p)
 279             p++;
 280         else
 281             p = base_path;
 282         p1 = strrchr(base_path, '/');
 283 #ifdef _WIN32
 284         {
 285             const char *p2;
 286             p2 = strrchr(base_path, '\\');
 287             if (!p1 || p2 > p1)
 288                 p1 = p2;
 289         }
 290 #endif
 291         if (p1)
 292             p1++;
 293         else
 294             p1 = base_path;
 295         if (p1 > p)
 296             p = p1;
 297         len = p - base_path;
 298         if (len > dest_size - 1)
 299             len = dest_size - 1;
 300         memcpy(dest, base_path, len);
 301         dest[len] = '\0';
 302         pstrcat(dest, dest_size, filename);
 303     }
 304 }
 305
 306 void bdrv_get_full_backing_filename(BlockDriverState *bs, char *dest, size_t sz)
 307 {
 308     if (bs->backing_file[0] == '\0' || path_has_protocol(bs->backing_file)) {
 309         pstrcpy(dest, sz, bs->backing_file);
 310     } else {
 311         path_combine(dest, sz, bs->filename, bs->backing_file);
 312     }
 313 }
 314
 315 void bdrv_register(BlockDriver *bdrv)
 316 {
 317     /* Block drivers without coroutine functions need emulation */
 318     if (!bdrv->bdrv_co_readv) {
 319         bdrv->bdrv_co_readv = bdrv_co_readv_em;
 320         bdrv->bdrv_co_writev = bdrv_co_writev_em;
 321
 322         /* bdrv_co_readv_em()/brdv_co_writev_em() work in terms of aio, so if
 323          * the block driver lacks aio we need to emulate that too.
 324          */
 325         if (!bdrv->bdrv_aio_readv) {
 326             /* add AIO emulation layer */
 327             bdrv->bdrv_aio_readv = bdrv_aio_readv_em;
 328             bdrv->bdrv_aio_writev = bdrv_aio_writev_em;
 329         }
 330     }
 331
 332     QLIST_INSERT_HEAD(&bdrv_drivers, bdrv, list);
 333 }
 334
 335 /* create a new block device (by default it is empty) */
 336 BlockDriverState *bdrv_new(const char *device_name)
 337 {
 338     BlockDriverState *bs;
 339
 340     bs = g_malloc0(sizeof(BlockDriverState));
 341     QLIST_INIT(&bs->dirty_bitmaps);
 342     pstrcpy(bs->device_name, sizeof(bs->device_name), device_name);
 343     if (device_name[0] != '\0') {
 344         QTAILQ_INSERT_TAIL(&bdrv_states, bs, device_list);
 345     }
 346     bdrv_iostatus_disable(bs);
 347     notifier_list_init(&bs->close_notifiers);
 348     notifier_with_return_list_init(&bs->before_write_notifiers);
 349     qemu_co_queue_init(&bs->throttled_reqs[0]);
 350     qemu_co_queue_init(&bs->throttled_reqs[1]);
 351     bs->refcnt = 1;
 352
 353     return bs;
 354 }
 355
 356 void bdrv_add_close_notifier(BlockDriverState *bs, Notifier *notify)
 357 {
 358     notifier_list_add(&bs->close_notifiers, notify);
 359 }
 360
 361 BlockDriver *bdrv_find_format(const char *format_name)
 362 {
 363     BlockDriver *drv1;
 364     QLIST_FOREACH(drv1, &bdrv_drivers, list) {
 365         if (!strcmp(drv1->format_name, format_name)) {
 366             return drv1;
 367         }
 368     }
 369     return NULL;
 370 }
 371
 372 static int bdrv_is_whitelisted(BlockDriver *drv, bool read_only)
 373 {
 374     static const char *whitelist_rw[] = {
 375         CONFIG_BDRV_RW_WHITELIST
 376     };
 377     static const char *whitelist_ro[] = {
 378         CONFIG_BDRV_RO_WHITELIST
 379     };
 380     const char **p;
 381
 382     if (!whitelist_rw[0] && !whitelist_ro[0]) {
 383         return 1;               /* no whitelist, anything goes */
 384     }
 385
 386     for (p = whitelist_rw; *p; p++) {
 387         if (!strcmp(drv->format_name, *p)) {
 388             return 1;
 389         }
 390     }
 391     if (read_only) {
 392         for (p = whitelist_ro; *p; p++) {
 393             if (!strcmp(drv->format_name, *p)) {
 394                 return 1;
 395             }
 396         }
 397     }
 398     return 0;
 399 }
 400
 401 BlockDriver *bdrv_find_whitelisted_format(const char *format_name,
 402                                           bool read_only)
 403 {
 404     BlockDriver *drv = bdrv_find_format(format_name);
 405     return drv && bdrv_is_whitelisted(drv, read_only) ? drv : NULL;
 406 }
 407
 408 typedef struct CreateCo {
 409     BlockDriver *drv;
 410     char *filename;
 411     QEMUOptionParameter *options;
 412     int ret;
 413     Error *err;
 414 } CreateCo;
 415
 416 static void coroutine_fn bdrv_create_co_entry(void *opaque)
 417 {
 418     Error *local_err = NULL;
 419     int ret;
 420
 421     CreateCo *cco = opaque;
 422     assert(cco->drv);
 423
 424     ret = cco->drv->bdrv_create(cco->filename, cco->options, &local_err);
 425     if (error_is_set(&local_err)) {
 426         error_propagate(&cco->err, local_err);
 427     }
 428     cco->ret = ret;
 429 }
 430
 431 int bdrv_create(BlockDriver *drv, const char* filename,
 432     QEMUOptionParameter *options, Error **errp)
 433 {
 434     int ret;
 435
 436     Coroutine *co;
 437     CreateCo cco = {
 438         .drv = drv,
 439         .filename = g_strdup(filename),
 440         .options = options,
 441         .ret = NOT_DONE,
 442         .err = NULL,
 443     };
 444
 445     if (!drv->bdrv_create) {
 446         error_setg(errp, "Driver '%s' does not support image creation", drv->format_name);
 447         ret = -ENOTSUP;
 448         goto out;
 449     }
 450
 451     if (qemu_in_coroutine()) {
 452         /* Fast-path if already in coroutine context */
 453         bdrv_create_co_entry(&cco);
 454     } else {
 455         co = qemu_coroutine_create(bdrv_create_co_entry);
 456         qemu_coroutine_enter(co, &cco);
 457         while (cco.ret == NOT_DONE) {
 458             qemu_aio_wait();
 459         }
 460     }
 461
 462     ret = cco.ret;
 463     if (ret < 0) {
 464         if (error_is_set(&cco.err)) {
 465             error_propagate(errp, cco.err);
 466         } else {
 467             error_setg_errno(errp, -ret, "Could not create image");
 468         }
 469     }
 470
 471 out:
 472     g_free(cco.filename);
 473     return ret;
 474 }
 475
 476 int bdrv_create_file(const char* filename, QEMUOptionParameter *options,
 477                      Error **errp)
 478 {
 479     BlockDriver *drv;
 480     Error *local_err = NULL;
 481     int ret;
 482
 483     drv = bdrv_find_protocol(filename, true);
 484     if (drv == NULL) {
 485         error_setg(errp, "Could not find protocol for file '%s'", filename);
 486         return -ENOENT;
 487     }
 488
 489     ret = bdrv_create(drv, filename, options, &local_err);
 490     if (error_is_set(&local_err)) {
 491         error_propagate(errp, local_err);
 492     }
 493     return ret;
 494 }
 495
 496 int bdrv_refresh_limits(BlockDriverState *bs)
 497 {
 498     BlockDriver *drv = bs->drv;
 499
 500     memset(&bs->bl, 0, sizeof(bs->bl));
 501
 502     if (!drv) {
 503         return 0;
 504     }
 505
 506     /* Take some limits from the children as a default */
 507     if (bs->file) {
 508         bdrv_refresh_limits(bs->file);
 509         bs->bl.opt_transfer_length = bs->file->bl.opt_transfer_length;
 510         bs->bl.opt_mem_alignment = bs->file->bl.opt_mem_alignment;
 511     } else {
 512         bs->bl.opt_mem_alignment = 512;
 513     }
 514
 515     if (bs->backing_hd) {
 516         bdrv_refresh_limits(bs->backing_hd);
 517         bs->bl.opt_transfer_length =
 518             MAX(bs->bl.opt_transfer_length,
 519                 bs->backing_hd->bl.opt_transfer_length);
 520         bs->bl.opt_mem_alignment =
 521             MAX(bs->bl.opt_mem_alignment,
 522                 bs->backing_hd->bl.opt_mem_alignment);
 523     }
 524
 525     /* Then let the driver override it */
 526     if (drv->bdrv_refresh_limits) {
 527         return drv->bdrv_refresh_limits(bs);
 528     }
 529
 530     return 0;
 531 }
 532
 533 /*
 534  * Create a uniquely-named empty temporary file.
 535  * Return 0 upon success, otherwise a negative errno value.
 536  */
 537 int get_tmp_filename(char *filename, int size)
 538 {
 539 #ifdef _WIN32
 540     char temp_dir[MAX_PATH];
 541     /* GetTempFileName requires that its output buffer (4th param)
 542        have length MAX_PATH or greater.  */
 543     assert(size >= MAX_PATH);
 544     return (GetTempPath(MAX_PATH, temp_dir)
 545             && GetTempFileName(temp_dir, "qem", 0, filename)
 546             ? 0 : -GetLastError());
 547 #else
 548     int fd;
 549     const char *tmpdir;
 550     tmpdir = getenv("TMPDIR");
 551     if (!tmpdir)
 552         tmpdir = "/tmp";
 553     if (snprintf(filename, size, "%s/vl.XXXXXX", tmpdir) >= size) {
 554         return -EOVERFLOW;
 555     }
 556     fd = mkstemp(filename);
 557     if (fd < 0) {
 558         return -errno;
 559     }
 560     if (close(fd) != 0) {
 561         unlink(filename);
 562         return -errno;
 563     }
 564     return 0;
 565 #endif
 566 }
 567
 568 /*
 569  * Detect host devices. By convention, /dev/cdrom[N] is always
 570  * recognized as a host CDROM.
 571  */
 572 static BlockDriver *find_hdev_driver(const char *filename)
 573 {
 574     int score_max = 0, score;
 575     BlockDriver *drv = NULL, *d;
 576
 577     QLIST_FOREACH(d, &bdrv_drivers, list) {
 578         if (d->bdrv_probe_device) {
 579             score = d->bdrv_probe_device(filename);
 580             if (score > score_max) {
 581                 score_max = score;
 582                 drv = d;
 583             }
 584         }
 585     }
 586
 587     return drv;
 588 }
 589
 590 BlockDriver *bdrv_find_protocol(const char *filename,
 591                                 bool allow_protocol_prefix)
 592 {
 593     BlockDriver *drv1;
 594     char protocol[128];
 595     int len;
 596     const char *p;
 597
 598     /* TODO Drivers without bdrv_file_open must be specified explicitly */
 599
 600     /*
 601      * XXX(hch): we really should not let host device detection
 602      * override an explicit protocol specification, but moving this
 603      * later breaks access to device names with colons in them.
 604      * Thanks to the brain-dead persistent naming schemes on udev-
 605      * based Linux systems those actually are quite common.
 606      */
 607     drv1 = find_hdev_driver(filename);
 608     if (drv1) {
 609         return drv1;
 610     }
 611
 612     if (!path_has_protocol(filename) || !allow_protocol_prefix) {
 613         return bdrv_find_format("file");
 614     }
 615
 616     p = strchr(filename, ':');
 617     assert(p != NULL);
 618     len = p - filename;
 619     if (len > sizeof(protocol) - 1)
 620         len = sizeof(protocol) - 1;
 621     memcpy(protocol, filename, len);
 622     protocol[len] = '\0';
 623     QLIST_FOREACH(drv1, &bdrv_drivers, list) {
 624         if (drv1->protocol_name &&
 625             !strcmp(drv1->protocol_name, protocol)) {
 626             return drv1;
 627         }
 628     }
 629     return NULL;
 630 }
 631
 632 static int find_image_format(BlockDriverState *bs, const char *filename,
 633                              BlockDriver **pdrv, Error **errp)
 634 {
 635     int score, score_max;
 636     BlockDriver *drv1, *drv;
 637     uint8_t buf[2048];
 638     int ret = 0;
 639
 640     /* Return the raw BlockDriver * to scsi-generic devices or empty drives */
 641     if (bs->sg || !bdrv_is_inserted(bs) || bdrv_getlength(bs) == 0) {
 642         drv = bdrv_find_format("raw");
 643         if (!drv) {
 644             error_setg(errp, "Could not find raw image format");
 645             ret = -ENOENT;
 646         }
 647         *pdrv = drv;
 648         return ret;
 649     }
 650
 651     ret = bdrv_pread(bs, 0, buf, sizeof(buf));
 652     if (ret < 0) {
 653         error_setg_errno(errp, -ret, "Could not read image for determining its "
 654                          "format");
 655         *pdrv = NULL;
 656         return ret;
 657     }
 658
 659     score_max = 0;
 660     drv = NULL;
 661     QLIST_FOREACH(drv1, &bdrv_drivers, list) {
 662         if (drv1->bdrv_probe) {
 663             score = drv1->bdrv_probe(buf, ret, filename);
 664             if (score > score_max) {
 665                 score_max = score;
 666                 drv = drv1;
 667             }
 668         }
 669     }
 670     if (!drv) {
 671         error_setg(errp, "Could not determine image format: No compatible "
 672                    "driver found");
 673         ret = -ENOENT;
 674     }
 675     *pdrv = drv;
 676     return ret;
 677 }
 678
 679 /**
 680  * Set the current 'total_sectors' value
 681  */
 682 static int refresh_total_sectors(BlockDriverState *bs, int64_t hint)
 683 {
 684     BlockDriver *drv = bs->drv;
 685
 686     /* Do not attempt drv->bdrv_getlength() on scsi-generic devices */
 687     if (bs->sg)
 688         return 0;
 689
 690     /* query actual device if possible, otherwise just trust the hint */
 691     if (drv->bdrv_getlength) {
 692         int64_t length = drv->bdrv_getlength(bs);
 693         if (length < 0) {
 694             return length;
 695         }
 696         hint = DIV_ROUND_UP(length, BDRV_SECTOR_SIZE);
 697     }
 698
 699     bs->total_sectors = hint;
 700     return 0;
 701 }
 702
 703 /**
 704  * Set open flags for a given discard mode
 705  *
 706  * Return 0 on success, -1 if the discard mode was invalid.
 707  */
 708 int bdrv_parse_discard_flags(const char *mode, int *flags)
 709 {
 710     *flags &= ~BDRV_O_UNMAP;
 711
 712     if (!strcmp(mode, "off") || !strcmp(mode, "ignore")) {
 713         /* do nothing */
 714     } else if (!strcmp(mode, "on") || !strcmp(mode, "unmap")) {
 715         *flags |= BDRV_O_UNMAP;
 716     } else {
 717         return -1;
 718     }
 719
 720     return 0;
 721 }
 722
 723 /**
 724  * Set open flags for a given cache mode
 725  *
 726  * Return 0 on success, -1 if the cache mode was invalid.
 727  */
 728 int bdrv_parse_cache_flags(const char *mode, int *flags)
 729 {
 730     *flags &= ~BDRV_O_CACHE_MASK;
 731
 732     if (!strcmp(mode, "off") || !strcmp(mode, "none")) {
 733         *flags |= BDRV_O_NOCACHE | BDRV_O_CACHE_WB;
 734     } else if (!strcmp(mode, "directsync")) {
 735         *flags |= BDRV_O_NOCACHE;
 736     } else if (!strcmp(mode, "writeback")) {
 737         *flags |= BDRV_O_CACHE_WB;
 738     } else if (!strcmp(mode, "unsafe")) {
 739         *flags |= BDRV_O_CACHE_WB;
 740         *flags |= BDRV_O_NO_FLUSH;
 741     } else if (!strcmp(mode, "writethrough")) {
 742         /* this is the default */
 743     } else {
 744         return -1;
 745     }
 746
 747     return 0;
 748 }
 749
 750 /**
 751  * The copy-on-read flag is actually a reference count so multiple users may
 752  * use the feature without worrying about clobbering its previous state.
 753  * Copy-on-read stays enabled until all users have called to disable it.
 754  */
 755 void bdrv_enable_copy_on_read(BlockDriverState *bs)
 756 {
 757     bs->copy_on_read++;
 758 }
 759
 760 void bdrv_disable_copy_on_read(BlockDriverState *bs)
 761 {
 762     assert(bs->copy_on_read > 0);
 763     bs->copy_on_read--;
 764 }
 765
 766 static int bdrv_open_flags(BlockDriverState *bs, int flags)
 767 {
 768     int open_flags = flags | BDRV_O_CACHE_WB;
 769
 770     /*
 771      * Clear flags that are internal to the block layer before opening the
 772      * image.
 773      */
 774     open_flags &= ~(BDRV_O_SNAPSHOT | BDRV_O_NO_BACKING);
 775
 776     /*
 777      * Snapshots should be writable.
 778      */
 779     if (bs->is_temporary) {
 780         open_flags |= BDRV_O_RDWR;
 781     }
 782
 783     return open_flags;
 784 }
 785
 786 static int bdrv_assign_node_name(BlockDriverState *bs,
 787                                  const char *node_name,
 788                                  Error **errp)
 789 {
 790     if (!node_name) {
 791         return 0;
 792     }
 793
 794     /* empty string node name is invalid */
 795     if (node_name[0] == '\0') {
 796         error_setg(errp, "Empty node name");
 797         return -EINVAL;
 798     }
 799
 800     /* takes care of avoiding duplicates node names */
 801     if (bdrv_find_node(node_name)) {
 802         error_setg(errp, "Duplicate node name");
 803         return -EINVAL;
 804     }
 805
 806     /* copy node name into the bs and insert it into the graph list */
 807     pstrcpy(bs->node_name, sizeof(bs->node_name), node_name);
 808     QTAILQ_INSERT_TAIL(&graph_bdrv_states, bs, node_list);
 809
 810     return 0;
 811 }
 812
 813 /*
 814  * Common part for opening disk images and files
 815  *
 816  * Removes all processed options from *options.
 817  */
 818 static int bdrv_open_common(BlockDriverState *bs, BlockDriverState *file,
 819     QDict *options, int flags, BlockDriver *drv, Error **errp)
 820 {
 821     int ret, open_flags;
 822     const char *filename;
 823     const char *node_name = NULL;
 824     Error *local_err = NULL;
 825
 826     assert(drv != NULL);
 827     assert(bs->file == NULL);
 828     assert(options != NULL && bs->options != options);
 829
 830     if (file != NULL) {
 831         filename = file->filename;
 832     } else {
 833         filename = qdict_get_try_str(options, "filename");
 834     }
 835
 836     trace_bdrv_open_common(bs, filename ?: "", flags, drv->format_name);
 837
 838     node_name = qdict_get_try_str(options, "node-name");
 839     ret = bdrv_assign_node_name(bs, node_name, errp);
 840     if (ret < 0) {
 841         return ret;
 842     }
 843     qdict_del(options, "node-name");
 844
 845     /* bdrv_open() with directly using a protocol as drv. This layer is already
 846      * opened, so assign it to bs (while file becomes a closed BlockDriverState)
 847      * and return immediately. */
 848     if (file != NULL && drv->bdrv_file_open) {
 849         bdrv_swap(file, bs);
 850         return 0;
 851     }
 852
 853     bs->open_flags = flags;
 854     bs->guest_block_size = 512;
 855     bs->zero_beyond_eof = true;
 856     open_flags = bdrv_open_flags(bs, flags);
 857     bs->read_only = !(open_flags & BDRV_O_RDWR);
 858
 859     if (use_bdrv_whitelist && !bdrv_is_whitelisted(drv, bs->read_only)) {
 860         error_setg(errp,
 861                    !bs->read_only && bdrv_is_whitelisted(drv, true)
 862                         ? "Driver '%s' can only be used for read-only devices"
 863                         : "Driver '%s' is not whitelisted",
 864                    drv->format_name);
 865         return -ENOTSUP;
 866     }
 867
 868     assert(bs->copy_on_read == 0); /* bdrv_new() and bdrv_close() make it so */
 869     if (flags & BDRV_O_COPY_ON_READ) {
 870         if (!bs->read_only) {
 871             bdrv_enable_copy_on_read(bs);
 872         } else {
 873             error_setg(errp, "Can't use copy-on-read on read-only device");
 874             return -EINVAL;
 875         }
 876     }
 877
 878     if (filename != NULL) {
 879         pstrcpy(bs->filename, sizeof(bs->filename), filename);
 880     } else {
 881         bs->filename[0] = '\0';
 882     }
 883
 884     bs->drv = drv;
 885     bs->opaque = g_malloc0(drv->instance_size);
 886
 887     bs->enable_write_cache = !!(flags & BDRV_O_CACHE_WB);
 888
 889     /* Open the image, either directly or using a protocol */
 890     if (drv->bdrv_file_open) {
 891         assert(file == NULL);
 892         assert(!drv->bdrv_needs_filename || filename != NULL);
 893         ret = drv->bdrv_file_open(bs, options, open_flags, &local_err);
 894     } else {
 895         if (file == NULL) {
 896             error_setg(errp, "Can't use '%s' as a block driver for the "
 897                        "protocol level", drv->format_name);
 898             ret = -EINVAL;
 899             goto free_and_fail;
 900         }
 901         bs->file = file;
 902         ret = drv->bdrv_open(bs, options, open_flags, &local_err);
 903     }
 904
 905     if (ret < 0) {
 906         if (error_is_set(&local_err)) {
 907             error_propagate(errp, local_err);
 908         } else if (bs->filename[0]) {
 909             error_setg_errno(errp, -ret, "Could not open '%s'", bs->filename);
 910         } else {
 911             error_setg_errno(errp, -ret, "Could not open image");
 912         }
 913         goto free_and_fail;
 914     }
 915
 916     ret = refresh_total_sectors(bs, bs->total_sectors);
 917     if (ret < 0) {
 918         error_setg_errno(errp, -ret, "Could not refresh total sector count");
 919         goto free_and_fail;
 920     }
 921
 922     bdrv_refresh_limits(bs);
 923
 924 #ifndef _WIN32
 925     if (bs->is_temporary) {
 926         assert(bs->filename[0] != '\0');
 927         unlink(bs->filename);
 928     }
 929 #endif
 930     return 0;
 931
 932 free_and_fail:
 933     bs->file = NULL;
 934     g_free(bs->opaque);
 935     bs->opaque = NULL;
 936     bs->drv = NULL;
 937     return ret;
 938 }
 939
 940 /*
 941  * Opens a file using a protocol (file, host_device, nbd, ...)
 942  *
 943  * options is a QDict of options to pass to the block drivers, or NULL for an
 944  * empty set of options. The reference to the QDict belongs to the block layer
 945  * after the call (even on failure), so if the caller intends to reuse the
 946  * dictionary, it needs to use QINCREF() before calling bdrv_file_open.
 947  */
 948 int bdrv_file_open(BlockDriverState **pbs, const char *filename,
 949                    const char *reference, QDict *options, int flags,
 950                    Error **errp)
 951 {
 952     BlockDriverState *bs = NULL;
 953     BlockDriver *drv;
 954     const char *drvname;
 955     bool allow_protocol_prefix = false;
 956     Error *local_err = NULL;
 957     int ret;
 958
 959     /* NULL means an empty set of options */
 960     if (options == NULL) {
 961         options = qdict_new();
 962     }
 963
 964     if (reference) {
 965         if (filename || qdict_size(options)) {
 966             error_setg(errp, "Cannot reference an existing block device with "
 967                        "additional options or a new filename");
 968             return -EINVAL;
 969         }
 970         QDECREF(options);
 971
 972         bs = bdrv_find(reference);
 973         if (!bs) {
 974             error_setg(errp, "Cannot find block device '%s'", reference);
 975             return -ENODEV;
 976         }
 977         bdrv_ref(bs);
 978         *pbs = bs;
 979         return 0;
 980     }
 981
 982     bs = bdrv_new("");
 983     bs->options = options;
 984     options = qdict_clone_shallow(options);
 985
 986     /* Fetch the file name from the options QDict if necessary */
 987     if (!filename) {
 988         filename = qdict_get_try_str(options, "filename");
 989     } else if (filename && !qdict_haskey(options, "filename")) {
 990         qdict_put(options, "filename", qstring_from_str(filename));
 991         allow_protocol_prefix = true;
 992     } else {
 993         error_setg(errp, "Can't specify 'file' and 'filename' options at the "
 994                    "same time");
 995         ret = -EINVAL;
 996         goto fail;
 997     }
 998
 999     /* Find the right block driver */
1000     drvname = qdict_get_try_str(options, "driver");
1001     if (drvname) {
1002         drv = bdrv_find_format(drvname);
1003         if (!drv) {
1004             error_setg(errp, "Unknown driver '%s'", drvname);
1005         }
1006         qdict_del(options, "driver");
1007     } else if (filename) {
1008         drv = bdrv_find_protocol(filename, allow_protocol_prefix);
1009         if (!drv) {
1010             error_setg(errp, "Unknown protocol");
1011         }
1012     } else {
1013         error_setg(errp, "Must specify either driver or file");
1014         drv = NULL;
1015     }
1016
1017     if (!drv) {
1018         /* errp has been set already */
1019         ret = -ENOENT;
1020         goto fail;
1021     }
1022
1023     /* Parse the filename and open it */
1024     if (drv->bdrv_parse_filename && filename) {
1025         drv->bdrv_parse_filename(filename, options, &local_err);
1026         if (error_is_set(&local_err)) {
1027             error_propagate(errp, local_err);
1028             ret = -EINVAL;
1029             goto fail;
1030         }
1031         qdict_del(options, "filename");
1032     } else if (drv->bdrv_needs_filename && !filename) {
1033         error_setg(errp, "The '%s' block driver requires a file name",
1034                    drv->format_name);
1035         ret = -EINVAL;
1036         goto fail;
1037     }
1038
1039     if (!drv->bdrv_file_open) {
1040         ret = bdrv_open(bs, filename, options, flags, drv, &local_err);
1041         options = NULL;
1042     } else {
1043         ret = bdrv_open_common(bs, NULL, options, flags, drv, &local_err);
1044     }
1045     if (ret < 0) {
1046         error_propagate(errp, local_err);
1047         goto fail;
1048     }
1049
1050     /* Check if any unknown options were used */
1051     if (options && (qdict_size(options) != 0)) {
1052         const QDictEntry *entry = qdict_first(options);
1053         error_setg(errp, "Block protocol '%s' doesn't support the option '%s'",
1054                    drv->format_name, entry->key);
1055         ret = -EINVAL;
1056         goto fail;
1057     }
1058     QDECREF(options);
1059
1060     bs->growable = 1;
1061     *pbs = bs;
1062     return 0;
1063
1064 fail:
1065     QDECREF(options);
1066     if (!bs->drv) {
1067         QDECREF(bs->options);
1068     }
1069     bdrv_unref(bs);
1070     return ret;
1071 }
1072
1073 /*
1074  * Opens the backing file for a BlockDriverState if not yet open
1075  *
1076  * options is a QDict of options to pass to the block drivers, or NULL for an
1077  * empty set of options. The reference to the QDict is transferred to this
1078  * function (even on failure), so if the caller intends to reuse the dictionary,
1079  * it needs to use QINCREF() before calling bdrv_file_open.
1080  */
1081 int bdrv_open_backing_file(BlockDriverState *bs, QDict *options, Error **errp)
1082 {
1083     char backing_filename[PATH_MAX];
1084     int back_flags, ret;
1085     BlockDriver *back_drv = NULL;
1086     Error *local_err = NULL;
1087
1088     if (bs->backing_hd != NULL) {
1089         QDECREF(options);
1090         return 0;
1091     }
1092
1093     /* NULL means an empty set of options */
1094     if (options == NULL) {
1095         options = qdict_new();
1096     }
1097
1098     bs->open_flags &= ~BDRV_O_NO_BACKING;
1099     if (qdict_haskey(options, "file.filename")) {
1100         backing_filename[0] = '\0';
1101     } else if (bs->backing_file[0] == '\0' && qdict_size(options) == 0) {
1102         QDECREF(options);
1103         return 0;
1104     } else {
1105         bdrv_get_full_backing_filename(bs, backing_filename,
1106                                        sizeof(backing_filename));
1107     }
1108
1109     bs->backing_hd = bdrv_new("");
1110
1111     if (bs->backing_format[0] != '\0') {
1112         back_drv = bdrv_find_format(bs->backing_format);
1113     }
1114
1115     /* backing files always opened read-only */
1116     back_flags = bs->open_flags & ~(BDRV_O_RDWR | BDRV_O_SNAPSHOT |
1117                                     BDRV_O_COPY_ON_READ);
1118
1119     ret = bdrv_open(bs->backing_hd,
1120                     *backing_filename ? backing_filename : NULL, options,
1121                     back_flags, back_drv, &local_err);
1122     if (ret < 0) {
1123         bdrv_unref(bs->backing_hd);
1124         bs->backing_hd = NULL;
1125         bs->open_flags |= BDRV_O_NO_BACKING;
1126         error_setg(errp, "Could not open backing file: %s",
1127                    error_get_pretty(local_err));
1128         error_free(local_err);
1129         return ret;
1130     }
1131
1132     if (bs->backing_hd->file) {
1133         pstrcpy(bs->backing_file, sizeof(bs->backing_file),
1134                 bs->backing_hd->file->filename);
1135     }
1136
1137     /* Recalculate the BlockLimits with the backing file */
1138     bdrv_refresh_limits(bs);
1139
1140     return 0;
1141 }
1142
1143 /*
1144  * Opens a disk image whose options are given as BlockdevRef in another block
1145  * device's options.
1146  *
1147  * If force_raw is true, bdrv_file_open() will be used, thereby preventing any
1148  * image format auto-detection. If it is false and a filename is given,
1149  * bdrv_open() will be used for auto-detection.
1150  *
1151  * If allow_none is true, no image will be opened if filename is false and no
1152  * BlockdevRef is given. *pbs will remain unchanged and 0 will be returned.
1153  *
1154  * bdrev_key specifies the key for the image's BlockdevRef in the options QDict.
1155  * That QDict has to be flattened; therefore, if the BlockdevRef is a QDict
1156  * itself, all options starting with "${bdref_key}." are considered part of the
1157  * BlockdevRef.
1158  *
1159  * The BlockdevRef will be removed from the options QDict.
1160  */
1161 int bdrv_open_image(BlockDriverState **pbs, const char *filename,
1162                     QDict *options, const char *bdref_key, int flags,
1163                     bool force_raw, bool allow_none, Error **errp)
1164 {
1165     QDict *image_options;
1166     int ret;
1167     char *bdref_key_dot;
1168     const char *reference;
1169
1170     bdref_key_dot = g_strdup_printf("%s.", bdref_key);
1171     qdict_extract_subqdict(options, &image_options, bdref_key_dot);
1172     g_free(bdref_key_dot);
1173
1174     reference = qdict_get_try_str(options, bdref_key);
1175     if (!filename && !reference && !qdict_size(image_options)) {
1176         if (allow_none) {
1177             ret = 0;
1178         } else {
1179             error_setg(errp, "A block device must be specified for \"%s\"",
1180                        bdref_key);
1181             ret = -EINVAL;
1182         }
1183         goto done;
1184     }
1185
1186     if (filename && !force_raw) {
1187         /* If a filename is given and the block driver should be detected
1188            automatically (instead of using none), use bdrv_open() in order to do
1189            that auto-detection. */
1190         BlockDriverState *bs;
1191
1192         if (reference) {
1193             error_setg(errp, "Cannot reference an existing block device while "
1194                        "giving a filename");
1195             ret = -EINVAL;
1196             goto done;
1197         }
1198
1199         bs = bdrv_new("");
1200         ret = bdrv_open(bs, filename, image_options, flags, NULL, errp);
1201         if (ret < 0) {
1202             bdrv_unref(bs);
1203         } else {
1204             *pbs = bs;
1205         }
1206     } else {
1207         ret = bdrv_file_open(pbs, filename, reference, image_options, flags,
1208                              errp);
1209     }
1210
1211 done:
1212     qdict_del(options, bdref_key);
1213     return ret;
1214 }
1215
1216 /*
1217  * Opens a disk image (raw, qcow2, vmdk, ...)
1218  *
1219  * options is a QDict of options to pass to the block drivers, or NULL for an
1220  * empty set of options. The reference to the QDict belongs to the block layer
1221  * after the call (even on failure), so if the caller intends to reuse the
1222  * dictionary, it needs to use QINCREF() before calling bdrv_open.
1223  */
1224 int bdrv_open(BlockDriverState *bs, const char *filename, QDict *options,
1225               int flags, BlockDriver *drv, Error **errp)
1226 {
1227     int ret;
1228     /* TODO: extra byte is a hack to ensure MAX_PATH space on Windows. */
1229     char tmp_filename[PATH_MAX + 1];
1230     BlockDriverState *file = NULL;
1231     const char *drvname;
1232     Error *local_err = NULL;
1233
1234     /* NULL means an empty set of options */
1235     if (options == NULL) {
1236         options = qdict_new();
1237     }
1238
1239     bs->options = options;
1240     options = qdict_clone_shallow(options);
1241
1242     /* For snapshot=on, create a temporary qcow2 overlay */
1243     if (flags & BDRV_O_SNAPSHOT) {
1244         BlockDriverState *bs1;
1245         int64_t total_size;
1246         BlockDriver *bdrv_qcow2;
1247         QEMUOptionParameter *create_options;
1248         QDict *snapshot_options;
1249
1250         /* if snapshot, we create a temporary backing file and open it
1251            instead of opening 'filename' directly */
1252
1253         /* Get the required size from the image */
1254         bs1 = bdrv_new("");
1255         QINCREF(options);
1256         ret = bdrv_open(bs1, filename, options, BDRV_O_NO_BACKING,
1257                         drv, &local_err);
1258         if (ret < 0) {
1259             bdrv_unref(bs1);
1260             goto fail;
1261         }
1262         total_size = bdrv_getlength(bs1) & BDRV_SECTOR_MASK;
1263
1264         bdrv_unref(bs1);
1265
1266         /* Create the temporary image */
1267         ret = get_tmp_filename(tmp_filename, sizeof(tmp_filename));
1268         if (ret < 0) {
1269             error_setg_errno(errp, -ret, "Could not get temporary filename");
1270             goto fail;
1271         }
1272
1273         bdrv_qcow2 = bdrv_find_format("qcow2");
1274         create_options = parse_option_parameters("", bdrv_qcow2->create_options,
1275                                                  NULL);
1276
1277         set_option_parameter_int(create_options, BLOCK_OPT_SIZE, total_size);
1278
1279         ret = bdrv_create(bdrv_qcow2, tmp_filename, create_options, &local_err);
1280         free_option_parameters(create_options);
1281         if (ret < 0) {
1282             error_setg_errno(errp, -ret, "Could not create temporary overlay "
1283                              "'%s': %s", tmp_filename,
1284                              error_get_pretty(local_err));
1285             error_free(local_err);
1286             local_err = NULL;
1287             goto fail;
1288         }
1289
1290         /* Prepare a new options QDict for the temporary file, where user
1291          * options refer to the backing file */
1292         if (filename) {
1293             qdict_put(options, "file.filename", qstring_from_str(filename));
1294         }
1295         if (drv) {
1296             qdict_put(options, "driver", qstring_from_str(drv->format_name));
1297         }
1298
1299         snapshot_options = qdict_new();
1300         qdict_put(snapshot_options, "backing", options);
1301         qdict_flatten(snapshot_options);
1302
1303         bs->options = snapshot_options;
1304         options = qdict_clone_shallow(bs->options);
1305
1306         filename = tmp_filename;
1307         drv = bdrv_qcow2;
1308         bs->is_temporary = 1;
1309     }
1310
1311     /* Open image file without format layer */
1312     if (flags & BDRV_O_RDWR) {
1313         flags |= BDRV_O_ALLOW_RDWR;
1314     }
1315
1316     ret = bdrv_open_image(&file, filename, options, "file",
1317                           bdrv_open_flags(bs, flags | BDRV_O_UNMAP), true, true,
1318                           &local_err);
1319     if (ret < 0) {
1320         goto fail;
1321     }
1322
1323     /* Find the right image format driver */
1324     drvname = qdict_get_try_str(options, "driver");
1325     if (drvname) {
1326         drv = bdrv_find_format(drvname);
1327         qdict_del(options, "driver");
1328         if (!drv) {
1329             error_setg(errp, "Invalid driver: '%s'", drvname);
1330             ret = -EINVAL;
1331             goto unlink_and_fail;
1332         }
1333     }
1334
1335     if (!drv) {
1336         if (file) {
1337             ret = find_image_format(file, filename, &drv, &local_err);
1338         } else {
1339             error_setg(errp, "Must specify either driver or file");
1340             ret = -EINVAL;
1341             goto unlink_and_fail;
1342         }
1343     }
1344
1345     if (!drv) {
1346         goto unlink_and_fail;
1347     }
1348
1349     /* Open the image */
1350     ret = bdrv_open_common(bs, file, options, flags, drv, &local_err);
1351     if (ret < 0) {
1352         goto unlink_and_fail;
1353     }
1354
1355     if (file && (bs->file != file)) {
1356         bdrv_unref(file);
1357         file = NULL;
1358     }
1359
1360     /* If there is a backing file, use it */
1361     if ((flags & BDRV_O_NO_BACKING) == 0) {
1362         QDict *backing_options;
1363
1364         qdict_extract_subqdict(options, &backing_options, "backing.");
1365         ret = bdrv_open_backing_file(bs, backing_options, &local_err);
1366         if (ret < 0) {
1367             goto close_and_fail;
1368         }
1369     }
1370
1371     /* Check if any unknown options were used */
1372     if (qdict_size(options) != 0) {
1373         const QDictEntry *entry = qdict_first(options);
1374         error_setg(errp, "Block format '%s' used by device '%s' doesn't "
1375                    "support the option '%s'", drv->format_name, bs->device_name,
1376                    entry->key);
1377
1378         ret = -EINVAL;
1379         goto close_and_fail;
1380     }
1381     QDECREF(options);
1382
1383     if (!bdrv_key_required(bs)) {
1384         bdrv_dev_change_media_cb(bs, true);
1385     }
1386
1387     return 0;
1388
1389 unlink_and_fail:
1390     if (file != NULL) {
1391         bdrv_unref(file);
1392     }
1393     if (bs->is_temporary) {
1394         unlink(filename);
1395     }
1396 fail:
1397     QDECREF(bs->options);
1398     QDECREF(options);
1399     bs->options = NULL;
1400     if (error_is_set(&local_err)) {
1401         error_propagate(errp, local_err);
1402     }
1403     return ret;
1404
1405 close_and_fail:
1406     bdrv_close(bs);
1407     QDECREF(options);
1408     if (error_is_set(&local_err)) {
1409         error_propagate(errp, local_err);
1410     }
1411     return ret;
1412 }
1413
1414 typedef struct BlockReopenQueueEntry {
1415      bool prepared;
1416      BDRVReopenState state;
1417      QSIMPLEQ_ENTRY(BlockReopenQueueEntry) entry;
1418 } BlockReopenQueueEntry;
1419
1420 /*
1421  * Adds a BlockDriverState to a simple queue for an atomic, transactional
1422  * reopen of multiple devices.
1423  *
1424  * bs_queue can either be an existing BlockReopenQueue that has had QSIMPLE_INIT
1425  * already performed, or alternatively may be NULL a new BlockReopenQueue will
1426  * be created and initialized. This newly created BlockReopenQueue should be
1427  * passed back in for subsequent calls that are intended to be of the same
1428  * atomic 'set'.
1429  *
1430  * bs is the BlockDriverState to add to the reopen queue.
1431  *
1432  * flags contains the open flags for the associated bs
1433  *
1434  * returns a pointer to bs_queue, which is either the newly allocated
1435  * bs_queue, or the existing bs_queue being used.
1436  *
1437  */
1438 BlockReopenQueue *bdrv_reopen_queue(BlockReopenQueue *bs_queue,
1439                                     BlockDriverState *bs, int flags)
1440 {
1441     assert(bs != NULL);
1442
1443     BlockReopenQueueEntry *bs_entry;
1444     if (bs_queue == NULL) {
1445         bs_queue = g_new0(BlockReopenQueue, 1);
1446         QSIMPLEQ_INIT(bs_queue);
1447     }
1448
1449     if (bs->file) {
1450         bdrv_reopen_queue(bs_queue, bs->file, flags);
1451     }
1452
1453     bs_entry = g_new0(BlockReopenQueueEntry, 1);
1454     QSIMPLEQ_INSERT_TAIL(bs_queue, bs_entry, entry);
1455
1456     bs_entry->state.bs = bs;
1457     bs_entry->state.flags = flags;
1458
1459     return bs_queue;
1460 }
1461
1462 /*
1463  * Reopen multiple BlockDriverStates atomically & transactionally.
1464  *
1465  * The queue passed in (bs_queue) must have been built up previous
1466  * via bdrv_reopen_queue().
1467  *
1468  * Reopens all BDS specified in the queue, with the appropriate
1469  * flags.  All devices are prepared for reopen, and failure of any
1470  * device will cause all device changes to be abandonded, and intermediate
1471  * data cleaned up.
1472  *
1473  * If all devices prepare successfully, then the changes are committed
1474  * to all devices.
1475  *
1476  */
1477 int bdrv_reopen_multiple(BlockReopenQueue *bs_queue, Error **errp)
1478 {
1479     int ret = -1;
1480     BlockReopenQueueEntry *bs_entry, *next;
1481     Error *local_err = NULL;
1482
1483     assert(bs_queue != NULL);
1484
1485     bdrv_drain_all();
1486
1487     QSIMPLEQ_FOREACH(bs_entry, bs_queue, entry) {
1488         if (bdrv_reopen_prepare(&bs_entry->state, bs_queue, &local_err)) {
1489             error_propagate(errp, local_err);
1490             goto cleanup;
1491         }
1492         bs_entry->prepared = true;
1493     }
1494
1495     /* If we reach this point, we have success and just need to apply the
1496      * changes
1497      */
1498     QSIMPLEQ_FOREACH(bs_entry, bs_queue, entry) {
1499         bdrv_reopen_commit(&bs_entry->state);
1500     }
1501
1502     ret = 0;
1503
1504 cleanup:
1505     QSIMPLEQ_FOREACH_SAFE(bs_entry, bs_queue, entry, next) {
1506         if (ret && bs_entry->prepared) {
1507             bdrv_reopen_abort(&bs_entry->state);
1508         }
1509         g_free(bs_entry);
1510     }
1511     g_free(bs_queue);
1512     return ret;
1513 }
1514
1515
1516 /* Reopen a single BlockDriverState with the specified flags. */
1517 int bdrv_reopen(BlockDriverState *bs, int bdrv_flags, Error **errp)
1518 {
1519     int ret = -1;
1520     Error *local_err = NULL;
1521     BlockReopenQueue *queue = bdrv_reopen_queue(NULL, bs, bdrv_flags);
1522
1523     ret = bdrv_reopen_multiple(queue, &local_err);
1524     if (local_err != NULL) {
1525         error_propagate(errp, local_err);
1526     }
1527     return ret;
1528 }
1529
1530
1531 /*
1532  * Prepares a BlockDriverState for reopen. All changes are staged in the
1533  * 'opaque' field of the BDRVReopenState, which is used and allocated by
1534  * the block driver layer .bdrv_reopen_prepare()
1535  *
1536  * bs is the BlockDriverState to reopen
1537  * flags are the new open flags
1538  * queue is the reopen queue
1539  *
1540  * Returns 0 on success, non-zero on error.  On error errp will be set
1541  * as well.
1542  *
1543  * On failure, bdrv_reopen_abort() will be called to clean up any data.
1544  * It is the responsibility of the caller to then call the abort() or
1545  * commit() for any other BDS that have been left in a prepare() state
1546  *
1547  */
1548 int bdrv_reopen_prepare(BDRVReopenState *reopen_state, BlockReopenQueue *queue,
1549                         Error **errp)
1550 {
1551     int ret = -1;
1552     Error *local_err = NULL;
1553     BlockDriver *drv;
1554
1555     assert(reopen_state != NULL);
1556     assert(reopen_state->bs->drv != NULL);
1557     drv = reopen_state->bs->drv;
1558
1559     /* if we are to stay read-only, do not allow permission change
1560      * to r/w */
1561     if (!(reopen_state->bs->open_flags & BDRV_O_ALLOW_RDWR) &&
1562         reopen_state->flags & BDRV_O_RDWR) {
1563         error_set(errp, QERR_DEVICE_IS_READ_ONLY,
1564                   reopen_state->bs->device_name);
1565         goto error;
1566     }
1567
1568
1569     ret = bdrv_flush(reopen_state->bs);
1570     if (ret) {
1571         error_set(errp, ERROR_CLASS_GENERIC_ERROR, "Error (%s) flushing drive",
1572                   strerror(-ret));
1573         goto error;
1574     }
1575
1576     if (drv->bdrv_reopen_prepare) {
1577         ret = drv->bdrv_reopen_prepare(reopen_state, queue, &local_err);
1578         if (ret) {
1579             if (local_err != NULL) {
1580                 error_propagate(errp, local_err);
1581             } else {
1582                 error_setg(errp, "failed while preparing to reopen image '%s'",
1583                            reopen_state->bs->filename);
1584             }
1585             goto error;
1586         }
1587     } else {
1588         /* It is currently mandatory to have a bdrv_reopen_prepare()
1589          * handler for each supported drv. */
1590         error_set(errp, QERR_BLOCK_FORMAT_FEATURE_NOT_SUPPORTED,
1591                   drv->format_name, reopen_state->bs->device_name,
1592                  "reopening of file");
1593         ret = -1;
1594         goto error;
1595     }
1596
1597     ret = 0;
1598
1599 error:
1600     return ret;
1601 }
1602
1603 /*
1604  * Takes the staged changes for the reopen from bdrv_reopen_prepare(), and
1605  * makes them final by swapping the staging BlockDriverState contents into
1606  * the active BlockDriverState contents.
1607  */
1608 void bdrv_reopen_commit(BDRVReopenState *reopen_state)
1609 {
1610     BlockDriver *drv;
1611
1612     assert(reopen_state != NULL);
1613     drv = reopen_state->bs->drv;
1614     assert(drv != NULL);
1615
1616     /* If there are any driver level actions to take */
1617     if (drv->bdrv_reopen_commit) {
1618         drv->bdrv_reopen_commit(reopen_state);
1619     }
1620
1621     /* set BDS specific flags now */
1622     reopen_state->bs->open_flags         = reopen_state->flags;
1623     reopen_state->bs->enable_write_cache = !!(reopen_state->flags &
1624                                               BDRV_O_CACHE_WB);
1625     reopen_state->bs->read_only = !(reopen_state->flags & BDRV_O_RDWR);
1626
1627     bdrv_refresh_limits(reopen_state->bs);
1628 }
1629
1630 /*
1631  * Abort the reopen, and delete and free the staged changes in
1632  * reopen_state
1633  */
1634 void bdrv_reopen_abort(BDRVReopenState *reopen_state)
1635 {
1636     BlockDriver *drv;
1637
1638     assert(reopen_state != NULL);
1639     drv = reopen_state->bs->drv;
1640     assert(drv != NULL);
1641
1642     if (drv->bdrv_reopen_abort) {
1643         drv->bdrv_reopen_abort(reopen_state);
1644     }
1645 }
1646
1647
1648 void bdrv_close(BlockDriverState *bs)
1649 {
1650     if (bs->job) {
1651         block_job_cancel_sync(bs->job);
1652     }
1653     bdrv_drain_all(); /* complete I/O */
1654     bdrv_flush(bs);
1655     bdrv_drain_all(); /* in case flush left pending I/O */
1656     notifier_list_notify(&bs->close_notifiers, bs);
1657
1658     if (bs->drv) {
1659         if (bs->backing_hd) {
1660             bdrv_unref(bs->backing_hd);
1661             bs->backing_hd = NULL;
1662         }
1663         bs->drv->bdrv_close(bs);
1664         g_free(bs->opaque);
1665 #ifdef _WIN32
1666         if (bs->is_temporary) {
1667             unlink(bs->filename);
1668         }
1669 #endif
1670         bs->opaque = NULL;
1671         bs->drv = NULL;
1672         bs->copy_on_read = 0;
1673         bs->backing_file[0] = '\0';
1674         bs->backing_format[0] = '\0';
1675         bs->total_sectors = 0;
1676         bs->encrypted = 0;
1677         bs->valid_key = 0;
1678         bs->sg = 0;
1679         bs->growable = 0;
1680         bs->zero_beyond_eof = false;
1681         QDECREF(bs->options);
1682         bs->options = NULL;
1683
1684         if (bs->file != NULL) {
1685             bdrv_unref(bs->file);
1686             bs->file = NULL;
1687         }
1688     }
1689
1690     bdrv_dev_change_media_cb(bs, false);
1691
1692     /*throttling disk I/O limits*/
1693     if (bs->io_limits_enabled) {
1694         bdrv_io_limits_disable(bs);
1695     }
1696 }
1697
1698 void bdrv_close_all(void)
1699 {
1700     BlockDriverState *bs;
1701
1702     QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
1703         bdrv_close(bs);
1704     }
1705 }
1706
1707 /* Check if any requests are in-flight (including throttled requests) */
1708 static bool bdrv_requests_pending(BlockDriverState *bs)
1709 {
1710     if (!QLIST_EMPTY(&bs->tracked_requests)) {
1711         return true;
1712     }
1713     if (!qemu_co_queue_empty(&bs->throttled_reqs[0])) {
1714         return true;
1715     }
1716     if (!qemu_co_queue_empty(&bs->throttled_reqs[1])) {
1717         return true;
1718     }
1719     if (bs->file && bdrv_requests_pending(bs->file)) {
1720         return true;
1721     }
1722     if (bs->backing_hd && bdrv_requests_pending(bs->backing_hd)) {
1723         return true;
1724     }
1725     return false;
1726 }
1727
1728 static bool bdrv_requests_pending_all(void)
1729 {
1730     BlockDriverState *bs;
1731     QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
1732         if (bdrv_requests_pending(bs)) {
1733             return true;
1734         }
1735     }
1736     return false;
1737 }
1738
1739 /*
1740  * Wait for pending requests to complete across all BlockDriverStates
1741  *
1742  * This function does not flush data to disk, use bdrv_flush_all() for that
1743  * after calling this function.
1744  *
1745  * Note that completion of an asynchronous I/O operation can trigger any
1746  * number of other I/O operations on other devices---for example a coroutine
1747  * can be arbitrarily complex and a constant flow of I/O can come until the
1748  * coroutine is complete.  Because of this, it is not possible to have a
1749  * function to drain a single device's I/O queue.
1750  */
1751 void bdrv_drain_all(void)
1752 {
1753     /* Always run first iteration so any pending completion BHs run */
1754     bool busy = true;
1755     BlockDriverState *bs;
1756
1757     while (busy) {
1758         QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
1759             bdrv_start_throttled_reqs(bs);
1760         }
1761
1762         busy = bdrv_requests_pending_all();
1763         busy |= aio_poll(qemu_get_aio_context(), busy);
1764     }
1765 }
1766
1767 /* make a BlockDriverState anonymous by removing from bdrv_state and
1768  * graph_bdrv_state list.
1769    Also, NULL terminate the device_name to prevent double remove */
1770 void bdrv_make_anon(BlockDriverState *bs)
1771 {
1772     if (bs->device_name[0] != '\0') {
1773         QTAILQ_REMOVE(&bdrv_states, bs, device_list);
1774     }
1775     bs->device_name[0] = '\0';
1776     if (bs->node_name[0] != '\0') {
1777         QTAILQ_REMOVE(&graph_bdrv_states, bs, node_list);
1778     }
1779     bs->node_name[0] = '\0';
1780 }
1781
1782 static void bdrv_rebind(BlockDriverState *bs)
1783 {
1784     if (bs->drv && bs->drv->bdrv_rebind) {
1785         bs->drv->bdrv_rebind(bs);
1786     }
1787 }
1788
1789 static void bdrv_move_feature_fields(BlockDriverState *bs_dest,
1790                                      BlockDriverState *bs_src)
1791 {
1792     /* move some fields that need to stay attached to the device */
1793     bs_dest->open_flags         = bs_src->open_flags;
1794
1795     /* dev info */
1796     bs_dest->dev_ops            = bs_src->dev_ops;
1797     bs_dest->dev_opaque         = bs_src->dev_opaque;
1798     bs_dest->dev                = bs_src->dev;
1799     bs_dest->guest_block_size   = bs_src->guest_block_size;
1800     bs_dest->copy_on_read       = bs_src->copy_on_read;
1801
1802     bs_dest->enable_write_cache = bs_src->enable_write_cache;
1803
1804     /* i/o throttled req */
1805     memcpy(&bs_dest->throttle_state,
1806            &bs_src->throttle_state,
1807            sizeof(ThrottleState));
1808     bs_dest->throttled_reqs[0]  = bs_src->throttled_reqs[0];
1809     bs_dest->throttled_reqs[1]  = bs_src->throttled_reqs[1];
1810     bs_dest->io_limits_enabled  = bs_src->io_limits_enabled;
1811
1812     /* r/w error */
1813     bs_dest->on_read_error      = bs_src->on_read_error;
1814     bs_dest->on_write_error     = bs_src->on_write_error;
1815
1816     /* i/o status */
1817     bs_dest->iostatus_enabled   = bs_src->iostatus_enabled;
1818     bs_dest->iostatus           = bs_src->iostatus;
1819
1820     /* dirty bitmap */
1821     bs_dest->dirty_bitmaps      = bs_src->dirty_bitmaps;
1822
1823     /* reference count */
1824     bs_dest->refcnt             = bs_src->refcnt;
1825
1826     /* job */
1827     bs_dest->in_use             = bs_src->in_use;
1828     bs_dest->job                = bs_src->job;
1829
1830     /* keep the same entry in bdrv_states */
1831     pstrcpy(bs_dest->device_name, sizeof(bs_dest->device_name),
1832             bs_src->device_name);
1833     bs_dest->device_list = bs_src->device_list;
1834
1835     /* keep the same entry in graph_bdrv_states
1836      * We do want to swap name but don't want to swap linked list entries
1837      */
1838     bs_dest->node_list   = bs_src->node_list;
1839 }
1840
1841 /*
1842  * Swap bs contents for two image chains while they are live,
1843  * while keeping required fields on the BlockDriverState that is
1844  * actually attached to a device.
1845  *
1846  * This will modify the BlockDriverState fields, and swap contents
1847  * between bs_new and bs_old. Both bs_new and bs_old are modified.
1848  *
1849  * bs_new is required to be anonymous.
1850  *
1851  * This function does not create any image files.
1852  */
1853 void bdrv_swap(BlockDriverState *bs_new, BlockDriverState *bs_old)
1854 {
1855     BlockDriverState tmp;
1856
1857     /* bs_new must be anonymous and shouldn't have anything fancy enabled */
1858     assert(bs_new->device_name[0] == '\0');
1859     assert(QLIST_EMPTY(&bs_new->dirty_bitmaps));
1860     assert(bs_new->job == NULL);
1861     assert(bs_new->dev == NULL);
1862     assert(bs_new->in_use == 0);
1863     assert(bs_new->io_limits_enabled == false);
1864     assert(!throttle_have_timer(&bs_new->throttle_state));
1865
1866     tmp = *bs_new;
1867     *bs_new = *bs_old;
1868     *bs_old = tmp;
1869
1870     /* there are some fields that should not be swapped, move them back */
1871     bdrv_move_feature_fields(&tmp, bs_old);
1872     bdrv_move_feature_fields(bs_old, bs_new);
1873     bdrv_move_feature_fields(bs_new, &tmp);
1874
1875     /* bs_new shouldn't be in bdrv_states even after the swap!  */
1876     assert(bs_new->device_name[0] == '\0');
1877
1878     /* Check a few fields that should remain attached to the device */
1879     assert(bs_new->dev == NULL);
1880     assert(bs_new->job == NULL);
1881     assert(bs_new->in_use == 0);
1882     assert(bs_new->io_limits_enabled == false);
1883     assert(!throttle_have_timer(&bs_new->throttle_state));
1884
1885     bdrv_rebind(bs_new);
1886     bdrv_rebind(bs_old);
1887 }
1888
1889 /*
1890  * Add new bs contents at the top of an image chain while the chain is
1891  * live, while keeping required fields on the top layer.
1892  *
1893  * This will modify the BlockDriverState fields, and swap contents
1894  * between bs_new and bs_top. Both bs_new and bs_top are modified.
1895  *
1896  * bs_new is required to be anonymous.
1897  *
1898  * This function does not create any image files.
1899  */
1900 void bdrv_append(BlockDriverState *bs_new, BlockDriverState *bs_top)
1901 {
1902     bdrv_swap(bs_new, bs_top);
1903
1904     /* The contents of 'tmp' will become bs_top, as we are
1905      * swapping bs_new and bs_top contents. */
1906     bs_top->backing_hd = bs_new;
1907     bs_top->open_flags &= ~BDRV_O_NO_BACKING;
1908     pstrcpy(bs_top->backing_file, sizeof(bs_top->backing_file),
1909             bs_new->filename);
1910     pstrcpy(bs_top->backing_format, sizeof(bs_top->backing_format),
1911             bs_new->drv ? bs_new->drv->format_name : "");
1912 }
1913
1914 static void bdrv_delete(BlockDriverState *bs)
1915 {
1916     assert(!bs->dev);
1917     assert(!bs->job);
1918     assert(!bs->in_use);
1919     assert(!bs->refcnt);
1920     assert(QLIST_EMPTY(&bs->dirty_bitmaps));
1921
1922     bdrv_close(bs);
1923
1924     /* remove from list, if necessary */
1925     bdrv_make_anon(bs);
1926
1927     g_free(bs);
1928 }
1929
1930 int bdrv_attach_dev(BlockDriverState *bs, void *dev)
1931 /* TODO change to DeviceState *dev when all users are qdevified */
1932 {
1933     if (bs->dev) {
1934         return -EBUSY;
1935     }
1936     bs->dev = dev;
1937     bdrv_iostatus_reset(bs);
1938     return 0;
1939 }
1940
1941 /* TODO qdevified devices don't use this, remove when devices are qdevified */
1942 void bdrv_attach_dev_nofail(BlockDriverState *bs, void *dev)
1943 {
1944     if (bdrv_attach_dev(bs, dev) < 0) {
1945         abort();
1946     }
1947 }
1948
1949 void bdrv_detach_dev(BlockDriverState *bs, void *dev)
1950 /* TODO change to DeviceState *dev when all users are qdevified */
1951 {
1952     assert(bs->dev == dev);
1953     bs->dev = NULL;
1954     bs->dev_ops = NULL;
1955     bs->dev_opaque = NULL;
1956     bs->guest_block_size = 512;
1957 }
1958
1959 /* TODO change to return DeviceState * when all users are qdevified */
1960 void *bdrv_get_attached_dev(BlockDriverState *bs)
1961 {
1962     return bs->dev;
1963 }
1964
1965 void bdrv_set_dev_ops(BlockDriverState *bs, const BlockDevOps *ops,
1966                       void *opaque)
1967 {
1968     bs->dev_ops = ops;
1969     bs->dev_opaque = opaque;
1970 }
1971
1972 void bdrv_emit_qmp_error_event(const BlockDriverState *bdrv,
1973                                enum MonitorEvent ev,
1974                                BlockErrorAction action, bool is_read)
1975 {
1976     QObject *data;
1977     const char *action_str;
1978
1979     switch (action) {
1980     case BDRV_ACTION_REPORT:
1981         action_str = "report";
1982         break;
1983     case BDRV_ACTION_IGNORE:
1984         action_str = "ignore";
1985         break;
1986     case BDRV_ACTION_STOP:
1987         action_str = "stop";
1988         break;
1989     default:
1990         abort();
1991     }
1992
1993     data = qobject_from_jsonf("{ 'device': %s, 'action': %s, 'operation': %s }",
1994                               bdrv->device_name,
1995                               action_str,
1996                               is_read ? "read" : "write");
1997     monitor_protocol_event(ev, data);
1998
1999     qobject_decref(data);
2000 }
2001
2002 static void bdrv_emit_qmp_eject_event(BlockDriverState *bs, bool ejected)
2003 {
2004     QObject *data;
2005
2006     data = qobject_from_jsonf("{ 'device': %s, 'tray-open': %i }",
2007                               bdrv_get_device_name(bs), ejected);
2008     monitor_protocol_event(QEVENT_DEVICE_TRAY_MOVED, data);
2009
2010     qobject_decref(data);
2011 }
2012
2013 static void bdrv_dev_change_media_cb(BlockDriverState *bs, bool load)
2014 {
2015     if (bs->dev_ops && bs->dev_ops->change_media_cb) {
2016         bool tray_was_closed = !bdrv_dev_is_tray_open(bs);
2017         bs->dev_ops->change_media_cb(bs->dev_opaque, load);
2018         if (tray_was_closed) {
2019             /* tray open */
2020             bdrv_emit_qmp_eject_event(bs, true);
2021         }
2022         if (load) {
2023             /* tray close */
2024             bdrv_emit_qmp_eject_event(bs, false);
2025         }
2026     }
2027 }
2028
2029 bool bdrv_dev_has_removable_media(BlockDriverState *bs)
2030 {
2031     return !bs->dev || (bs->dev_ops && bs->dev_ops->change_media_cb);
2032 }
2033
2034 void bdrv_dev_eject_request(BlockDriverState *bs, bool force)
2035 {
2036     if (bs->dev_ops && bs->dev_ops->eject_request_cb) {
2037         bs->dev_ops->eject_request_cb(bs->dev_opaque, force);
2038     }
2039 }
2040
2041 bool bdrv_dev_is_tray_open(BlockDriverState *bs)
2042 {
2043     if (bs->dev_ops && bs->dev_ops->is_tray_open) {
2044         return bs->dev_ops->is_tray_open(bs->dev_opaque);
2045     }
2046     return false;
2047 }
2048
2049 static void bdrv_dev_resize_cb(BlockDriverState *bs)
2050 {
2051     if (bs->dev_ops && bs->dev_ops->resize_cb) {
2052         bs->dev_ops->resize_cb(bs->dev_opaque);
2053     }
2054 }
2055
2056 bool bdrv_dev_is_medium_locked(BlockDriverState *bs)
2057 {
2058     if (bs->dev_ops && bs->dev_ops->is_medium_locked) {
2059         return bs->dev_ops->is_medium_locked(bs->dev_opaque);
2060     }
2061     return false;
2062 }
2063
2064 /*
2065  * Run consistency checks on an image
2066  *
2067  * Returns 0 if the check could be completed (it doesn't mean that the image is
2068  * free of errors) or -errno when an internal error occurred. The results of the
2069  * check are stored in res.
2070  */
2071 int bdrv_check(BlockDriverState *bs, BdrvCheckResult *res, BdrvCheckMode fix)
2072 {
2073     if (bs->drv->bdrv_check == NULL) {
2074         return -ENOTSUP;
2075     }
2076
2077     memset(res, 0, sizeof(*res));
2078     return bs->drv->bdrv_check(bs, res, fix);
2079 }
2080
2081 #define COMMIT_BUF_SECTORS 2048
2082
2083 /* commit COW file into the raw image */
2084 int bdrv_commit(BlockDriverState *bs)
2085 {
2086     BlockDriver *drv = bs->drv;
2087     int64_t sector, total_sectors, length, backing_length;
2088     int n, ro, open_flags;
2089     int ret = 0;
2090     uint8_t *buf = NULL;
2091     char filename[PATH_MAX];
2092
2093     if (!drv)
2094         return -ENOMEDIUM;
2095
2096     if (!bs->backing_hd) {
2097         return -ENOTSUP;
2098     }
2099
2100     if (bdrv_in_use(bs) || bdrv_in_use(bs->backing_hd)) {
2101         return -EBUSY;
2102     }
2103
2104     ro = bs->backing_hd->read_only;
2105     /* Use pstrcpy (not strncpy): filename must be NUL-terminated. */
2106     pstrcpy(filename, sizeof(filename), bs->backing_hd->filename);
2107     open_flags =  bs->backing_hd->open_flags;
2108
2109     if (ro) {
2110         if (bdrv_reopen(bs->backing_hd, open_flags | BDRV_O_RDWR, NULL)) {
2111             return -EACCES;
2112         }
2113     }
2114
2115     length = bdrv_getlength(bs);
2116     if (length < 0) {
2117         ret = length;
2118         goto ro_cleanup;
2119     }
2120
2121     backing_length = bdrv_getlength(bs->backing_hd);
2122     if (backing_length < 0) {
2123         ret = backing_length;
2124         goto ro_cleanup;
2125     }
2126
2127     /* If our top snapshot is larger than the backing file image,
2128      * grow the backing file image if possible.  If not possible,
2129      * we must return an error */
2130     if (length > backing_length) {
2131         ret = bdrv_truncate(bs->backing_hd, length);
2132         if (ret < 0) {
2133             goto ro_cleanup;
2134         }
2135     }
2136
2137     total_sectors = length >> BDRV_SECTOR_BITS;
2138     buf = g_malloc(COMMIT_BUF_SECTORS * BDRV_SECTOR_SIZE);
2139
2140     for (sector = 0; sector < total_sectors; sector += n) {
2141         ret = bdrv_is_allocated(bs, sector, COMMIT_BUF_SECTORS, &n);
2142         if (ret < 0) {
2143             goto ro_cleanup;
2144         }
2145         if (ret) {
2146             ret = bdrv_read(bs, sector, buf, n);
2147             if (ret < 0) {
2148                 goto ro_cleanup;
2149             }
2150
2151             ret = bdrv_write(bs->backing_hd, sector, buf, n);
2152             if (ret < 0) {
2153                 goto ro_cleanup;
2154             }
2155         }
2156     }
2157
2158     if (drv->bdrv_make_empty) {
2159         ret = drv->bdrv_make_empty(bs);
2160         if (ret < 0) {
2161             goto ro_cleanup;
2162         }
2163         bdrv_flush(bs);
2164     }
2165
2166     /*
2167      * Make sure all data we wrote to the backing device is actually
2168      * stable on disk.
2169      */
2170     if (bs->backing_hd) {
2171         bdrv_flush(bs->backing_hd);
2172     }
2173
2174     ret = 0;
2175 ro_cleanup:
2176     g_free(buf);
2177
2178     if (ro) {
2179         /* ignoring error return here */
2180         bdrv_reopen(bs->backing_hd, open_flags & ~BDRV_O_RDWR, NULL);
2181     }
2182
2183     return ret;
2184 }
2185
2186 int bdrv_commit_all(void)
2187 {
2188     BlockDriverState *bs;
2189
2190     QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
2191         if (bs->drv && bs->backing_hd) {
2192             int ret = bdrv_commit(bs);
2193             if (ret < 0) {
2194                 return ret;
2195             }
2196         }
2197     }
2198     return 0;
2199 }
2200
2201 /**
2202  * Remove an active request from the tracked requests list
2203  *
2204  * This function should be called when a tracked request is completing.
2205  */
2206 static void tracked_request_end(BdrvTrackedRequest *req)
2207 {
2208     QLIST_REMOVE(req, list);
2209     qemu_co_queue_restart_all(&req->wait_queue);
2210 }
2211
2212 /**
2213  * Add an active request to the tracked requests list
2214  */
2215 static void tracked_request_begin(BdrvTrackedRequest *req,
2216                                   BlockDriverState *bs,
2217                                   int64_t sector_num,
2218                                   int nb_sectors, bool is_write)
2219 {
2220     *req = (BdrvTrackedRequest){
2221         .bs = bs,
2222         .sector_num = sector_num,
2223         .nb_sectors = nb_sectors,
2224         .is_write = is_write,
2225         .co = qemu_coroutine_self(),
2226     };
2227
2228     qemu_co_queue_init(&req->wait_queue);
2229
2230     QLIST_INSERT_HEAD(&bs->tracked_requests, req, list);
2231 }
2232
2233 /**
2234  * Round a region to cluster boundaries
2235  */
2236 void bdrv_round_to_clusters(BlockDriverState *bs,
2237                             int64_t sector_num, int nb_sectors,
2238                             int64_t *cluster_sector_num,
2239                             int *cluster_nb_sectors)
2240 {
2241     BlockDriverInfo bdi;
2242
2243     if (bdrv_get_info(bs, &bdi) < 0 || bdi.cluster_size == 0) {
2244         *cluster_sector_num = sector_num;
2245         *cluster_nb_sectors = nb_sectors;
2246     } else {
2247         int64_t c = bdi.cluster_size / BDRV_SECTOR_SIZE;
2248         *cluster_sector_num = QEMU_ALIGN_DOWN(sector_num, c);
2249         *cluster_nb_sectors = QEMU_ALIGN_UP(sector_num - *cluster_sector_num +
2250                                             nb_sectors, c);
2251     }
2252 }
2253
2254 static bool tracked_request_overlaps(BdrvTrackedRequest *req,
2255                                      int64_t sector_num, int nb_sectors) {
2256     /*        aaaa   bbbb */
2257     if (sector_num >= req->sector_num + req->nb_sectors) {
2258         return false;
2259     }
2260     /* bbbb   aaaa        */
2261     if (req->sector_num >= sector_num + nb_sectors) {
2262         return false;
2263     }
2264     return true;
2265 }
2266
2267 static void coroutine_fn wait_for_overlapping_requests(BlockDriverState *bs,
2268         int64_t sector_num, int nb_sectors)
2269 {
2270     BdrvTrackedRequest *req;
2271     int64_t cluster_sector_num;
2272     int cluster_nb_sectors;
2273     bool retry;
2274
2275     /* If we touch the same cluster it counts as an overlap.  This guarantees
2276      * that allocating writes will be serialized and not race with each other
2277      * for the same cluster.  For example, in copy-on-read it ensures that the
2278      * CoR read and write operations are atomic and guest writes cannot
2279      * interleave between them.
2280      */
2281     bdrv_round_to_clusters(bs, sector_num, nb_sectors,
2282                            &cluster_sector_num, &cluster_nb_sectors);
2283
2284     do {
2285         retry = false;
2286         QLIST_FOREACH(req, &bs->tracked_requests, list) {
2287             if (tracked_request_overlaps(req, cluster_sector_num,
2288                                          cluster_nb_sectors)) {
2289                 /* Hitting this means there was a reentrant request, for
2290                  * example, a block driver issuing nested requests.  This must
2291                  * never happen since it means deadlock.
2292                  */
2293                 assert(qemu_coroutine_self() != req->co);
2294
2295                 qemu_co_queue_wait(&req->wait_queue);
2296                 retry = true;
2297                 break;
2298             }
2299         }
2300     } while (retry);
2301 }
2302
2303 /*
2304  * Return values:
2305  * 0        - success
2306  * -EINVAL  - backing format specified, but no file
2307  * -ENOSPC  - can't update the backing file because no space is left in the
2308  *            image file header
2309  * -ENOTSUP - format driver doesn't support changing the backing file
2310  */
2311 int bdrv_change_backing_file(BlockDriverState *bs,
2312     const char *backing_file, const char *backing_fmt)
2313 {
2314     BlockDriver *drv = bs->drv;
2315     int ret;
2316
2317     /* Backing file format doesn't make sense without a backing file */
2318     if (backing_fmt && !backing_file) {
2319         return -EINVAL;
2320     }
2321
2322     if (drv->bdrv_change_backing_file != NULL) {
2323         ret = drv->bdrv_change_backing_file(bs, backing_file, backing_fmt);
2324     } else {
2325         ret = -ENOTSUP;
2326     }
2327
2328     if (ret == 0) {
2329         pstrcpy(bs->backing_file, sizeof(bs->backing_file), backing_file ?: "");
2330         pstrcpy(bs->backing_format, sizeof(bs->backing_format), backing_fmt ?: "");
2331     }
2332     return ret;
2333 }
2334
2335 /*
2336  * Finds the image layer in the chain that has 'bs' as its backing file.
2337  *
2338  * active is the current topmost image.
2339  *
2340  * Returns NULL if bs is not found in active's image chain,
2341  * or if active == bs.
2342  */
2343 BlockDriverState *bdrv_find_overlay(BlockDriverState *active,
2344                                     BlockDriverState *bs)
2345 {
2346     BlockDriverState *overlay = NULL;
2347     BlockDriverState *intermediate;
2348
2349     assert(active != NULL);
2350     assert(bs != NULL);
2351
2352     /* if bs is the same as active, then by definition it has no overlay
2353      */
2354     if (active == bs) {
2355         return NULL;
2356     }
2357
2358     intermediate = active;
2359     while (intermediate->backing_hd) {
2360         if (intermediate->backing_hd == bs) {
2361             overlay = intermediate;
2362             break;
2363         }
2364         intermediate = intermediate->backing_hd;
2365     }
2366
2367     return overlay;
2368 }
2369
2370 typedef struct BlkIntermediateStates {
2371     BlockDriverState *bs;
2372     QSIMPLEQ_ENTRY(BlkIntermediateStates) entry;
2373 } BlkIntermediateStates;
2374
2375
2376 /*
2377  * Drops images above 'base' up to and including 'top', and sets the image
2378  * above 'top' to have base as its backing file.
2379  *
2380  * Requires that the overlay to 'top' is opened r/w, so that the backing file
2381  * information in 'bs' can be properly updated.
2382  *
2383  * E.g., this will convert the following chain:
2384  * bottom <- base <- intermediate <- top <- active
2385  *
2386  * to
2387  *
2388  * bottom <- base <- active
2389  *
2390  * It is allowed for bottom==base, in which case it converts:
2391  *
2392  * base <- intermediate <- top <- active
2393  *
2394  * to
2395  *
2396  * base <- active
2397  *
2398  * Error conditions:
2399  *  if active == top, that is considered an error
2400  *
2401  */
2402 int bdrv_drop_intermediate(BlockDriverState *active, BlockDriverState *top,
2403                            BlockDriverState *base)
2404 {
2405     BlockDriverState *intermediate;
2406     BlockDriverState *base_bs = NULL;
2407     BlockDriverState *new_top_bs = NULL;
2408     BlkIntermediateStates *intermediate_state, *next;
2409     int ret = -EIO;
2410
2411     QSIMPLEQ_HEAD(states_to_delete, BlkIntermediateStates) states_to_delete;
2412     QSIMPLEQ_INIT(&states_to_delete);
2413
2414     if (!top->drv || !base->drv) {
2415         goto exit;
2416     }
2417
2418     new_top_bs = bdrv_find_overlay(active, top);
2419
2420     if (new_top_bs == NULL) {
2421         /* we could not find the image above 'top', this is an error */
2422         goto exit;
2423     }
2424
2425     /* special case of new_top_bs->backing_hd already pointing to base - nothing
2426      * to do, no intermediate images */
2427     if (new_top_bs->backing_hd == base) {
2428         ret = 0;
2429         goto exit;
2430     }
2431
2432     intermediate = top;
2433
2434     /* now we will go down through the list, and add each BDS we find
2435      * into our deletion queue, until we hit the 'base'
2436      */
2437     while (intermediate) {
2438         intermediate_state = g_malloc0(sizeof(BlkIntermediateStates));
2439         intermediate_state->bs = intermediate;
2440         QSIMPLEQ_INSERT_TAIL(&states_to_delete, intermediate_state, entry);
2441
2442         if (intermediate->backing_hd == base) {
2443             base_bs = intermediate->backing_hd;
2444             break;
2445         }
2446         intermediate = intermediate->backing_hd;
2447     }
2448     if (base_bs == NULL) {
2449         /* something went wrong, we did not end at the base. safely
2450          * unravel everything, and exit with error */
2451         goto exit;
2452     }
2453
2454     /* success - we can delete the intermediate states, and link top->base */
2455     ret = bdrv_change_backing_file(new_top_bs, base_bs->filename,
2456                                    base_bs->drv ? base_bs->drv->format_name : "");
2457     if (ret) {
2458         goto exit;
2459     }
2460     new_top_bs->backing_hd = base_bs;
2461
2462     bdrv_refresh_limits(new_top_bs);
2463
2464     QSIMPLEQ_FOREACH_SAFE(intermediate_state, &states_to_delete, entry, next) {
2465         /* so that bdrv_close() does not recursively close the chain */
2466         intermediate_state->bs->backing_hd = NULL;
2467         bdrv_unref(intermediate_state->bs);
2468     }
2469     ret = 0;
2470
2471 exit:
2472     QSIMPLEQ_FOREACH_SAFE(intermediate_state, &states_to_delete, entry, next) {
2473         g_free(intermediate_state);
2474     }
2475     return ret;
2476 }
2477
2478
2479 static int bdrv_check_byte_request(BlockDriverState *bs, int64_t offset,
2480                                    size_t size)
2481 {
2482     int64_t len;
2483
2484     if (!bdrv_is_inserted(bs))
2485         return -ENOMEDIUM;
2486
2487     if (bs->growable)
2488         return 0;
2489
2490     len = bdrv_getlength(bs);
2491
2492     if (offset < 0)
2493         return -EIO;
2494
2495     if ((offset > len) || (len - offset < size))
2496         return -EIO;
2497
2498     return 0;
2499 }
2500
2501 static int bdrv_check_request(BlockDriverState *bs, int64_t sector_num,
2502                               int nb_sectors)
2503 {
2504     return bdrv_check_byte_request(bs, sector_num * BDRV_SECTOR_SIZE,
2505                                    nb_sectors * BDRV_SECTOR_SIZE);
2506 }
2507
2508 typedef struct RwCo {
2509     BlockDriverState *bs;
2510     int64_t sector_num;
2511     int nb_sectors;
2512     QEMUIOVector *qiov;
2513     bool is_write;
2514     int ret;
2515     BdrvRequestFlags flags;
2516 } RwCo;
2517
2518 static void coroutine_fn bdrv_rw_co_entry(void *opaque)
2519 {
2520     RwCo *rwco = opaque;
2521
2522     if (!rwco->is_write) {
2523         rwco->ret = bdrv_co_do_readv(rwco->bs, rwco->sector_num,
2524                                      rwco->nb_sectors, rwco->qiov,
2525                                      rwco->flags);
2526     } else {
2527         rwco->ret = bdrv_co_do_writev(rwco->bs, rwco->sector_num,
2528                                       rwco->nb_sectors, rwco->qiov,
2529                                       rwco->flags);
2530     }
2531 }
2532
2533 /*
2534  * Process a vectored synchronous request using coroutines
2535  */
2536 static int bdrv_rwv_co(BlockDriverState *bs, int64_t sector_num,
2537                        QEMUIOVector *qiov, bool is_write,
2538                        BdrvRequestFlags flags)
2539 {
2540     Coroutine *co;
2541     RwCo rwco = {
2542         .bs = bs,
2543         .sector_num = sector_num,
2544         .nb_sectors = qiov->size >> BDRV_SECTOR_BITS,
2545         .qiov = qiov,
2546         .is_write = is_write,
2547         .ret = NOT_DONE,
2548         .flags = flags,
2549     };
2550     assert((qiov->size & (BDRV_SECTOR_SIZE - 1)) == 0);
2551
2552     /**
2553      * In sync call context, when the vcpu is blocked, this throttling timer
2554      * will not fire; so the I/O throttling function has to be disabled here
2555      * if it has been enabled.
2556      */
2557     if (bs->io_limits_enabled) {
2558         fprintf(stderr, "Disabling I/O throttling on '%s' due "
2559                         "to synchronous I/O.\n", bdrv_get_device_name(bs));
2560         bdrv_io_limits_disable(bs);
2561     }
2562
2563     if (qemu_in_coroutine()) {
2564         /* Fast-path if already in coroutine context */
2565         bdrv_rw_co_entry(&rwco);
2566     } else {
2567         co = qemu_coroutine_create(bdrv_rw_co_entry);
2568         qemu_coroutine_enter(co, &rwco);
2569         while (rwco.ret == NOT_DONE) {
2570             qemu_aio_wait();
2571         }
2572     }
2573     return rwco.ret;
2574 }
2575
2576 /*
2577  * Process a synchronous request using coroutines
2578  */
2579 static int bdrv_rw_co(BlockDriverState *bs, int64_t sector_num, uint8_t *buf,
2580                       int nb_sectors, bool is_write, BdrvRequestFlags flags)
2581 {
2582     QEMUIOVector qiov;
2583     struct iovec iov = {
2584         .iov_base = (void *)buf,
2585         .iov_len = nb_sectors * BDRV_SECTOR_SIZE,
2586     };
2587
2588     qemu_iovec_init_external(&qiov, &iov, 1);
2589     return bdrv_rwv_co(bs, sector_num, &qiov, is_write, flags);
2590 }
2591
2592 /* return < 0 if error. See bdrv_write() for the return codes */
2593 int bdrv_read(BlockDriverState *bs, int64_t sector_num,
2594               uint8_t *buf, int nb_sectors)
2595 {
2596     return bdrv_rw_co(bs, sector_num, buf, nb_sectors, false, 0);
2597 }
2598
2599 /* Just like bdrv_read(), but with I/O throttling temporarily disabled */
2600 int bdrv_read_unthrottled(BlockDriverState *bs, int64_t sector_num,
2601                           uint8_t *buf, int nb_sectors)
2602 {
2603     bool enabled;
2604     int ret;
2605
2606     enabled = bs->io_limits_enabled;
2607     bs->io_limits_enabled = false;
2608     ret = bdrv_read(bs, sector_num, buf, nb_sectors);
2609     bs->io_limits_enabled = enabled;
2610     return ret;
2611 }
2612
2613 /* Return < 0 if error. Important errors are:
2614   -EIO         generic I/O error (may happen for all errors)
2615   -ENOMEDIUM   No media inserted.
2616   -EINVAL      Invalid sector number or nb_sectors
2617   -EACCES      Trying to write a read-only device
2618 */
2619 int bdrv_write(BlockDriverState *bs, int64_t sector_num,
2620                const uint8_t *buf, int nb_sectors)
2621 {
2622     return bdrv_rw_co(bs, sector_num, (uint8_t *)buf, nb_sectors, true, 0);
2623 }
2624
2625 int bdrv_writev(BlockDriverState *bs, int64_t sector_num, QEMUIOVector *qiov)
2626 {
2627     return bdrv_rwv_co(bs, sector_num, qiov, true, 0);
2628 }
2629
2630 int bdrv_write_zeroes(BlockDriverState *bs, int64_t sector_num,
2631                       int nb_sectors, BdrvRequestFlags flags)
2632 {
2633     return bdrv_rw_co(bs, sector_num, NULL, nb_sectors, true,
2634                       BDRV_REQ_ZERO_WRITE | flags);
2635 }
2636
2637 /*
2638  * Completely zero out a block device with the help of bdrv_write_zeroes.
2639  * The operation is sped up by checking the block status and only writing
2640  * zeroes to the device if they currently do not return zeroes. Optional
2641  * flags are passed through to bdrv_write_zeroes (e.g. BDRV_REQ_MAY_UNMAP).
2642  *
2643  * Returns < 0 on error, 0 on success. For error codes see bdrv_write().
2644  */
2645 int bdrv_make_zero(BlockDriverState *bs, BdrvRequestFlags flags)
2646 {
2647     int64_t target_size = bdrv_getlength(bs) / BDRV_SECTOR_SIZE;
2648     int64_t ret, nb_sectors, sector_num = 0;
2649     int n;
2650
2651     for (;;) {
2652         nb_sectors = target_size - sector_num;
2653         if (nb_sectors <= 0) {
2654             return 0;
2655         }
2656         if (nb_sectors > INT_MAX) {
2657             nb_sectors = INT_MAX;
2658         }
2659         ret = bdrv_get_block_status(bs, sector_num, nb_sectors, &n);
2660         if (ret < 0) {
2661             error_report("error getting block status at sector %" PRId64 ": %s",
2662                          sector_num, strerror(-ret));
2663             return ret;
2664         }
2665         if (ret & BDRV_BLOCK_ZERO) {
2666             sector_num += n;
2667             continue;
2668         }
2669         ret = bdrv_write_zeroes(bs, sector_num, n, flags);
2670         if (ret < 0) {
2671             error_report("error writing zeroes at sector %" PRId64 ": %s",
2672                          sector_num, strerror(-ret));
2673             return ret;
2674         }
2675         sector_num += n;
2676     }
2677 }
2678
2679 int bdrv_pread(BlockDriverState *bs, int64_t offset,
2680                void *buf, int count1)
2681 {
2682     uint8_t tmp_buf[BDRV_SECTOR_SIZE];
2683     int len, nb_sectors, count;
2684     int64_t sector_num;
2685     int ret;
2686
2687     count = count1;
2688     /* first read to align to sector start */
2689     len = (BDRV_SECTOR_SIZE - offset) & (BDRV_SECTOR_SIZE - 1);
2690     if (len > count)
2691         len = count;
2692     sector_num = offset >> BDRV_SECTOR_BITS;
2693     if (len > 0) {
2694         if ((ret = bdrv_read(bs, sector_num, tmp_buf, 1)) < 0)
2695             return ret;
2696         memcpy(buf, tmp_buf + (offset & (BDRV_SECTOR_SIZE - 1)), len);
2697         count -= len;
2698         if (count == 0)
2699             return count1;
2700         sector_num++;
2701         buf += len;
2702     }
2703
2704     /* read the sectors "in place" */
2705     nb_sectors = count >> BDRV_SECTOR_BITS;
2706     if (nb_sectors > 0) {
2707         if ((ret = bdrv_read(bs, sector_num, buf, nb_sectors)) < 0)
2708             return ret;
2709         sector_num += nb_sectors;
2710         len = nb_sectors << BDRV_SECTOR_BITS;
2711         buf += len;
2712         count -= len;
2713     }
2714
2715     /* add data from the last sector */
2716     if (count > 0) {
2717         if ((ret = bdrv_read(bs, sector_num, tmp_buf, 1)) < 0)
2718             return ret;
2719         memcpy(buf, tmp_buf, count);
2720     }
2721     return count1;
2722 }
2723
2724 int bdrv_pwritev(BlockDriverState *bs, int64_t offset, QEMUIOVector *qiov)
2725 {
2726     uint8_t tmp_buf[BDRV_SECTOR_SIZE];
2727     int len, nb_sectors, count;
2728     int64_t sector_num;
2729     int ret;
2730
2731     count = qiov->size;
2732
2733     /* first write to align to sector start */
2734     len = (BDRV_SECTOR_SIZE - offset) & (BDRV_SECTOR_SIZE - 1);
2735     if (len > count)
2736         len = count;
2737     sector_num = offset >> BDRV_SECTOR_BITS;
2738     if (len > 0) {
2739         if ((ret = bdrv_read(bs, sector_num, tmp_buf, 1)) < 0)
2740             return ret;
2741         qemu_iovec_to_buf(qiov, 0, tmp_buf + (offset & (BDRV_SECTOR_SIZE - 1)),
2742                           len);
2743         if ((ret = bdrv_write(bs, sector_num, tmp_buf, 1)) < 0)
2744             return ret;
2745         count -= len;
2746         if (count == 0)
2747             return qiov->size;
2748         sector_num++;
2749     }
2750
2751     /* write the sectors "in place" */
2752     nb_sectors = count >> BDRV_SECTOR_BITS;
2753     if (nb_sectors > 0) {
2754         QEMUIOVector qiov_inplace;
2755
2756         qemu_iovec_init(&qiov_inplace, qiov->niov);
2757         qemu_iovec_concat(&qiov_inplace, qiov, len,
2758                           nb_sectors << BDRV_SECTOR_BITS);
2759         ret = bdrv_writev(bs, sector_num, &qiov_inplace);
2760         qemu_iovec_destroy(&qiov_inplace);
2761         if (ret < 0) {
2762             return ret;
2763         }
2764
2765         sector_num += nb_sectors;
2766         len = nb_sectors << BDRV_SECTOR_BITS;
2767         count -= len;
2768     }
2769
2770     /* add data from the last sector */
2771     if (count > 0) {
2772         if ((ret = bdrv_read(bs, sector_num, tmp_buf, 1)) < 0)
2773             return ret;
2774         qemu_iovec_to_buf(qiov, qiov->size - count, tmp_buf, count);
2775         if ((ret = bdrv_write(bs, sector_num, tmp_buf, 1)) < 0)
2776             return ret;
2777     }
2778     return qiov->size;
2779 }
2780
2781 int bdrv_pwrite(BlockDriverState *bs, int64_t offset,
2782                 const void *buf, int count1)
2783 {
2784     QEMUIOVector qiov;
2785     struct iovec iov = {
2786         .iov_base   = (void *) buf,
2787         .iov_len    = count1,
2788     };
2789
2790     qemu_iovec_init_external(&qiov, &iov, 1);
2791     return bdrv_pwritev(bs, offset, &qiov);
2792 }
2793
2794 /*
2795  * Writes to the file and ensures that no writes are reordered across this
2796  * request (acts as a barrier)
2797  *
2798  * Returns 0 on success, -errno in error cases.
2799  */
2800 int bdrv_pwrite_sync(BlockDriverState *bs, int64_t offset,
2801     const void *buf, int count)
2802 {
2803     int ret;
2804
2805     ret = bdrv_pwrite(bs, offset, buf, count);
2806     if (ret < 0) {
2807         return ret;
2808     }
2809
2810     /* No flush needed for cache modes that already do it */
2811     if (bs->enable_write_cache) {
2812         bdrv_flush(bs);
2813     }
2814
2815     return 0;
2816 }
2817
2818 static int coroutine_fn bdrv_co_do_copy_on_readv(BlockDriverState *bs,
2819         int64_t sector_num, int nb_sectors, QEMUIOVector *qiov)
2820 {
2821     /* Perform I/O through a temporary buffer so that users who scribble over
2822      * their read buffer while the operation is in progress do not end up
2823      * modifying the image file.  This is critical for zero-copy guest I/O
2824      * where anything might happen inside guest memory.
2825      */
2826     void *bounce_buffer;
2827
2828     BlockDriver *drv = bs->drv;
2829     struct iovec iov;
2830     QEMUIOVector bounce_qiov;
2831     int64_t cluster_sector_num;
2832     int cluster_nb_sectors;
2833     size_t skip_bytes;
2834     int ret;
2835
2836     /* Cover entire cluster so no additional backing file I/O is required when
2837      * allocating cluster in the image file.
2838      */
2839     bdrv_round_to_clusters(bs, sector_num, nb_sectors,
2840                            &cluster_sector_num, &cluster_nb_sectors);
2841
2842     trace_bdrv_co_do_copy_on_readv(bs, sector_num, nb_sectors,
2843                                    cluster_sector_num, cluster_nb_sectors);
2844
2845     iov.iov_len = cluster_nb_sectors * BDRV_SECTOR_SIZE;
2846     iov.iov_base = bounce_buffer = qemu_blockalign(bs, iov.iov_len);
2847     qemu_iovec_init_external(&bounce_qiov, &iov, 1);
2848
2849     ret = drv->bdrv_co_readv(bs, cluster_sector_num, cluster_nb_sectors,
2850                              &bounce_qiov);
2851     if (ret < 0) {
2852         goto err;
2853     }
2854
2855     if (drv->bdrv_co_write_zeroes &&
2856         buffer_is_zero(bounce_buffer, iov.iov_len)) {
2857         ret = bdrv_co_do_write_zeroes(bs, cluster_sector_num,
2858                                       cluster_nb_sectors, 0);
2859     } else {
2860         /* This does not change the data on the disk, it is not necessary
2861          * to flush even in cache=writethrough mode.
2862          */
2863         ret = drv->bdrv_co_writev(bs, cluster_sector_num, cluster_nb_sectors,
2864                                   &bounce_qiov);
2865     }
2866
2867     if (ret < 0) {
2868         /* It might be okay to ignore write errors for guest requests.  If this
2869          * is a deliberate copy-on-read then we don't want to ignore the error.
2870          * Simply report it in all cases.
2871          */
2872         goto err;
2873     }
2874
2875     skip_bytes = (sector_num - cluster_sector_num) * BDRV_SECTOR_SIZE;
2876     qemu_iovec_from_buf(qiov, 0, bounce_buffer + skip_bytes,
2877                         nb_sectors * BDRV_SECTOR_SIZE);
2878
2879 err:
2880     qemu_vfree(bounce_buffer);
2881     return ret;
2882 }
2883
2884 /*
2885  * Handle a read request in coroutine context
2886  */
2887 static int coroutine_fn bdrv_co_do_readv(BlockDriverState *bs,
2888     int64_t sector_num, int nb_sectors, QEMUIOVector *qiov,
2889     BdrvRequestFlags flags)
2890 {
2891     BlockDriver *drv = bs->drv;
2892     BdrvTrackedRequest req;
2893     int ret;
2894
2895     if (!drv) {
2896         return -ENOMEDIUM;
2897     }
2898     if (bdrv_check_request(bs, sector_num, nb_sectors)) {
2899         return -EIO;
2900     }
2901
2902     if (bs->copy_on_read) {
2903         flags |= BDRV_REQ_COPY_ON_READ;
2904     }
2905     if (flags & BDRV_REQ_COPY_ON_READ) {
2906         bs->copy_on_read_in_flight++;
2907     }
2908
2909     if (bs->copy_on_read_in_flight) {
2910         wait_for_overlapping_requests(bs, sector_num, nb_sectors);
2911     }
2912
2913     /* throttling disk I/O */
2914     if (bs->io_limits_enabled) {
2915         bdrv_io_limits_intercept(bs, nb_sectors, false);
2916     }
2917
2918     tracked_request_begin(&req, bs, sector_num, nb_sectors, false);
2919
2920     if (flags & BDRV_REQ_COPY_ON_READ) {
2921         int pnum;
2922
2923         ret = bdrv_is_allocated(bs, sector_num, nb_sectors, &pnum);
2924         if (ret < 0) {
2925             goto out;
2926         }
2927
2928         if (!ret || pnum != nb_sectors) {
2929             ret = bdrv_co_do_copy_on_readv(bs, sector_num, nb_sectors, qiov);
2930             goto out;
2931         }
2932     }
2933
2934     if (!(bs->zero_beyond_eof && bs->growable)) {
2935         ret = drv->bdrv_co_readv(bs, sector_num, nb_sectors, qiov);
2936     } else {
2937         /* Read zeros after EOF of growable BDSes */
2938         int64_t len, total_sectors, max_nb_sectors;
2939
2940         len = bdrv_getlength(bs);
2941         if (len < 0) {
2942             ret = len;
2943             goto out;
2944         }
2945
2946         total_sectors = DIV_ROUND_UP(len, BDRV_SECTOR_SIZE);
2947         max_nb_sectors = MAX(0, total_sectors - sector_num);
2948         if (max_nb_sectors > 0) {
2949             ret = drv->bdrv_co_readv(bs, sector_num,
2950                                      MIN(nb_sectors, max_nb_sectors), qiov);
2951         } else {
2952             ret = 0;
2953         }
2954
2955         /* Reading beyond end of file is supposed to produce zeroes */
2956         if (ret == 0 && total_sectors < sector_num + nb_sectors) {
2957             uint64_t offset = MAX(0, total_sectors - sector_num);
2958             uint64_t bytes = (sector_num + nb_sectors - offset) *
2959                               BDRV_SECTOR_SIZE;
2960             qemu_iovec_memset(qiov, offset * BDRV_SECTOR_SIZE, 0, bytes);
2961         }
2962     }
2963
2964 out:
2965     tracked_request_end(&req);
2966
2967     if (flags & BDRV_REQ_COPY_ON_READ) {
2968         bs->copy_on_read_in_flight--;
2969     }
2970
2971     return ret;
2972 }
2973
2974 int coroutine_fn bdrv_co_readv(BlockDriverState *bs, int64_t sector_num,
2975     int nb_sectors, QEMUIOVector *qiov)
2976 {
2977     trace_bdrv_co_readv(bs, sector_num, nb_sectors);
2978
2979     return bdrv_co_do_readv(bs, sector_num, nb_sectors, qiov, 0);
2980 }
2981
2982 int coroutine_fn bdrv_co_copy_on_readv(BlockDriverState *bs,
2983     int64_t sector_num, int nb_sectors, QEMUIOVector *qiov)
2984 {
2985     trace_bdrv_co_copy_on_readv(bs, sector_num, nb_sectors);
2986
2987     return bdrv_co_do_readv(bs, sector_num, nb_sectors, qiov,
2988                             BDRV_REQ_COPY_ON_READ);
2989 }
2990
2991 /* if no limit is specified in the BlockLimits use a default
2992  * of 32768 512-byte sectors (16 MiB) per request.
2993  */
2994 #define MAX_WRITE_ZEROES_DEFAULT 32768
2995
2996 static int coroutine_fn bdrv_co_do_write_zeroes(BlockDriverState *bs,
2997     int64_t sector_num, int nb_sectors, BdrvRequestFlags flags)
2998 {
2999     BlockDriver *drv = bs->drv;
3000     QEMUIOVector qiov;
3001     struct iovec iov = {0};
3002     int ret = 0;
3003
3004     int max_write_zeroes = bs->bl.max_write_zeroes ?
3005                            bs->bl.max_write_zeroes : MAX_WRITE_ZEROES_DEFAULT;
3006
3007     while (nb_sectors > 0 && !ret) {
3008         int num = nb_sectors;
3009
3010         /* Align request.  Block drivers can expect the "bulk" of the request
3011          * to be aligned.
3012          */
3013         if (bs->bl.write_zeroes_alignment
3014             && num > bs->bl.write_zeroes_alignment) {
3015             if (sector_num % bs->bl.write_zeroes_alignment != 0) {
3016                 /* Make a small request up to the first aligned sector.  */
3017                 num = bs->bl.write_zeroes_alignment;
3018                 num -= sector_num % bs->bl.write_zeroes_alignment;
3019             } else if ((sector_num + num) % bs->bl.write_zeroes_alignment != 0) {
3020                 /* Shorten the request to the last aligned sector.  num cannot
3021                  * underflow because num > bs->bl.write_zeroes_alignment.
3022                  */
3023                 num -= (sector_num + num) % bs->bl.write_zeroes_alignment;
3024             }
3025         }
3026
3027         /* limit request size */
3028         if (num > max_write_zeroes) {
3029             num = max_write_zeroes;
3030         }
3031
3032         ret = -ENOTSUP;
3033         /* First try the efficient write zeroes operation */
3034         if (drv->bdrv_co_write_zeroes) {
3035             ret = drv->bdrv_co_write_zeroes(bs, sector_num, num, flags);
3036         }
3037
3038         if (ret == -ENOTSUP) {
3039             /* Fall back to bounce buffer if write zeroes is unsupported */
3040             iov.iov_len = num * BDRV_SECTOR_SIZE;
3041             if (iov.iov_base == NULL) {
3042                 iov.iov_base = qemu_blockalign(bs, num * BDRV_SECTOR_SIZE);
3043                 memset(iov.iov_base, 0, num * BDRV_SECTOR_SIZE);
3044             }
3045             qemu_iovec_init_external(&qiov, &iov, 1);
3046
3047             ret = drv->bdrv_co_writev(bs, sector_num, num, &qiov);
3048
3049             /* Keep bounce buffer around if it is big enough for all
3050              * all future requests.
3051              */
3052             if (num < max_write_zeroes) {
3053                 qemu_vfree(iov.iov_base);
3054                 iov.iov_base = NULL;
3055             }
3056         }
3057
3058         sector_num += num;
3059         nb_sectors -= num;
3060     }
3061
3062     qemu_vfree(iov.iov_base);
3063     return ret;
3064 }
3065
3066 /*
3067  * Handle a write request in coroutine context
3068  */
3069 static int coroutine_fn bdrv_co_do_writev(BlockDriverState *bs,
3070     int64_t sector_num, int nb_sectors, QEMUIOVector *qiov,
3071     BdrvRequestFlags flags)
3072 {
3073     BlockDriver *drv = bs->drv;
3074     BdrvTrackedRequest req;
3075     int ret;
3076
3077     if (!bs->drv) {
3078         return -ENOMEDIUM;
3079     }
3080     if (bs->read_only) {
3081         return -EACCES;
3082     }
3083     if (bdrv_check_request(bs, sector_num, nb_sectors)) {
3084         return -EIO;
3085     }
3086
3087     if (bs->copy_on_read_in_flight) {
3088         wait_for_overlapping_requests(bs, sector_num, nb_sectors);
3089     }
3090
3091     /* throttling disk I/O */
3092     if (bs->io_limits_enabled) {
3093         bdrv_io_limits_intercept(bs, nb_sectors, true);
3094     }
3095
3096     tracked_request_begin(&req, bs, sector_num, nb_sectors, true);
3097
3098     ret = notifier_with_return_list_notify(&bs->before_write_notifiers, &req);
3099
3100     if (ret < 0) {
3101         /* Do nothing, write notifier decided to fail this request */
3102     } else if (flags & BDRV_REQ_ZERO_WRITE) {
3103         ret = bdrv_co_do_write_zeroes(bs, sector_num, nb_sectors, flags);
3104     } else {
3105         ret = drv->bdrv_co_writev(bs, sector_num, nb_sectors, qiov);
3106     }
3107
3108     if (ret == 0 && !bs->enable_write_cache) {
3109         ret = bdrv_co_flush(bs);
3110     }
3111
3112     bdrv_set_dirty(bs, sector_num, nb_sectors);
3113
3114     if (bs->wr_highest_sector < sector_num + nb_sectors - 1) {
3115         bs->wr_highest_sector = sector_num + nb_sectors - 1;
3116     }
3117     if (bs->growable && ret >= 0) {
3118         bs->total_sectors = MAX(bs->total_sectors, sector_num + nb_sectors);
3119     }
3120
3121     tracked_request_end(&req);
3122
3123     return ret;
3124 }
3125
3126 int coroutine_fn bdrv_co_writev(BlockDriverState *bs, int64_t sector_num,
3127     int nb_sectors, QEMUIOVector *qiov)
3128 {
3129     trace_bdrv_co_writev(bs, sector_num, nb_sectors);
3130
3131     return bdrv_co_do_writev(bs, sector_num, nb_sectors, qiov, 0);
3132 }
3133
3134 int coroutine_fn bdrv_co_write_zeroes(BlockDriverState *bs,
3135                                       int64_t sector_num, int nb_sectors,
3136                                       BdrvRequestFlags flags)
3137 {
3138     trace_bdrv_co_write_zeroes(bs, sector_num, nb_sectors, flags);
3139
3140     if (!(bs->open_flags & BDRV_O_UNMAP)) {
3141         flags &= ~BDRV_REQ_MAY_UNMAP;
3142     }
3143
3144     return bdrv_co_do_writev(bs, sector_num, nb_sectors, NULL,
3145                              BDRV_REQ_ZERO_WRITE | flags);
3146 }
3147
3148 /**
3149  * Truncate file to 'offset' bytes (needed only for file protocols)
3150  */
3151 int bdrv_truncate(BlockDriverState *bs, int64_t offset)
3152 {
3153     BlockDriver *drv = bs->drv;
3154     int ret;
3155     if (!drv)
3156         return -ENOMEDIUM;
3157     if (!drv->bdrv_truncate)
3158         return -ENOTSUP;
3159     if (bs->read_only)
3160         return -EACCES;
3161     if (bdrv_in_use(bs))
3162         return -EBUSY;
3163     ret = drv->bdrv_truncate(bs, offset);
3164     if (ret == 0) {
3165         ret = refresh_total_sectors(bs, offset >> BDRV_SECTOR_BITS);
3166         bdrv_dev_resize_cb(bs);
3167     }
3168     return ret;
3169 }
3170
3171 /**
3172  * Length of a allocated file in bytes. Sparse files are counted by actual
3173  * allocated space. Return < 0 if error or unknown.
3174  */
3175 int64_t bdrv_get_allocated_file_size(BlockDriverState *bs)
3176 {
3177     BlockDriver *drv = bs->drv;
3178     if (!drv) {
3179         return -ENOMEDIUM;
3180     }
3181     if (drv->bdrv_get_allocated_file_size) {
3182         return drv->bdrv_get_allocated_file_size(bs);
3183     }
3184     if (bs->file) {
3185         return bdrv_get_allocated_file_size(bs->file);
3186     }
3187     return -ENOTSUP;
3188 }
3189
3190 /**
3191  * Length of a file in bytes. Return < 0 if error or unknown.
3192  */
3193 int64_t bdrv_getlength(BlockDriverState *bs)
3194 {
3195     BlockDriver *drv = bs->drv;
3196     if (!drv)
3197         return -ENOMEDIUM;
3198
3199     if (drv->has_variable_length) {
3200         int ret = refresh_total_sectors(bs, bs->total_sectors);
3201         if (ret < 0) {
3202             return ret;
3203         }
3204     }
3205     return bs->total_sectors * BDRV_SECTOR_SIZE;
3206 }
3207
3208 /* return 0 as number of sectors if no device present or error */
3209 void bdrv_get_geometry(BlockDriverState *bs, uint64_t *nb_sectors_ptr)
3210 {
3211     int64_t length;
3212     length = bdrv_getlength(bs);
3213     if (length < 0)
3214         length = 0;
3215     else
3216         length = length >> BDRV_SECTOR_BITS;
3217     *nb_sectors_ptr = length;
3218 }
3219
3220 void bdrv_set_on_error(BlockDriverState *bs, BlockdevOnError on_read_error,
3221                        BlockdevOnError on_write_error)
3222 {
3223     bs->on_read_error = on_read_error;
3224     bs->on_write_error = on_write_error;
3225 }
3226
3227 BlockdevOnError bdrv_get_on_error(BlockDriverState *bs, bool is_read)
3228 {
3229     return is_read ? bs->on_read_error : bs->on_write_error;
3230 }
3231
3232 BlockErrorAction bdrv_get_error_action(BlockDriverState *bs, bool is_read, int error)
3233 {
3234     BlockdevOnError on_err = is_read ? bs->on_read_error : bs->on_write_error;
3235
3236     switch (on_err) {
3237     case BLOCKDEV_ON_ERROR_ENOSPC:
3238         return (error == ENOSPC) ? BDRV_ACTION_STOP : BDRV_ACTION_REPORT;
3239     case BLOCKDEV_ON_ERROR_STOP:
3240         return BDRV_ACTION_STOP;
3241     case BLOCKDEV_ON_ERROR_REPORT:
3242         return BDRV_ACTION_REPORT;
3243     case BLOCKDEV_ON_ERROR_IGNORE:
3244         return BDRV_ACTION_IGNORE;
3245     default:
3246         abort();
3247     }
3248 }
3249
3250 /* This is done by device models because, while the block layer knows
3251  * about the error, it does not know whether an operation comes from
3252  * the device or the block layer (from a job, for example).
3253  */
3254 void bdrv_error_action(BlockDriverState *bs, BlockErrorAction action,
3255                        bool is_read, int error)
3256 {
3257     assert(error >= 0);
3258     bdrv_emit_qmp_error_event(bs, QEVENT_BLOCK_IO_ERROR, action, is_read);
3259     if (action == BDRV_ACTION_STOP) {
3260         vm_stop(RUN_STATE_IO_ERROR);
3261         bdrv_iostatus_set_err(bs, error);
3262     }
3263 }
3264
3265 int bdrv_is_read_only(BlockDriverState *bs)
3266 {
3267     return bs->read_only;
3268 }
3269
3270 int bdrv_is_sg(BlockDriverState *bs)
3271 {
3272     return bs->sg;
3273 }
3274
3275 int bdrv_enable_write_cache(BlockDriverState *bs)
3276 {
3277     return bs->enable_write_cache;
3278 }
3279
3280 void bdrv_set_enable_write_cache(BlockDriverState *bs, bool wce)
3281 {
3282     bs->enable_write_cache = wce;
3283
3284     /* so a reopen() will preserve wce */
3285     if (wce) {
3286         bs->open_flags |= BDRV_O_CACHE_WB;
3287     } else {
3288         bs->open_flags &= ~BDRV_O_CACHE_WB;
3289     }
3290 }
3291
3292 int bdrv_is_encrypted(BlockDriverState *bs)
3293 {
3294     if (bs->backing_hd && bs->backing_hd->encrypted)
3295         return 1;
3296     return bs->encrypted;
3297 }
3298
3299 int bdrv_key_required(BlockDriverState *bs)
3300 {
3301     BlockDriverState *backing_hd = bs->backing_hd;
3302
3303     if (backing_hd && backing_hd->encrypted && !backing_hd->valid_key)
3304         return 1;
3305     return (bs->encrypted && !bs->valid_key);
3306 }
3307
3308 int bdrv_set_key(BlockDriverState *bs, const char *key)
3309 {
3310     int ret;
3311     if (bs->backing_hd && bs->backing_hd->encrypted) {
3312         ret = bdrv_set_key(bs->backing_hd, key);
3313         if (ret < 0)
3314             return ret;
3315         if (!bs->encrypted)
3316             return 0;
3317     }
3318     if (!bs->encrypted) {
3319         return -EINVAL;
3320     } else if (!bs->drv || !bs->drv->bdrv_set_key) {
3321         return -ENOMEDIUM;
3322     }
3323     ret = bs->drv->bdrv_set_key(bs, key);
3324     if (ret < 0) {
3325         bs->valid_key = 0;
3326     } else if (!bs->valid_key) {
3327         bs->valid_key = 1;
3328         /* call the change callback now, we skipped it on open */
3329         bdrv_dev_change_media_cb(bs, true);
3330     }
3331     return ret;
3332 }
3333
3334 const char *bdrv_get_format_name(BlockDriverState *bs)
3335 {
3336     return bs->drv ? bs->drv->format_name : NULL;
3337 }
3338
3339 void bdrv_iterate_format(void (*it)(void *opaque, const char *name),
3340                          void *opaque)
3341 {
3342     BlockDriver *drv;
3343
3344     QLIST_FOREACH(drv, &bdrv_drivers, list) {
3345         it(opaque, drv->format_name);
3346     }
3347 }
3348
3349 /* This function is to find block backend bs */
3350 BlockDriverState *bdrv_find(const char *name)
3351 {
3352     BlockDriverState *bs;
3353
3354     QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
3355         if (!strcmp(name, bs->device_name)) {
3356             return bs;
3357         }
3358     }
3359     return NULL;
3360 }
3361
3362 /* This function is to find a node in the bs graph */
3363 BlockDriverState *bdrv_find_node(const char *node_name)
3364 {
3365     BlockDriverState *bs;
3366
3367     assert(node_name);
3368
3369     QTAILQ_FOREACH(bs, &graph_bdrv_states, node_list) {
3370         if (!strcmp(node_name, bs->node_name)) {
3371             return bs;
3372         }
3373     }
3374     return NULL;
3375 }
3376
3377 /* Put this QMP function here so it can access the static graph_bdrv_states. */
3378 BlockDeviceInfoList *bdrv_named_nodes_list(void)
3379 {
3380     BlockDeviceInfoList *list, *entry;
3381     BlockDriverState *bs;
3382
3383     list = NULL;
3384     QTAILQ_FOREACH(bs, &graph_bdrv_states, node_list) {
3385         entry = g_malloc0(sizeof(*entry));
3386         entry->value = bdrv_block_device_info(bs);
3387         entry->next = list;
3388         list = entry;
3389     }
3390
3391     return list;
3392 }
3393
3394 BlockDriverState *bdrv_lookup_bs(const char *device,
3395                                  const char *node_name,
3396                                  Error **errp)
3397 {
3398     BlockDriverState *bs = NULL;
3399
3400     if ((!device && !node_name) || (device && node_name)) {
3401         error_setg(errp, "Use either device or node-name but not both");
3402         return NULL;
3403     }
3404
3405     if (device) {
3406         bs = bdrv_find(device);
3407
3408         if (!bs) {
3409             error_set(errp, QERR_DEVICE_NOT_FOUND, device);
3410             return NULL;
3411         }
3412
3413         return bs;
3414     }
3415
3416     bs = bdrv_find_node(node_name);
3417
3418     if (!bs) {
3419         error_set(errp, QERR_DEVICE_NOT_FOUND, node_name);
3420         return NULL;
3421     }
3422
3423     return bs;
3424 }
3425
3426 BlockDriverState *bdrv_next(BlockDriverState *bs)
3427 {
3428     if (!bs) {
3429         return QTAILQ_FIRST(&bdrv_states);
3430     }
3431     return QTAILQ_NEXT(bs, device_list);
3432 }
3433
3434 void bdrv_iterate(void (*it)(void *opaque, BlockDriverState *bs), void *opaque)
3435 {
3436     BlockDriverState *bs;
3437
3438     QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
3439         it(opaque, bs);
3440     }
3441 }
3442
3443 const char *bdrv_get_device_name(BlockDriverState *bs)
3444 {
3445     return bs->device_name;
3446 }
3447
3448 int bdrv_get_flags(BlockDriverState *bs)
3449 {
3450     return bs->open_flags;
3451 }
3452
3453 int bdrv_flush_all(void)
3454 {
3455     BlockDriverState *bs;
3456     int result = 0;
3457
3458     QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
3459         int ret = bdrv_flush(bs);
3460         if (ret < 0 && !result) {
3461             result = ret;
3462         }
3463     }
3464
3465     return result;
3466 }
3467
3468 int bdrv_has_zero_init_1(BlockDriverState *bs)
3469 {
3470     return 1;
3471 }
3472
3473 int bdrv_has_zero_init(BlockDriverState *bs)
3474 {
3475     assert(bs->drv);
3476
3477     /* If BS is a copy on write image, it is initialized to
3478        the contents of the base image, which may not be zeroes.  */
3479     if (bs->backing_hd) {
3480         return 0;
3481     }
3482     if (bs->drv->bdrv_has_zero_init) {
3483         return bs->drv->bdrv_has_zero_init(bs);
3484     }
3485
3486     /* safe default */
3487     return 0;
3488 }
3489
3490 bool bdrv_unallocated_blocks_are_zero(BlockDriverState *bs)
3491 {
3492     BlockDriverInfo bdi;
3493
3494     if (bs->backing_hd) {
3495         return false;
3496     }
3497
3498     if (bdrv_get_info(bs, &bdi) == 0) {
3499         return bdi.unallocated_blocks_are_zero;
3500     }
3501
3502     return false;
3503 }
3504
3505 bool bdrv_can_write_zeroes_with_unmap(BlockDriverState *bs)
3506 {
3507     BlockDriverInfo bdi;
3508
3509     if (bs->backing_hd || !(bs->open_flags & BDRV_O_UNMAP)) {
3510         return false;
3511     }
3512
3513     if (bdrv_get_info(bs, &bdi) == 0) {
3514         return bdi.can_write_zeroes_with_unmap;
3515     }
3516
3517     return false;
3518 }
3519
3520 typedef struct BdrvCoGetBlockStatusData {
3521     BlockDriverState *bs;
3522     BlockDriverState *base;
3523     int64_t sector_num;
3524     int nb_sectors;
3525     int *pnum;
3526     int64_t ret;
3527     bool done;
3528 } BdrvCoGetBlockStatusData;
3529
3530 /*
3531  * Returns true iff the specified sector is present in the disk image. Drivers
3532  * not implementing the functionality are assumed to not support backing files,
3533  * hence all their sectors are reported as allocated.
3534  *
3535  * If 'sector_num' is beyond the end of the disk image the return value is 0
3536  * and 'pnum' is set to 0.
3537  *
3538  * 'pnum' is set to the number of sectors (including and immediately following
3539  * the specified sector) that are known to be in the same
3540  * allocated/unallocated state.
3541  *
3542  * 'nb_sectors' is the max value 'pnum' should be set to.  If nb_sectors goes
3543  * beyond the end of the disk image it will be clamped.
3544  */
3545 static int64_t coroutine_fn bdrv_co_get_block_status(BlockDriverState *bs,
3546                                                      int64_t sector_num,
3547                                                      int nb_sectors, int *pnum)
3548 {
3549     int64_t length;
3550     int64_t n;
3551     int64_t ret, ret2;
3552
3553     length = bdrv_getlength(bs);
3554     if (length < 0) {
3555         return length;
3556     }
3557
3558     if (sector_num >= (length >> BDRV_SECTOR_BITS)) {
3559         *pnum = 0;
3560         return 0;
3561     }
3562
3563     n = bs->total_sectors - sector_num;
3564     if (n < nb_sectors) {
3565         nb_sectors = n;
3566     }
3567
3568     if (!bs->drv->bdrv_co_get_block_status) {
3569         *pnum = nb_sectors;
3570         ret = BDRV_BLOCK_DATA;
3571         if (bs->drv->protocol_name) {
3572             ret |= BDRV_BLOCK_OFFSET_VALID | (sector_num * BDRV_SECTOR_SIZE);
3573         }
3574         return ret;
3575     }
3576
3577     ret = bs->drv->bdrv_co_get_block_status(bs, sector_num, nb_sectors, pnum);
3578     if (ret < 0) {
3579         *pnum = 0;
3580         return ret;
3581     }
3582
3583     if (ret & BDRV_BLOCK_RAW) {
3584         assert(ret & BDRV_BLOCK_OFFSET_VALID);
3585         return bdrv_get_block_status(bs->file, ret >> BDRV_SECTOR_BITS,
3586                                      *pnum, pnum);
3587     }
3588
3589     if (!(ret & BDRV_BLOCK_DATA) && !(ret & BDRV_BLOCK_ZERO)) {
3590         if (bdrv_unallocated_blocks_are_zero(bs)) {
3591             ret |= BDRV_BLOCK_ZERO;
3592         } else if (bs->backing_hd) {
3593             BlockDriverState *bs2 = bs->backing_hd;
3594             int64_t length2 = bdrv_getlength(bs2);
3595             if (length2 >= 0 && sector_num >= (length2 >> BDRV_SECTOR_BITS)) {
3596                 ret |= BDRV_BLOCK_ZERO;
3597             }
3598         }
3599     }
3600
3601     if (bs->file &&
3602         (ret & BDRV_BLOCK_DATA) && !(ret & BDRV_BLOCK_ZERO) &&
3603         (ret & BDRV_BLOCK_OFFSET_VALID)) {
3604         ret2 = bdrv_co_get_block_status(bs->file, ret >> BDRV_SECTOR_BITS,
3605                                         *pnum, pnum);
3606         if (ret2 >= 0) {
3607             /* Ignore errors.  This is just providing extra information, it
3608              * is useful but not necessary.
3609              */
3610             ret |= (ret2 & BDRV_BLOCK_ZERO);
3611         }
3612     }
3613
3614     return ret;
3615 }
3616
3617 /* Coroutine wrapper for bdrv_get_block_status() */
3618 static void coroutine_fn bdrv_get_block_status_co_entry(void *opaque)
3619 {
3620     BdrvCoGetBlockStatusData *data = opaque;
3621     BlockDriverState *bs = data->bs;
3622
3623     data->ret = bdrv_co_get_block_status(bs, data->sector_num, data->nb_sectors,
3624                                          data->pnum);
3625     data->done = true;
3626 }
3627
3628 /*
3629  * Synchronous wrapper around bdrv_co_get_block_status().
3630  *
3631  * See bdrv_co_get_block_status() for details.
3632  */
3633 int64_t bdrv_get_block_status(BlockDriverState *bs, int64_t sector_num,
3634                               int nb_sectors, int *pnum)
3635 {
3636     Coroutine *co;
3637     BdrvCoGetBlockStatusData data = {
3638         .bs = bs,
3639         .sector_num = sector_num,
3640         .nb_sectors = nb_sectors,
3641         .pnum = pnum,
3642         .done = false,
3643     };
3644
3645     if (qemu_in_coroutine()) {
3646         /* Fast-path if already in coroutine context */
3647         bdrv_get_block_status_co_entry(&data);
3648     } else {
3649         co = qemu_coroutine_create(bdrv_get_block_status_co_entry);
3650         qemu_coroutine_enter(co, &data);
3651         while (!data.done) {
3652             qemu_aio_wait();
3653         }
3654     }
3655     return data.ret;
3656 }
3657
3658 int coroutine_fn bdrv_is_allocated(BlockDriverState *bs, int64_t sector_num,
3659                                    int nb_sectors, int *pnum)
3660 {
3661     int64_t ret = bdrv_get_block_status(bs, sector_num, nb_sectors, pnum);
3662     if (ret < 0) {
3663         return ret;
3664     }
3665     return
3666         (ret & BDRV_BLOCK_DATA) ||
3667         ((ret & BDRV_BLOCK_ZERO) && !bdrv_has_zero_init(bs));
3668 }
3669
3670 /*
3671  * Given an image chain: ... -> [BASE] -> [INTER1] -> [INTER2] -> [TOP]
3672  *
3673  * Return true if the given sector is allocated in any image between
3674  * BASE and TOP (inclusive).  BASE can be NULL to check if the given
3675  * sector is allocated in any image of the chain.  Return false otherwise.
3676  *
3677  * 'pnum' is set to the number of sectors (including and immediately following
3678  *  the specified sector) that are known to be in the same
3679  *  allocated/unallocated state.
3680  *
3681  */
3682 int bdrv_is_allocated_above(BlockDriverState *top,
3683                             BlockDriverState *base,
3684                             int64_t sector_num,
3685                             int nb_sectors, int *pnum)
3686 {
3687     BlockDriverState *intermediate;
3688     int ret, n = nb_sectors;
3689
3690     intermediate = top;
3691     while (intermediate && intermediate != base) {
3692         int pnum_inter;
3693         ret = bdrv_is_allocated(intermediate, sector_num, nb_sectors,
3694                                 &pnum_inter);
3695         if (ret < 0) {
3696             return ret;
3697         } else if (ret) {
3698             *pnum = pnum_inter;
3699             return 1;
3700         }
3701
3702         /*
3703          * [sector_num, nb_sectors] is unallocated on top but intermediate
3704          * might have
3705          *
3706          * [sector_num+x, nr_sectors] allocated.
3707          */
3708         if (n > pnum_inter &&
3709             (intermediate == top ||
3710              sector_num + pnum_inter < intermediate->total_sectors)) {
3711             n = pnum_inter;
3712         }
3713
3714         intermediate = intermediate->backing_hd;
3715     }
3716
3717     *pnum = n;
3718     return 0;
3719 }
3720
3721 const char *bdrv_get_encrypted_filename(BlockDriverState *bs)
3722 {
3723     if (bs->backing_hd && bs->backing_hd->encrypted)
3724         return bs->backing_file;
3725     else if (bs->encrypted)
3726         return bs->filename;
3727     else
3728         return NULL;
3729 }
3730
3731 void bdrv_get_backing_filename(BlockDriverState *bs,
3732                                char *filename, int filename_size)
3733 {
3734     pstrcpy(filename, filename_size, bs->backing_file);
3735 }
3736
3737 int bdrv_write_compressed(BlockDriverState *bs, int64_t sector_num,
3738                           const uint8_t *buf, int nb_sectors)
3739 {
3740     BlockDriver *drv = bs->drv;
3741     if (!drv)
3742         return -ENOMEDIUM;
3743     if (!drv->bdrv_write_compressed)
3744         return -ENOTSUP;
3745     if (bdrv_check_request(bs, sector_num, nb_sectors))
3746         return -EIO;
3747
3748     assert(QLIST_EMPTY(&bs->dirty_bitmaps));
3749
3750     return drv->bdrv_write_compressed(bs, sector_num, buf, nb_sectors);
3751 }
3752
3753 int bdrv_get_info(BlockDriverState *bs, BlockDriverInfo *bdi)
3754 {
3755     BlockDriver *drv = bs->drv;
3756     if (!drv)
3757         return -ENOMEDIUM;
3758     if (!drv->bdrv_get_info)
3759         return -ENOTSUP;
3760     memset(bdi, 0, sizeof(*bdi));
3761     return drv->bdrv_get_info(bs, bdi);
3762 }
3763
3764 ImageInfoSpecific *bdrv_get_specific_info(BlockDriverState *bs)
3765 {
3766     BlockDriver *drv = bs->drv;
3767     if (drv && drv->bdrv_get_specific_info) {
3768         return drv->bdrv_get_specific_info(bs);
3769     }
3770     return NULL;
3771 }
3772
3773 int bdrv_save_vmstate(BlockDriverState *bs, const uint8_t *buf,
3774                       int64_t pos, int size)
3775 {
3776     QEMUIOVector qiov;
3777     struct iovec iov = {
3778         .iov_base   = (void *) buf,
3779         .iov_len    = size,
3780     };
3781
3782     qemu_iovec_init_external(&qiov, &iov, 1);
3783     return bdrv_writev_vmstate(bs, &qiov, pos);
3784 }
3785
3786 int bdrv_writev_vmstate(BlockDriverState *bs, QEMUIOVector *qiov, int64_t pos)
3787 {
3788     BlockDriver *drv = bs->drv;
3789
3790     if (!drv) {
3791         return -ENOMEDIUM;
3792     } else if (drv->bdrv_save_vmstate) {
3793         return drv->bdrv_save_vmstate(bs, qiov, pos);
3794     } else if (bs->file) {
3795         return bdrv_writev_vmstate(bs->file, qiov, pos);
3796     }
3797
3798     return -ENOTSUP;
3799 }
3800
3801 int bdrv_load_vmstate(BlockDriverState *bs, uint8_t *buf,
3802                       int64_t pos, int size)
3803 {
3804     BlockDriver *drv = bs->drv;
3805     if (!drv)
3806         return -ENOMEDIUM;
3807     if (drv->bdrv_load_vmstate)
3808         return drv->bdrv_load_vmstate(bs, buf, pos, size);
3809     if (bs->file)
3810         return bdrv_load_vmstate(bs->file, buf, pos, size);
3811     return -ENOTSUP;
3812 }
3813
3814 void bdrv_debug_event(BlockDriverState *bs, BlkDebugEvent event)
3815 {
3816     if (!bs || !bs->drv || !bs->drv->bdrv_debug_event) {
3817         return;
3818     }
3819
3820     bs->drv->bdrv_debug_event(bs, event);
3821 }
3822
3823 int bdrv_debug_breakpoint(BlockDriverState *bs, const char *event,
3824                           const char *tag)
3825 {
3826     while (bs && bs->drv && !bs->drv->bdrv_debug_breakpoint) {
3827         bs = bs->file;
3828     }
3829
3830     if (bs && bs->drv && bs->drv->bdrv_debug_breakpoint) {
3831         return bs->drv->bdrv_debug_breakpoint(bs, event, tag);
3832     }
3833
3834     return -ENOTSUP;
3835 }
3836
3837 int bdrv_debug_remove_breakpoint(BlockDriverState *bs, const char *tag)
3838 {
3839     while (bs && bs->drv && !bs->drv->bdrv_debug_remove_breakpoint) {
3840         bs = bs->file;
3841     }
3842
3843     if (bs && bs->drv && bs->drv->bdrv_debug_remove_breakpoint) {
3844         return bs->drv->bdrv_debug_remove_breakpoint(bs, tag);
3845     }
3846
3847     return -ENOTSUP;
3848 }
3849
3850 int bdrv_debug_resume(BlockDriverState *bs, const char *tag)
3851 {
3852     while (bs && bs->drv && !bs->drv->bdrv_debug_resume) {
3853         bs = bs->file;
3854     }
3855
3856     if (bs && bs->drv && bs->drv->bdrv_debug_resume) {
3857         return bs->drv->bdrv_debug_resume(bs, tag);
3858     }
3859
3860     return -ENOTSUP;
3861 }
3862
3863 bool bdrv_debug_is_suspended(BlockDriverState *bs, const char *tag)
3864 {
3865     while (bs && bs->drv && !bs->drv->bdrv_debug_is_suspended) {
3866         bs = bs->file;
3867     }
3868
3869     if (bs && bs->drv && bs->drv->bdrv_debug_is_suspended) {
3870         return bs->drv->bdrv_debug_is_suspended(bs, tag);
3871     }
3872
3873     return false;
3874 }
3875
3876 int bdrv_is_snapshot(BlockDriverState *bs)
3877 {
3878     return !!(bs->open_flags & BDRV_O_SNAPSHOT);
3879 }
3880
3881 /* backing_file can either be relative, or absolute, or a protocol.  If it is
3882  * relative, it must be relative to the chain.  So, passing in bs->filename
3883  * from a BDS as backing_file should not be done, as that may be relative to
3884  * the CWD rather than the chain. */
3885 BlockDriverState *bdrv_find_backing_image(BlockDriverState *bs,
3886         const char *backing_file)
3887 {
3888     char *filename_full = NULL;
3889     char *backing_file_full = NULL;
3890     char *filename_tmp = NULL;
3891     int is_protocol = 0;
3892     BlockDriverState *curr_bs = NULL;
3893     BlockDriverState *retval = NULL;
3894
3895     if (!bs || !bs->drv || !backing_file) {
3896         return NULL;
3897     }
3898
3899     filename_full     = g_malloc(PATH_MAX);
3900     backing_file_full = g_malloc(PATH_MAX);
3901     filename_tmp      = g_malloc(PATH_MAX);
3902
3903     is_protocol = path_has_protocol(backing_file);
3904
3905     for (curr_bs = bs; curr_bs->backing_hd; curr_bs = curr_bs->backing_hd) {
3906
3907         /* If either of the filename paths is actually a protocol, then
3908          * compare unmodified paths; otherwise make paths relative */
3909         if (is_protocol || path_has_protocol(curr_bs->backing_file)) {
3910             if (strcmp(backing_file, curr_bs->backing_file) == 0) {
3911                 retval = curr_bs->backing_hd;
3912                 break;
3913             }
3914         } else {
3915             /* If not an absolute filename path, make it relative to the current
3916              * image's filename path */
3917             path_combine(filename_tmp, PATH_MAX, curr_bs->filename,
3918                          backing_file);
3919
3920             /* We are going to compare absolute pathnames */
3921             if (!realpath(filename_tmp, filename_full)) {
3922                 continue;
3923             }
3924
3925             /* We need to make sure the backing filename we are comparing against
3926              * is relative to the current image filename (or absolute) */
3927             path_combine(filename_tmp, PATH_MAX, curr_bs->filename,
3928                          curr_bs->backing_file);
3929
3930             if (!realpath(filename_tmp, backing_file_full)) {
3931                 continue;
3932             }
3933
3934             if (strcmp(backing_file_full, filename_full) == 0) {
3935                 retval = curr_bs->backing_hd;
3936                 break;
3937             }
3938         }
3939     }
3940
3941     g_free(filename_full);
3942     g_free(backing_file_full);
3943     g_free(filename_tmp);
3944     return retval;
3945 }
3946
3947 int bdrv_get_backing_file_depth(BlockDriverState *bs)
3948 {
3949     if (!bs->drv) {
3950         return 0;
3951     }
3952
3953     if (!bs->backing_hd) {
3954         return 0;
3955     }
3956
3957     return 1 + bdrv_get_backing_file_depth(bs->backing_hd);
3958 }
3959
3960 BlockDriverState *bdrv_find_base(BlockDriverState *bs)
3961 {
3962     BlockDriverState *curr_bs = NULL;
3963
3964     if (!bs) {
3965         return NULL;
3966     }
3967
3968     curr_bs = bs;
3969
3970     while (curr_bs->backing_hd) {
3971         curr_bs = curr_bs->backing_hd;
3972     }
3973     return curr_bs;
3974 }
3975
3976 /**************************************************************/
3977 /* async I/Os */
3978
3979 BlockDriverAIOCB *bdrv_aio_readv(BlockDriverState *bs, int64_t sector_num,
3980                                  QEMUIOVector *qiov, int nb_sectors,
3981                                  BlockDriverCompletionFunc *cb, void *opaque)
3982 {
3983     trace_bdrv_aio_readv(bs, sector_num, nb_sectors, opaque);
3984
3985     return bdrv_co_aio_rw_vector(bs, sector_num, qiov, nb_sectors, 0,
3986                                  cb, opaque, false);
3987 }
3988
3989 BlockDriverAIOCB *bdrv_aio_writev(BlockDriverState *bs, int64_t sector_num,
3990                                   QEMUIOVector *qiov, int nb_sectors,
3991                                   BlockDriverCompletionFunc *cb, void *opaque)
3992 {
3993     trace_bdrv_aio_writev(bs, sector_num, nb_sectors, opaque);
3994
3995     return bdrv_co_aio_rw_vector(bs, sector_num, qiov, nb_sectors, 0,
3996                                  cb, opaque, true);
3997 }
3998
3999 BlockDriverAIOCB *bdrv_aio_write_zeroes(BlockDriverState *bs,
4000         int64_t sector_num, int nb_sectors, BdrvRequestFlags flags,
4001         BlockDriverCompletionFunc *cb, void *opaque)
4002 {
4003     trace_bdrv_aio_write_zeroes(bs, sector_num, nb_sectors, flags, opaque);
4004
4005     return bdrv_co_aio_rw_vector(bs, sector_num, NULL, nb_sectors,
4006                                  BDRV_REQ_ZERO_WRITE | flags,
4007                                  cb, opaque, true);
4008 }
4009
4010
4011 typedef struct MultiwriteCB {
4012     int error;
4013     int num_requests;
4014     int num_callbacks;
4015     struct {
4016         BlockDriverCompletionFunc *cb;
4017         void *opaque;
4018         QEMUIOVector *free_qiov;
4019     } callbacks[];
4020 } MultiwriteCB;
4021
4022 static void multiwrite_user_cb(MultiwriteCB *mcb)
4023 {
4024     int i;
4025
4026     for (i = 0; i < mcb->num_callbacks; i++) {
4027         mcb->callbacks[i].cb(mcb->callbacks[i].opaque, mcb->error);
4028         if (mcb->callbacks[i].free_qiov) {
4029             qemu_iovec_destroy(mcb->callbacks[i].free_qiov);
4030         }
4031         g_free(mcb->callbacks[i].free_qiov);
4032     }
4033 }
4034
4035 static void multiwrite_cb(void *opaque, int ret)
4036 {
4037     MultiwriteCB *mcb = opaque;
4038
4039     trace_multiwrite_cb(mcb, ret);
4040
4041     if (ret < 0 && !mcb->error) {
4042         mcb->error = ret;
4043     }
4044
4045     mcb->num_requests--;
4046     if (mcb->num_requests == 0) {
4047         multiwrite_user_cb(mcb);
4048         g_free(mcb);
4049     }
4050 }
4051
4052 static int multiwrite_req_compare(const void *a, const void *b)
4053 {
4054     const BlockRequest *req1 = a, *req2 = b;
4055
4056     /*
4057      * Note that we can't simply subtract req2->sector from req1->sector
4058      * here as that could overflow the return value.
4059      */
4060     if (req1->sector > req2->sector) {
4061         return 1;
4062     } else if (req1->sector < req2->sector) {
4063         return -1;
4064     } else {
4065         return 0;
4066     }
4067 }
4068
4069 /*
4070  * Takes a bunch of requests and tries to merge them. Returns the number of
4071  * requests that remain after merging.
4072  */
4073 static int multiwrite_merge(BlockDriverState *bs, BlockRequest *reqs,
4074     int num_reqs, MultiwriteCB *mcb)
4075 {
4076     int i, outidx;
4077
4078     // Sort requests by start sector
4079     qsort(reqs, num_reqs, sizeof(*reqs), &multiwrite_req_compare);
4080
4081     // Check if adjacent requests touch the same clusters. If so, combine them,
4082     // filling up gaps with zero sectors.
4083     outidx = 0;
4084     for (i = 1; i < num_reqs; i++) {
4085         int merge = 0;
4086         int64_t oldreq_last = reqs[outidx].sector + reqs[outidx].nb_sectors;
4087
4088         // Handle exactly sequential writes and overlapping writes.
4089         if (reqs[i].sector <= oldreq_last) {
4090             merge = 1;
4091         }
4092
4093         if (reqs[outidx].qiov->niov + reqs[i].qiov->niov + 1 > IOV_MAX) {
4094             merge = 0;
4095         }
4096
4097         if (merge) {
4098             size_t size;
4099             QEMUIOVector *qiov = g_malloc0(sizeof(*qiov));
4100             qemu_iovec_init(qiov,
4101                 reqs[outidx].qiov->niov + reqs[i].qiov->niov + 1);
4102
4103             // Add the first request to the merged one. If the requests are
4104             // overlapping, drop the last sectors of the first request.
4105             size = (reqs[i].sector - reqs[outidx].sector) << 9;
4106             qemu_iovec_concat(qiov, reqs[outidx].qiov, 0, size);
4107
4108             // We should need to add any zeros between the two requests
4109             assert (reqs[i].sector <= oldreq_last);
4110
4111             // Add the second request
4112             qemu_iovec_concat(qiov, reqs[i].qiov, 0, reqs[i].qiov->size);
4113
4114             reqs[outidx].nb_sectors = qiov->size >> 9;
4115             reqs[outidx].qiov = qiov;
4116
4117             mcb->callbacks[i].free_qiov = reqs[outidx].qiov;
4118         } else {
4119             outidx++;
4120             reqs[outidx].sector     = reqs[i].sector;
4121             reqs[outidx].nb_sectors = reqs[i].nb_sectors;
4122             reqs[outidx].qiov       = reqs[i].qiov;
4123         }
4124     }
4125
4126     return outidx + 1;
4127 }
4128
4129 /*
4130  * Submit multiple AIO write requests at once.
4131  *
4132  * On success, the function returns 0 and all requests in the reqs array have
4133  * been submitted. In error case this function returns -1, and any of the
4134  * requests may or may not be submitted yet. In particular, this means that the
4135  * callback will be called for some of the requests, for others it won't. The
4136  * caller must check the error field of the BlockRequest to wait for the right
4137  * callbacks (if error != 0, no callback will be called).
4138  *
4139  * The implementation may modify the contents of the reqs array, e.g. to merge
4140  * requests. However, the fields opaque and error are left unmodified as they
4141  * are used to signal failure for a single request to the caller.
4142  */
4143 int bdrv_aio_multiwrite(BlockDriverState *bs, BlockRequest *reqs, int num_reqs)
4144 {
4145     MultiwriteCB *mcb;
4146     int i;
4147
4148     /* don't submit writes if we don't have a medium */
4149     if (bs->drv == NULL) {
4150         for (i = 0; i < num_reqs; i++) {
4151             reqs[i].error = -ENOMEDIUM;
4152         }
4153         return -1;
4154     }
4155
4156     if (num_reqs == 0) {
4157         return 0;
4158     }
4159
4160     // Create MultiwriteCB structure
4161     mcb = g_malloc0(sizeof(*mcb) + num_reqs * sizeof(*mcb->callbacks));
4162     mcb->num_requests = 0;
4163     mcb->num_callbacks = num_reqs;
4164
4165     for (i = 0; i < num_reqs; i++) {
4166         mcb->callbacks[i].cb = reqs[i].cb;
4167         mcb->callbacks[i].opaque = reqs[i].opaque;
4168     }
4169
4170     // Check for mergable requests
4171     num_reqs = multiwrite_merge(bs, reqs, num_reqs, mcb);
4172
4173     trace_bdrv_aio_multiwrite(mcb, mcb->num_callbacks, num_reqs);
4174
4175     /* Run the aio requests. */
4176     mcb->num_requests = num_reqs;
4177     for (i = 0; i < num_reqs; i++) {
4178         bdrv_co_aio_rw_vector(bs, reqs[i].sector, reqs[i].qiov,
4179                               reqs[i].nb_sectors, reqs[i].flags,
4180                               multiwrite_cb, mcb,
4181                               true);
4182     }
4183
4184     return 0;
4185 }
4186
4187 void bdrv_aio_cancel(BlockDriverAIOCB *acb)
4188 {
4189     acb->aiocb_info->cancel(acb);
4190 }
4191
4192 /**************************************************************/
4193 /* async block device emulation */
4194
4195 typedef struct BlockDriverAIOCBSync {
4196     BlockDriverAIOCB common;
4197     QEMUBH *bh;
4198     int ret;
4199     /* vector translation state */
4200     QEMUIOVector *qiov;
4201     uint8_t *bounce;
4202     int is_write;
4203 } BlockDriverAIOCBSync;
4204
4205 static void bdrv_aio_cancel_em(BlockDriverAIOCB *blockacb)
4206 {
4207     BlockDriverAIOCBSync *acb =
4208         container_of(blockacb, BlockDriverAIOCBSync, common);
4209     qemu_bh_delete(acb->bh);
4210     acb->bh = NULL;
4211     qemu_aio_release(acb);
4212 }
4213
4214 static const AIOCBInfo bdrv_em_aiocb_info = {
4215     .aiocb_size         = sizeof(BlockDriverAIOCBSync),
4216     .cancel             = bdrv_aio_cancel_em,
4217 };
4218
4219 static void bdrv_aio_bh_cb(void *opaque)
4220 {
4221     BlockDriverAIOCBSync *acb = opaque;
4222
4223     if (!acb->is_write)
4224         qemu_iovec_from_buf(acb->qiov, 0, acb->bounce, acb->qiov->size);
4225     qemu_vfree(acb->bounce);
4226     acb->common.cb(acb->common.opaque, acb->ret);
4227     qemu_bh_delete(acb->bh);
4228     acb->bh = NULL;
4229     qemu_aio_release(acb);
4230 }
4231
4232 static BlockDriverAIOCB *bdrv_aio_rw_vector(BlockDriverState *bs,
4233                                             int64_t sector_num,
4234                                             QEMUIOVector *qiov,
4235                                             int nb_sectors,
4236                                             BlockDriverCompletionFunc *cb,
4237                                             void *opaque,
4238                                             int is_write)
4239
4240 {
4241     BlockDriverAIOCBSync *acb;
4242
4243     acb = qemu_aio_get(&bdrv_em_aiocb_info, bs, cb, opaque);
4244     acb->is_write = is_write;
4245     acb->qiov = qiov;
4246     acb->bounce = qemu_blockalign(bs, qiov->size);
4247     acb->bh = qemu_bh_new(bdrv_aio_bh_cb, acb);
4248
4249     if (is_write) {
4250         qemu_iovec_to_buf(acb->qiov, 0, acb->bounce, qiov->size);
4251         acb->ret = bs->drv->bdrv_write(bs, sector_num, acb->bounce, nb_sectors);
4252     } else {
4253         acb->ret = bs->drv->bdrv_read(bs, sector_num, acb->bounce, nb_sectors);
4254     }
4255
4256     qemu_bh_schedule(acb->bh);
4257
4258     return &acb->common;
4259 }
4260
4261 static BlockDriverAIOCB *bdrv_aio_readv_em(BlockDriverState *bs,
4262         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
4263         BlockDriverCompletionFunc *cb, void *opaque)
4264 {
4265     return bdrv_aio_rw_vector(bs, sector_num, qiov, nb_sectors, cb, opaque, 0);
4266 }
4267
4268 static BlockDriverAIOCB *bdrv_aio_writev_em(BlockDriverState *bs,
4269         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
4270         BlockDriverCompletionFunc *cb, void *opaque)
4271 {
4272     return bdrv_aio_rw_vector(bs, sector_num, qiov, nb_sectors, cb, opaque, 1);
4273 }
4274
4275
4276 typedef struct BlockDriverAIOCBCoroutine {
4277     BlockDriverAIOCB common;
4278     BlockRequest req;
4279     bool is_write;
4280     bool *done;
4281     QEMUBH* bh;
4282 } BlockDriverAIOCBCoroutine;
4283
4284 static void bdrv_aio_co_cancel_em(BlockDriverAIOCB *blockacb)
4285 {
4286     BlockDriverAIOCBCoroutine *acb =
4287         container_of(blockacb, BlockDriverAIOCBCoroutine, common);
4288     bool done = false;
4289
4290     acb->done = &done;
4291     while (!done) {
4292         qemu_aio_wait();
4293     }
4294 }
4295
4296 static const AIOCBInfo bdrv_em_co_aiocb_info = {
4297     .aiocb_size         = sizeof(BlockDriverAIOCBCoroutine),
4298     .cancel             = bdrv_aio_co_cancel_em,
4299 };
4300
4301 static void bdrv_co_em_bh(void *opaque)
4302 {
4303     BlockDriverAIOCBCoroutine *acb = opaque;
4304
4305     acb->common.cb(acb->common.opaque, acb->req.error);
4306
4307     if (acb->done) {
4308         *acb->done = true;
4309     }
4310
4311     qemu_bh_delete(acb->bh);
4312     qemu_aio_release(acb);
4313 }
4314
4315 /* Invoke bdrv_co_do_readv/bdrv_co_do_writev */
4316 static void coroutine_fn bdrv_co_do_rw(void *opaque)
4317 {
4318     BlockDriverAIOCBCoroutine *acb = opaque;
4319     BlockDriverState *bs = acb->common.bs;
4320
4321     if (!acb->is_write) {
4322         acb->req.error = bdrv_co_do_readv(bs, acb->req.sector,
4323             acb->req.nb_sectors, acb->req.qiov, acb->req.flags);
4324     } else {
4325         acb->req.error = bdrv_co_do_writev(bs, acb->req.sector,
4326             acb->req.nb_sectors, acb->req.qiov, acb->req.flags);
4327     }
4328
4329     acb->bh = qemu_bh_new(bdrv_co_em_bh, acb);
4330     qemu_bh_schedule(acb->bh);
4331 }
4332
4333 static BlockDriverAIOCB *bdrv_co_aio_rw_vector(BlockDriverState *bs,
4334                                                int64_t sector_num,
4335                                                QEMUIOVector *qiov,
4336                                                int nb_sectors,
4337                                                BdrvRequestFlags flags,
4338                                                BlockDriverCompletionFunc *cb,
4339                                                void *opaque,
4340                                                bool is_write)
4341 {
4342     Coroutine *co;
4343     BlockDriverAIOCBCoroutine *acb;
4344
4345     acb = qemu_aio_get(&bdrv_em_co_aiocb_info, bs, cb, opaque);
4346     acb->req.sector = sector_num;
4347     acb->req.nb_sectors = nb_sectors;
4348     acb->req.qiov = qiov;
4349     acb->req.flags = flags;
4350     acb->is_write = is_write;
4351     acb->done = NULL;
4352
4353     co = qemu_coroutine_create(bdrv_co_do_rw);
4354     qemu_coroutine_enter(co, acb);
4355
4356     return &acb->common;
4357 }
4358
4359 static void coroutine_fn bdrv_aio_flush_co_entry(void *opaque)
4360 {
4361     BlockDriverAIOCBCoroutine *acb = opaque;
4362     BlockDriverState *bs = acb->common.bs;
4363
4364     acb->req.error = bdrv_co_flush(bs);
4365     acb->bh = qemu_bh_new(bdrv_co_em_bh, acb);
4366     qemu_bh_schedule(acb->bh);
4367 }
4368
4369 BlockDriverAIOCB *bdrv_aio_flush(BlockDriverState *bs,
4370         BlockDriverCompletionFunc *cb, void *opaque)
4371 {
4372     trace_bdrv_aio_flush(bs, opaque);
4373
4374     Coroutine *co;
4375     BlockDriverAIOCBCoroutine *acb;
4376
4377     acb = qemu_aio_get(&bdrv_em_co_aiocb_info, bs, cb, opaque);
4378     acb->done = NULL;
4379
4380     co = qemu_coroutine_create(bdrv_aio_flush_co_entry);
4381     qemu_coroutine_enter(co, acb);
4382
4383     return &acb->common;
4384 }
4385
4386 static void coroutine_fn bdrv_aio_discard_co_entry(void *opaque)
4387 {
4388     BlockDriverAIOCBCoroutine *acb = opaque;
4389     BlockDriverState *bs = acb->common.bs;
4390
4391     acb->req.error = bdrv_co_discard(bs, acb->req.sector, acb->req.nb_sectors);
4392     acb->bh = qemu_bh_new(bdrv_co_em_bh, acb);
4393     qemu_bh_schedule(acb->bh);
4394 }
4395
4396 BlockDriverAIOCB *bdrv_aio_discard(BlockDriverState *bs,
4397         int64_t sector_num, int nb_sectors,
4398         BlockDriverCompletionFunc *cb, void *opaque)
4399 {
4400     Coroutine *co;
4401     BlockDriverAIOCBCoroutine *acb;
4402
4403     trace_bdrv_aio_discard(bs, sector_num, nb_sectors, opaque);
4404
4405     acb = qemu_aio_get(&bdrv_em_co_aiocb_info, bs, cb, opaque);
4406     acb->req.sector = sector_num;
4407     acb->req.nb_sectors = nb_sectors;
4408     acb->done = NULL;
4409     co = qemu_coroutine_create(bdrv_aio_discard_co_entry);
4410     qemu_coroutine_enter(co, acb);
4411
4412     return &acb->common;
4413 }
4414
4415 void bdrv_init(void)
4416 {
4417     module_call_init(MODULE_INIT_BLOCK);
4418 }
4419
4420 void bdrv_init_with_whitelist(void)
4421 {
4422     use_bdrv_whitelist = 1;
4423     bdrv_init();
4424 }
4425
4426 void *qemu_aio_get(const AIOCBInfo *aiocb_info, BlockDriverState *bs,
4427                    BlockDriverCompletionFunc *cb, void *opaque)
4428 {
4429     BlockDriverAIOCB *acb;
4430
4431     acb = g_slice_alloc(aiocb_info->aiocb_size);
4432     acb->aiocb_info = aiocb_info;
4433     acb->bs = bs;
4434     acb->cb = cb;
4435     acb->opaque = opaque;
4436     return acb;
4437 }
4438
4439 void qemu_aio_release(void *p)
4440 {
4441     BlockDriverAIOCB *acb = p;
4442     g_slice_free1(acb->aiocb_info->aiocb_size, acb);
4443 }
4444
4445 /**************************************************************/
4446 /* Coroutine block device emulation */
4447
4448 typedef struct CoroutineIOCompletion {
4449     Coroutine *coroutine;
4450     int ret;
4451 } CoroutineIOCompletion;
4452
4453 static void bdrv_co_io_em_complete(void *opaque, int ret)
4454 {
4455     CoroutineIOCompletion *co = opaque;
4456
4457     co->ret = ret;
4458     qemu_coroutine_enter(co->coroutine, NULL);
4459 }
4460
4461 static int coroutine_fn bdrv_co_io_em(BlockDriverState *bs, int64_t sector_num,
4462                                       int nb_sectors, QEMUIOVector *iov,
4463                                       bool is_write)
4464 {
4465     CoroutineIOCompletion co = {
4466         .coroutine = qemu_coroutine_self(),
4467     };
4468     BlockDriverAIOCB *acb;
4469
4470     if (is_write) {
4471         acb = bs->drv->bdrv_aio_writev(bs, sector_num, iov, nb_sectors,
4472                                        bdrv_co_io_em_complete, &co);
4473     } else {
4474         acb = bs->drv->bdrv_aio_readv(bs, sector_num, iov, nb_sectors,
4475                                       bdrv_co_io_em_complete, &co);
4476     }
4477
4478     trace_bdrv_co_io_em(bs, sector_num, nb_sectors, is_write, acb);
4479     if (!acb) {
4480         return -EIO;
4481     }
4482     qemu_coroutine_yield();
4483
4484     return co.ret;
4485 }
4486
4487 static int coroutine_fn bdrv_co_readv_em(BlockDriverState *bs,
4488                                          int64_t sector_num, int nb_sectors,
4489                                          QEMUIOVector *iov)
4490 {
4491     return bdrv_co_io_em(bs, sector_num, nb_sectors, iov, false);
4492 }
4493
4494 static int coroutine_fn bdrv_co_writev_em(BlockDriverState *bs,
4495                                          int64_t sector_num, int nb_sectors,
4496                                          QEMUIOVector *iov)
4497 {
4498     return bdrv_co_io_em(bs, sector_num, nb_sectors, iov, true);
4499 }
4500
4501 static void coroutine_fn bdrv_flush_co_entry(void *opaque)
4502 {
4503     RwCo *rwco = opaque;
4504
4505     rwco->ret = bdrv_co_flush(rwco->bs);
4506 }
4507
4508 int coroutine_fn bdrv_co_flush(BlockDriverState *bs)
4509 {
4510     int ret;
4511
4512     if (!bs || !bdrv_is_inserted(bs) || bdrv_is_read_only(bs)) {
4513         return 0;
4514     }
4515
4516     /* Write back cached data to the OS even with cache=unsafe */
4517     BLKDBG_EVENT(bs->file, BLKDBG_FLUSH_TO_OS);
4518     if (bs->drv->bdrv_co_flush_to_os) {
4519         ret = bs->drv->bdrv_co_flush_to_os(bs);
4520         if (ret < 0) {
4521             return ret;
4522         }
4523     }
4524
4525     /* But don't actually force it to the disk with cache=unsafe */
4526     if (bs->open_flags & BDRV_O_NO_FLUSH) {
4527         goto flush_parent;
4528     }
4529
4530     BLKDBG_EVENT(bs->file, BLKDBG_FLUSH_TO_DISK);
4531     if (bs->drv->bdrv_co_flush_to_disk) {
4532         ret = bs->drv->bdrv_co_flush_to_disk(bs);
4533     } else if (bs->drv->bdrv_aio_flush) {
4534         BlockDriverAIOCB *acb;
4535         CoroutineIOCompletion co = {
4536             .coroutine = qemu_coroutine_self(),
4537         };
4538
4539         acb = bs->drv->bdrv_aio_flush(bs, bdrv_co_io_em_complete, &co);
4540         if (acb == NULL) {
4541             ret = -EIO;
4542         } else {
4543             qemu_coroutine_yield();
4544             ret = co.ret;
4545         }
4546     } else {
4547         /*
4548          * Some block drivers always operate in either writethrough or unsafe
4549          * mode and don't support bdrv_flush therefore. Usually qemu doesn't
4550          * know how the server works (because the behaviour is hardcoded or
4551          * depends on server-side configuration), so we can't ensure that
4552          * everything is safe on disk. Returning an error doesn't work because
4553          * that would break guests even if the server operates in writethrough
4554          * mode.
4555          *
4556          * Let's hope the user knows what he's doing.
4557          */
4558         ret = 0;
4559     }
4560     if (ret < 0) {
4561         return ret;
4562     }
4563
4564     /* Now flush the underlying protocol.  It will also have BDRV_O_NO_FLUSH
4565      * in the case of cache=unsafe, so there are no useless flushes.
4566      */
4567 flush_parent:
4568     return bdrv_co_flush(bs->file);
4569 }
4570
4571 void bdrv_invalidate_cache(BlockDriverState *bs)
4572 {
4573     if (bs->drv && bs->drv->bdrv_invalidate_cache) {
4574         bs->drv->bdrv_invalidate_cache(bs);
4575     }
4576 }
4577
4578 void bdrv_invalidate_cache_all(void)
4579 {
4580     BlockDriverState *bs;
4581
4582     QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
4583         bdrv_invalidate_cache(bs);
4584     }
4585 }
4586
4587 void bdrv_clear_incoming_migration_all(void)
4588 {
4589     BlockDriverState *bs;
4590
4591     QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
4592         bs->open_flags = bs->open_flags & ~(BDRV_O_INCOMING);
4593     }
4594 }
4595
4596 int bdrv_flush(BlockDriverState *bs)
4597 {
4598     Coroutine *co;
4599     RwCo rwco = {
4600         .bs = bs,
4601         .ret = NOT_DONE,
4602     };
4603
4604     if (qemu_in_coroutine()) {
4605         /* Fast-path if already in coroutine context */
4606         bdrv_flush_co_entry(&rwco);
4607     } else {
4608         co = qemu_coroutine_create(bdrv_flush_co_entry);
4609         qemu_coroutine_enter(co, &rwco);
4610         while (rwco.ret == NOT_DONE) {
4611             qemu_aio_wait();
4612         }
4613     }
4614
4615     return rwco.ret;
4616 }
4617
4618 static void coroutine_fn bdrv_discard_co_entry(void *opaque)
4619 {
4620     RwCo *rwco = opaque;
4621
4622     rwco->ret = bdrv_co_discard(rwco->bs, rwco->sector_num, rwco->nb_sectors);
4623 }
4624
4625 /* if no limit is specified in the BlockLimits use a default
4626  * of 32768 512-byte sectors (16 MiB) per request.
4627  */
4628 #define MAX_DISCARD_DEFAULT 32768
4629
4630 int coroutine_fn bdrv_co_discard(BlockDriverState *bs, int64_t sector_num,
4631                                  int nb_sectors)
4632 {
4633     int max_discard;
4634
4635     if (!bs->drv) {
4636         return -ENOMEDIUM;
4637     } else if (bdrv_check_request(bs, sector_num, nb_sectors)) {
4638         return -EIO;
4639     } else if (bs->read_only) {
4640         return -EROFS;
4641     }
4642
4643     bdrv_reset_dirty(bs, sector_num, nb_sectors);
4644
4645     /* Do nothing if disabled.  */
4646     if (!(bs->open_flags & BDRV_O_UNMAP)) {
4647         return 0;
4648     }
4649
4650     if (!bs->drv->bdrv_co_discard && !bs->drv->bdrv_aio_discard) {
4651         return 0;
4652     }
4653
4654     max_discard = bs->bl.max_discard ?  bs->bl.max_discard : MAX_DISCARD_DEFAULT;
4655     while (nb_sectors > 0) {
4656         int ret;
4657         int num = nb_sectors;
4658
4659         /* align request */
4660         if (bs->bl.discard_alignment &&
4661             num >= bs->bl.discard_alignment &&
4662             sector_num % bs->bl.discard_alignment) {
4663             if (num > bs->bl.discard_alignment) {
4664                 num = bs->bl.discard_alignment;
4665             }
4666             num -= sector_num % bs->bl.discard_alignment;
4667         }
4668
4669         /* limit request size */
4670         if (num > max_discard) {
4671             num = max_discard;
4672         }
4673
4674         if (bs->drv->bdrv_co_discard) {
4675             ret = bs->drv->bdrv_co_discard(bs, sector_num, num);
4676         } else {
4677             BlockDriverAIOCB *acb;
4678             CoroutineIOCompletion co = {
4679                 .coroutine = qemu_coroutine_self(),
4680             };
4681
4682             acb = bs->drv->bdrv_aio_discard(bs, sector_num, nb_sectors,
4683                                             bdrv_co_io_em_complete, &co);
4684             if (acb == NULL) {
4685                 return -EIO;
4686             } else {
4687                 qemu_coroutine_yield();
4688                 ret = co.ret;
4689             }
4690         }
4691         if (ret && ret != -ENOTSUP) {
4692             return ret;
4693         }
4694
4695         sector_num += num;
4696         nb_sectors -= num;
4697     }
4698     return 0;
4699 }
4700
4701 int bdrv_discard(BlockDriverState *bs, int64_t sector_num, int nb_sectors)
4702 {
4703     Coroutine *co;
4704     RwCo rwco = {
4705         .bs = bs,
4706         .sector_num = sector_num,
4707         .nb_sectors = nb_sectors,
4708         .ret = NOT_DONE,
4709     };
4710
4711     if (qemu_in_coroutine()) {
4712         /* Fast-path if already in coroutine context */
4713         bdrv_discard_co_entry(&rwco);
4714     } else {
4715         co = qemu_coroutine_create(bdrv_discard_co_entry);
4716         qemu_coroutine_enter(co, &rwco);
4717         while (rwco.ret == NOT_DONE) {
4718             qemu_aio_wait();
4719         }
4720     }
4721
4722     return rwco.ret;
4723 }
4724
4725 /**************************************************************/
4726 /* removable device support */
4727
4728 /**
4729  * Return TRUE if the media is present
4730  */
4731 int bdrv_is_inserted(BlockDriverState *bs)
4732 {
4733     BlockDriver *drv = bs->drv;
4734
4735     if (!drv)
4736         return 0;
4737     if (!drv->bdrv_is_inserted)
4738         return 1;
4739     return drv->bdrv_is_inserted(bs);
4740 }
4741
4742 /**
4743  * Return whether the media changed since the last call to this
4744  * function, or -ENOTSUP if we don't know.  Most drivers don't know.
4745  */
4746 int bdrv_media_changed(BlockDriverState *bs)
4747 {
4748     BlockDriver *drv = bs->drv;
4749
4750     if (drv && drv->bdrv_media_changed) {
4751         return drv->bdrv_media_changed(bs);
4752     }
4753     return -ENOTSUP;
4754 }
4755
4756 /**
4757  * If eject_flag is TRUE, eject the media. Otherwise, close the tray
4758  */
4759 void bdrv_eject(BlockDriverState *bs, bool eject_flag)
4760 {
4761     BlockDriver *drv = bs->drv;
4762
4763     if (drv && drv->bdrv_eject) {
4764         drv->bdrv_eject(bs, eject_flag);
4765     }
4766
4767     if (bs->device_name[0] != '\0') {
4768         bdrv_emit_qmp_eject_event(bs, eject_flag);
4769     }
4770 }
4771
4772 /**
4773  * Lock or unlock the media (if it is locked, the user won't be able
4774  * to eject it manually).
4775  */
4776 void bdrv_lock_medium(BlockDriverState *bs, bool locked)
4777 {
4778     BlockDriver *drv = bs->drv;
4779
4780     trace_bdrv_lock_medium(bs, locked);
4781
4782     if (drv && drv->bdrv_lock_medium) {
4783         drv->bdrv_lock_medium(bs, locked);
4784     }
4785 }
4786
4787 /* needed for generic scsi interface */
4788
4789 int bdrv_ioctl(BlockDriverState *bs, unsigned long int req, void *buf)
4790 {
4791     BlockDriver *drv = bs->drv;
4792
4793     if (drv && drv->bdrv_ioctl)
4794         return drv->bdrv_ioctl(bs, req, buf);
4795     return -ENOTSUP;
4796 }
4797
4798 BlockDriverAIOCB *bdrv_aio_ioctl(BlockDriverState *bs,
4799         unsigned long int req, void *buf,
4800         BlockDriverCompletionFunc *cb, void *opaque)
4801 {
4802     BlockDriver *drv = bs->drv;
4803
4804     if (drv && drv->bdrv_aio_ioctl)
4805         return drv->bdrv_aio_ioctl(bs, req, buf, cb, opaque);
4806     return NULL;
4807 }
4808
4809 void bdrv_set_guest_block_size(BlockDriverState *bs, int align)
4810 {
4811     bs->guest_block_size = align;
4812 }
4813
4814 void *qemu_blockalign(BlockDriverState *bs, size_t size)
4815 {
4816     return qemu_memalign(bdrv_opt_mem_align(bs), size);
4817 }
4818
4819 /*
4820  * Check if all memory in this vector is sector aligned.
4821  */
4822 bool bdrv_qiov_is_aligned(BlockDriverState *bs, QEMUIOVector *qiov)
4823 {
4824     int i;
4825     size_t alignment = bdrv_opt_mem_align(bs);
4826
4827     for (i = 0; i < qiov->niov; i++) {
4828         if ((uintptr_t) qiov->iov[i].iov_base % alignment) {
4829             return false;
4830         }
4831         if (qiov->iov[i].iov_len % alignment) {
4832             return false;
4833         }
4834     }
4835
4836     return true;
4837 }
4838
4839 BdrvDirtyBitmap *bdrv_create_dirty_bitmap(BlockDriverState *bs, int granularity)
4840 {
4841     int64_t bitmap_size;
4842     BdrvDirtyBitmap *bitmap;
4843
4844     assert((granularity & (granularity - 1)) == 0);
4845
4846     granularity >>= BDRV_SECTOR_BITS;
4847     assert(granularity);
4848     bitmap_size = (bdrv_getlength(bs) >> BDRV_SECTOR_BITS);
4849     bitmap = g_malloc0(sizeof(BdrvDirtyBitmap));
4850     bitmap->bitmap = hbitmap_alloc(bitmap_size, ffs(granularity) - 1);
4851     QLIST_INSERT_HEAD(&bs->dirty_bitmaps, bitmap, list);
4852     return bitmap;
4853 }
4854
4855 void bdrv_release_dirty_bitmap(BlockDriverState *bs, BdrvDirtyBitmap *bitmap)
4856 {
4857     BdrvDirtyBitmap *bm, *next;
4858     QLIST_FOREACH_SAFE(bm, &bs->dirty_bitmaps, list, next) {
4859         if (bm == bitmap) {
4860             QLIST_REMOVE(bitmap, list);
4861             hbitmap_free(bitmap->bitmap);
4862             g_free(bitmap);
4863             return;
4864         }
4865     }
4866 }
4867
4868 BlockDirtyInfoList *bdrv_query_dirty_bitmaps(BlockDriverState *bs)
4869 {
4870     BdrvDirtyBitmap *bm;
4871     BlockDirtyInfoList *list = NULL;
4872     BlockDirtyInfoList **plist = &list;
4873
4874     QLIST_FOREACH(bm, &bs->dirty_bitmaps, list) {
4875         BlockDirtyInfo *info = g_malloc0(sizeof(BlockDirtyInfo));
4876         BlockDirtyInfoList *entry = g_malloc0(sizeof(BlockDirtyInfoList));
4877         info->count = bdrv_get_dirty_count(bs, bm);
4878         info->granularity =
4879             ((int64_t) BDRV_SECTOR_SIZE << hbitmap_granularity(bm->bitmap));
4880         entry->value = info;
4881         *plist = entry;
4882         plist = &entry->next;
4883     }
4884
4885     return list;
4886 }
4887
4888 int bdrv_get_dirty(BlockDriverState *bs, BdrvDirtyBitmap *bitmap, int64_t sector)
4889 {
4890     if (bitmap) {
4891         return hbitmap_get(bitmap->bitmap, sector);
4892     } else {
4893         return 0;
4894     }
4895 }
4896
4897 void bdrv_dirty_iter_init(BlockDriverState *bs,
4898                           BdrvDirtyBitmap *bitmap, HBitmapIter *hbi)
4899 {
4900     hbitmap_iter_init(hbi, bitmap->bitmap, 0);
4901 }
4902
4903 void bdrv_set_dirty(BlockDriverState *bs, int64_t cur_sector,
4904                     int nr_sectors)
4905 {
4906     BdrvDirtyBitmap *bitmap;
4907     QLIST_FOREACH(bitmap, &bs->dirty_bitmaps, list) {
4908         hbitmap_set(bitmap->bitmap, cur_sector, nr_sectors);
4909     }
4910 }
4911
4912 void bdrv_reset_dirty(BlockDriverState *bs, int64_t cur_sector, int nr_sectors)
4913 {
4914     BdrvDirtyBitmap *bitmap;
4915     QLIST_FOREACH(bitmap, &bs->dirty_bitmaps, list) {
4916         hbitmap_reset(bitmap->bitmap, cur_sector, nr_sectors);
4917     }
4918 }
4919
4920 int64_t bdrv_get_dirty_count(BlockDriverState *bs, BdrvDirtyBitmap *bitmap)
4921 {
4922     return hbitmap_count(bitmap->bitmap);
4923 }
4924
4925 /* Get a reference to bs */
4926 void bdrv_ref(BlockDriverState *bs)
4927 {
4928     bs->refcnt++;
4929 }
4930
4931 /* Release a previously grabbed reference to bs.
4932  * If after releasing, reference count is zero, the BlockDriverState is
4933  * deleted. */
4934 void bdrv_unref(BlockDriverState *bs)
4935 {
4936     assert(bs->refcnt > 0);
4937     if (--bs->refcnt == 0) {
4938         bdrv_delete(bs);
4939     }
4940 }
4941
4942 void bdrv_set_in_use(BlockDriverState *bs, int in_use)
4943 {
4944     assert(bs->in_use != in_use);
4945     bs->in_use = in_use;
4946 }
4947
4948 int bdrv_in_use(BlockDriverState *bs)
4949 {
4950     return bs->in_use;
4951 }
4952
4953 void bdrv_iostatus_enable(BlockDriverState *bs)
4954 {
4955     bs->iostatus_enabled = true;
4956     bs->iostatus = BLOCK_DEVICE_IO_STATUS_OK;
4957 }
4958
4959 /* The I/O status is only enabled if the drive explicitly
4960  * enables it _and_ the VM is configured to stop on errors */
4961 bool bdrv_iostatus_is_enabled(const BlockDriverState *bs)
4962 {
4963     return (bs->iostatus_enabled &&
4964            (bs->on_write_error == BLOCKDEV_ON_ERROR_ENOSPC ||
4965             bs->on_write_error == BLOCKDEV_ON_ERROR_STOP   ||
4966             bs->on_read_error == BLOCKDEV_ON_ERROR_STOP));
4967 }
4968
4969 void bdrv_iostatus_disable(BlockDriverState *bs)
4970 {
4971     bs->iostatus_enabled = false;
4972 }
4973
4974 void bdrv_iostatus_reset(BlockDriverState *bs)
4975 {
4976     if (bdrv_iostatus_is_enabled(bs)) {
4977         bs->iostatus = BLOCK_DEVICE_IO_STATUS_OK;
4978         if (bs->job) {
4979             block_job_iostatus_reset(bs->job);
4980         }
4981     }
4982 }
4983
4984 void bdrv_iostatus_set_err(BlockDriverState *bs, int error)
4985 {
4986     assert(bdrv_iostatus_is_enabled(bs));
4987     if (bs->iostatus == BLOCK_DEVICE_IO_STATUS_OK) {
4988         bs->iostatus = error == ENOSPC ? BLOCK_DEVICE_IO_STATUS_NOSPACE :
4989                                          BLOCK_DEVICE_IO_STATUS_FAILED;
4990     }
4991 }
4992
4993 void
4994 bdrv_acct_start(BlockDriverState *bs, BlockAcctCookie *cookie, int64_t bytes,
4995         enum BlockAcctType type)
4996 {
4997     assert(type < BDRV_MAX_IOTYPE);
4998
4999     cookie->bytes = bytes;
5000     cookie->start_time_ns = get_clock();
5001     cookie->type = type;
5002 }
5003
5004 void
5005 bdrv_acct_done(BlockDriverState *bs, BlockAcctCookie *cookie)
5006 {
5007     assert(cookie->type < BDRV_MAX_IOTYPE);
5008
5009     bs->nr_bytes[cookie->type] += cookie->bytes;
5010     bs->nr_ops[cookie->type]++;
5011     bs->total_time_ns[cookie->type] += get_clock() - cookie->start_time_ns;
5012 }
5013
5014 void bdrv_img_create(const char *filename, const char *fmt,
5015                      const char *base_filename, const char *base_fmt,
5016                      char *options, uint64_t img_size, int flags,
5017                      Error **errp, bool quiet)
5018 {
5019     QEMUOptionParameter *param = NULL, *create_options = NULL;
5020     QEMUOptionParameter *backing_fmt, *backing_file, *size;
5021     BlockDriver *drv, *proto_drv;
5022     BlockDriver *backing_drv = NULL;
5023     Error *local_err = NULL;
5024     int ret = 0;
5025
5026     /* Find driver and parse its options */
5027     drv = bdrv_find_format(fmt);
5028     if (!drv) {
5029         error_setg(errp, "Unknown file format '%s'", fmt);
5030         return;
5031     }
5032
5033     proto_drv = bdrv_find_protocol(filename, true);
5034     if (!proto_drv) {
5035         error_setg(errp, "Unknown protocol '%s'", filename);
5036         return;
5037     }
5038
5039     create_options = append_option_parameters(create_options,
5040                                               drv->create_options);
5041     create_options = append_option_parameters(create_options,
5042                                               proto_drv->create_options);
5043
5044     /* Create parameter list with default values */
5045     param = parse_option_parameters("", create_options, param);
5046
5047     set_option_parameter_int(param, BLOCK_OPT_SIZE, img_size);
5048
5049     /* Parse -o options */
5050     if (options) {
5051         param = parse_option_parameters(options, create_options, param);
5052         if (param == NULL) {
5053             error_setg(errp, "Invalid options for file format '%s'.", fmt);
5054             goto out;
5055         }
5056     }
5057
5058     if (base_filename) {
5059         if (set_option_parameter(param, BLOCK_OPT_BACKING_FILE,
5060                                  base_filename)) {
5061             error_setg(errp, "Backing file not supported for file format '%s'",
5062                        fmt);
5063             goto out;
5064         }
5065     }
5066
5067     if (base_fmt) {
5068         if (set_option_parameter(param, BLOCK_OPT_BACKING_FMT, base_fmt)) {
5069             error_setg(errp, "Backing file format not supported for file "
5070                              "format '%s'", fmt);
5071             goto out;
5072         }
5073     }
5074
5075     backing_file = get_option_parameter(param, BLOCK_OPT_BACKING_FILE);
5076     if (backing_file && backing_file->value.s) {
5077         if (!strcmp(filename, backing_file->value.s)) {
5078             error_setg(errp, "Error: Trying to create an image with the "
5079                              "same filename as the backing file");
5080             goto out;
5081         }
5082     }
5083
5084     backing_fmt = get_option_parameter(param, BLOCK_OPT_BACKING_FMT);
5085     if (backing_fmt && backing_fmt->value.s) {
5086         backing_drv = bdrv_find_format(backing_fmt->value.s);
5087         if (!backing_drv) {
5088             error_setg(errp, "Unknown backing file format '%s'",
5089                        backing_fmt->value.s);
5090             goto out;
5091         }
5092     }
5093
5094     // The size for the image must always be specified, with one exception:
5095     // If we are using a backing file, we can obtain the size from there
5096     size = get_option_parameter(param, BLOCK_OPT_SIZE);
5097     if (size && size->value.n == -1) {
5098         if (backing_file && backing_file->value.s) {
5099             BlockDriverState *bs;
5100             uint64_t size;
5101             char buf[32];
5102             int back_flags;
5103
5104             /* backing files always opened read-only */
5105             back_flags =
5106                 flags & ~(BDRV_O_RDWR | BDRV_O_SNAPSHOT | BDRV_O_NO_BACKING);
5107
5108             bs = bdrv_new("");
5109
5110             ret = bdrv_open(bs, backing_file->value.s, NULL, back_flags,
5111                             backing_drv, &local_err);
5112             if (ret < 0) {
5113                 error_setg_errno(errp, -ret, "Could not open '%s': %s",
5114                                  backing_file->value.s,
5115                                  error_get_pretty(local_err));
5116                 error_free(local_err);
5117                 local_err = NULL;
5118                 bdrv_unref(bs);
5119                 goto out;
5120             }
5121             bdrv_get_geometry(bs, &size);
5122             size *= 512;
5123
5124             snprintf(buf, sizeof(buf), "%" PRId64, size);
5125             set_option_parameter(param, BLOCK_OPT_SIZE, buf);
5126
5127             bdrv_unref(bs);
5128         } else {
5129             error_setg(errp, "Image creation needs a size parameter");
5130             goto out;
5131         }
5132     }
5133
5134     if (!quiet) {
5135         printf("Formatting '%s', fmt=%s ", filename, fmt);
5136         print_option_parameters(param);
5137         puts("");
5138     }
5139     ret = bdrv_create(drv, filename, param, &local_err);
5140     if (ret == -EFBIG) {
5141         /* This is generally a better message than whatever the driver would
5142          * deliver (especially because of the cluster_size_hint), since that
5143          * is most probably not much different from "image too large". */
5144         const char *cluster_size_hint = "";
5145         if (get_option_parameter(create_options, BLOCK_OPT_CLUSTER_SIZE)) {
5146             cluster_size_hint = " (try using a larger cluster size)";
5147         }
5148         error_setg(errp, "The image size is too large for file format '%s'"
5149                    "%s", fmt, cluster_size_hint);
5150         error_free(local_err);
5151         local_err = NULL;
5152     }
5153
5154 out:
5155     free_option_parameters(create_options);
5156     free_option_parameters(param);
5157
5158     if (error_is_set(&local_err)) {
5159         error_propagate(errp, local_err);
5160     }
5161 }
5162
5163 AioContext *bdrv_get_aio_context(BlockDriverState *bs)
5164 {
5165     /* Currently BlockDriverState always uses the main loop AioContext */
5166     return qemu_get_aio_context();
5167 }
5168
5169 void bdrv_add_before_write_notifier(BlockDriverState *bs,
5170                                     NotifierWithReturn *notifier)
5171 {
5172     notifier_with_return_list_add(&bs->before_write_notifiers, notifier);
5173 }
5174
5175 int bdrv_amend_options(BlockDriverState *bs, QEMUOptionParameter *options)
5176 {
5177     if (bs->drv->bdrv_amend_options == NULL) {
5178         return -ENOTSUP;
5179     }
5180     return bs->drv->bdrv_amend_options(bs, options);
5181 }
5182
5183 /* Used to recurse on single child block filters.
5184  * Single child block filter will store their child in bs->file.
5185  */
5186 bool bdrv_generic_is_first_non_filter(BlockDriverState *bs,
5187                                       BlockDriverState *candidate)
5188 {
5189     if (!bs->drv) {
5190         return false;
5191     }
5192
5193     if (!bs->drv->authorizations[BS_IS_A_FILTER]) {
5194         if (bs == candidate) {
5195             return true;
5196         } else {
5197             return false;
5198         }
5199     }
5200
5201     if (!bs->drv->authorizations[BS_FILTER_PASS_DOWN]) {
5202         return false;
5203     }
5204
5205     if (!bs->file) {
5206         return false;
5207     }
5208
5209     return bdrv_recurse_is_first_non_filter(bs->file, candidate);
5210 }
5211
5212 bool bdrv_recurse_is_first_non_filter(BlockDriverState *bs,
5213                                       BlockDriverState *candidate)
5214 {
5215     if (bs->drv && bs->drv->bdrv_recurse_is_first_non_filter) {
5216         return bs->drv->bdrv_recurse_is_first_non_filter(bs, candidate);
5217     }
5218
5219     return bdrv_generic_is_first_non_filter(bs, candidate);
5220 }
5221
5222 /* This function checks if the candidate is the first non filter bs down it's
5223  * bs chain. Since we don't have pointers to parents it explore all bs chains
5224  * from the top. Some filters can choose not to pass down the recursion.
5225  */
5226 bool bdrv_is_first_non_filter(BlockDriverState *candidate)
5227 {
5228     BlockDriverState *bs;
5229
5230     /* walk down the bs forest recursively */
5231     QTAILQ_FOREACH(bs, &bdrv_states, device_list) {
5232         bool perm;
5233
5234         if (!bs->file) {
5235             continue;
5236         }
5237
5238         perm = bdrv_recurse_is_first_non_filter(bs->file, candidate);
5239
5240         /* candidate is the first non filter */
5241         if (perm) {
5242             return true;
5243         }
5244     }
5245
5246     return false;
5247 }