block/raw-posix.c

   1 /*
   2  * Block driver for RAW files (posix)
   3  *
   4  * Copyright (c) 2006 Fabrice Bellard
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a copy
   7  * of this software and associated documentation files (the "Software"), to deal
   8  * in the Software without restriction, including without limitation the rights
   9  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
  10  * copies of the Software, and to permit persons to whom the Software is
  11  * furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in
  14  * all copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
  19  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  22  * THE SOFTWARE.
  23  */
  24 #include "qemu/osdep.h"
  25 #include "qapi/error.h"
  26 #include "qemu/cutils.h"
  27 #include "qemu/error-report.h"
  28 #include "qemu/timer.h"
  29 #include "qemu/log.h"
  30 #include "block/block_int.h"
  31 #include "qemu/module.h"
  32 #include "trace.h"
  33 #include "block/thread-pool.h"
  34 #include "qemu/iov.h"
  35 #include "raw-aio.h"
  36 #include "qapi/util.h"
  37 #include "qapi/qmp/qstring.h"
  38
  39 #if defined(__APPLE__) && (__MACH__)
  40 #include <paths.h>
  41 #include <sys/param.h>
  42 #include <IOKit/IOKitLib.h>
  43 #include <IOKit/IOBSD.h>
  44 #include <IOKit/storage/IOMediaBSDClient.h>
  45 #include <IOKit/storage/IOMedia.h>
  46 #include <IOKit/storage/IOCDMedia.h>
  47 //#include <IOKit/storage/IOCDTypes.h>
  48 #include <IOKit/storage/IODVDMedia.h>
  49 #include <CoreFoundation/CoreFoundation.h>
  50 #endif
  51
  52 #ifdef __sun__
  53 #define _POSIX_PTHREAD_SEMANTICS 1
  54 #include <sys/dkio.h>
  55 #endif
  56 #ifdef __linux__
  57 #include <sys/ioctl.h>
  58 #include <sys/param.h>
  59 #include <linux/cdrom.h>
  60 #include <linux/fd.h>
  61 #include <linux/fs.h>
  62 #include <linux/hdreg.h>
  63 #include <scsi/sg.h>
  64 #ifdef __s390__
  65 #include <asm/dasd.h>
  66 #endif
  67 #ifndef FS_NOCOW_FL
  68 #define FS_NOCOW_FL                     0x00800000 /* Do not cow file */
  69 #endif
  70 #endif
  71 #if defined(CONFIG_FALLOCATE_PUNCH_HOLE) || defined(CONFIG_FALLOCATE_ZERO_RANGE)
  72 #include <linux/falloc.h>
  73 #endif
  74 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
  75 #include <sys/disk.h>
  76 #include <sys/cdio.h>
  77 #endif
  78
  79 #ifdef __OpenBSD__
  80 #include <sys/ioctl.h>
  81 #include <sys/disklabel.h>
  82 #include <sys/dkio.h>
  83 #endif
  84
  85 #ifdef __NetBSD__
  86 #include <sys/ioctl.h>
  87 #include <sys/disklabel.h>
  88 #include <sys/dkio.h>
  89 #include <sys/disk.h>
  90 #endif
  91
  92 #ifdef __DragonFly__
  93 #include <sys/ioctl.h>
  94 #include <sys/diskslice.h>
  95 #endif
  96
  97 #ifdef CONFIG_XFS
  98 #include <xfs/xfs.h>
  99 #endif
 100
 101 //#define DEBUG_BLOCK
 102
 103 #ifdef DEBUG_BLOCK
 104 # define DEBUG_BLOCK_PRINT 1
 105 #else
 106 # define DEBUG_BLOCK_PRINT 0
 107 #endif
 108 #define DPRINTF(fmt, ...) \
 109 do { \
 110     if (DEBUG_BLOCK_PRINT) { \
 111         printf(fmt, ## __VA_ARGS__); \
 112     } \
 113 } while (0)
 114
 115 /* OS X does not have O_DSYNC */
 116 #ifndef O_DSYNC
 117 #ifdef O_SYNC
 118 #define O_DSYNC O_SYNC
 119 #elif defined(O_FSYNC)
 120 #define O_DSYNC O_FSYNC
 121 #endif
 122 #endif
 123
 124 /* Approximate O_DIRECT with O_DSYNC if O_DIRECT isn't available */
 125 #ifndef O_DIRECT
 126 #define O_DIRECT O_DSYNC
 127 #endif
 128
 129 #define FTYPE_FILE   0
 130 #define FTYPE_CD     1
 131
 132 #define MAX_BLOCKSIZE   4096
 133
 134 typedef struct BDRVRawState {
 135     int fd;
 136     int type;
 137     int open_flags;
 138     size_t buf_align;
 139
 140 #ifdef CONFIG_LINUX_AIO
 141     int use_aio;
 142     LinuxAioState *aio_ctx;
 143 #endif
 144 #ifdef CONFIG_XFS
 145     bool is_xfs:1;
 146 #endif
 147     bool has_discard:1;
 148     bool has_write_zeroes:1;
 149     bool discard_zeroes:1;
 150     bool has_fallocate;
 151     bool needs_alignment;
 152 } BDRVRawState;
 153
 154 typedef struct BDRVRawReopenState {
 155     int fd;
 156     int open_flags;
 157 #ifdef CONFIG_LINUX_AIO
 158     int use_aio;
 159 #endif
 160 } BDRVRawReopenState;
 161
 162 static int fd_open(BlockDriverState *bs);
 163 static int64_t raw_getlength(BlockDriverState *bs);
 164
 165 typedef struct RawPosixAIOData {
 166     BlockDriverState *bs;
 167     int aio_fildes;
 168     union {
 169         struct iovec *aio_iov;
 170         void *aio_ioctl_buf;
 171     };
 172     int aio_niov;
 173     uint64_t aio_nbytes;
 174 #define aio_ioctl_cmd   aio_nbytes /* for QEMU_AIO_IOCTL */
 175     off_t aio_offset;
 176     int aio_type;
 177 } RawPosixAIOData;
 178
 179 #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
 180 static int cdrom_reopen(BlockDriverState *bs);
 181 #endif
 182
 183 #if defined(__NetBSD__)
 184 static int raw_normalize_devicepath(const char **filename)
 185 {
 186     static char namebuf[PATH_MAX];
 187     const char *dp, *fname;
 188     struct stat sb;
 189
 190     fname = *filename;
 191     dp = strrchr(fname, '/');
 192     if (lstat(fname, &sb) < 0) {
 193         fprintf(stderr, "%s: stat failed: %s\n",
 194             fname, strerror(errno));
 195         return -errno;
 196     }
 197
 198     if (!S_ISBLK(sb.st_mode)) {
 199         return 0;
 200     }
 201
 202     if (dp == NULL) {
 203         snprintf(namebuf, PATH_MAX, "r%s", fname);
 204     } else {
 205         snprintf(namebuf, PATH_MAX, "%.*s/r%s",
 206             (int)(dp - fname), fname, dp + 1);
 207     }
 208     fprintf(stderr, "%s is a block device", fname);
 209     *filename = namebuf;
 210     fprintf(stderr, ", using %s\n", *filename);
 211
 212     return 0;
 213 }
 214 #else
 215 static int raw_normalize_devicepath(const char **filename)
 216 {
 217     return 0;
 218 }
 219 #endif
 220
 221 /*
 222  * Get logical block size via ioctl. On success store it in @sector_size_p.
 223  */
 224 static int probe_logical_blocksize(int fd, unsigned int *sector_size_p)
 225 {
 226     unsigned int sector_size;
 227     bool success = false;
 228
 229     errno = ENOTSUP;
 230
 231     /* Try a few ioctls to get the right size */
 232 #ifdef BLKSSZGET
 233     if (ioctl(fd, BLKSSZGET, &sector_size) >= 0) {
 234         *sector_size_p = sector_size;
 235         success = true;
 236     }
 237 #endif
 238 #ifdef DKIOCGETBLOCKSIZE
 239     if (ioctl(fd, DKIOCGETBLOCKSIZE, &sector_size) >= 0) {
 240         *sector_size_p = sector_size;
 241         success = true;
 242     }
 243 #endif
 244 #ifdef DIOCGSECTORSIZE
 245     if (ioctl(fd, DIOCGSECTORSIZE, &sector_size) >= 0) {
 246         *sector_size_p = sector_size;
 247         success = true;
 248     }
 249 #endif
 250
 251     return success ? 0 : -errno;
 252 }
 253
 254 /**
 255  * Get physical block size of @fd.
 256  * On success, store it in @blk_size and return 0.
 257  * On failure, return -errno.
 258  */
 259 static int probe_physical_blocksize(int fd, unsigned int *blk_size)
 260 {
 261 #ifdef BLKPBSZGET
 262     if (ioctl(fd, BLKPBSZGET, blk_size) < 0) {
 263         return -errno;
 264     }
 265     return 0;
 266 #else
 267     return -ENOTSUP;
 268 #endif
 269 }
 270
 271 /* Check if read is allowed with given memory buffer and length.
 272  *
 273  * This function is used to check O_DIRECT memory buffer and request alignment.
 274  */
 275 static bool raw_is_io_aligned(int fd, void *buf, size_t len)
 276 {
 277     ssize_t ret = pread(fd, buf, len, 0);
 278
 279     if (ret >= 0) {
 280         return true;
 281     }
 282
 283 #ifdef __linux__
 284     /* The Linux kernel returns EINVAL for misaligned O_DIRECT reads.  Ignore
 285      * other errors (e.g. real I/O error), which could happen on a failed
 286      * drive, since we only care about probing alignment.
 287      */
 288     if (errno != EINVAL) {
 289         return true;
 290     }
 291 #endif
 292
 293     return false;
 294 }
 295
 296 static void raw_probe_alignment(BlockDriverState *bs, int fd, Error **errp)
 297 {
 298     BDRVRawState *s = bs->opaque;
 299     char *buf;
 300     size_t max_align = MAX(MAX_BLOCKSIZE, getpagesize());
 301
 302     /* For SCSI generic devices the alignment is not really used.
 303        With buffered I/O, we don't have any restrictions. */
 304     if (bdrv_is_sg(bs) || !s->needs_alignment) {
 305         bs->request_alignment = 1;
 306         s->buf_align = 1;
 307         return;
 308     }
 309
 310     bs->request_alignment = 0;
 311     s->buf_align = 0;
 312     /* Let's try to use the logical blocksize for the alignment. */
 313     if (probe_logical_blocksize(fd, &bs->request_alignment) < 0) {
 314         bs->request_alignment = 0;
 315     }
 316 #ifdef CONFIG_XFS
 317     if (s->is_xfs) {
 318         struct dioattr da;
 319         if (xfsctl(NULL, fd, XFS_IOC_DIOINFO, &da) >= 0) {
 320             bs->request_alignment = da.d_miniosz;
 321             /* The kernel returns wrong information for d_mem */
 322             /* s->buf_align = da.d_mem; */
 323         }
 324     }
 325 #endif
 326
 327     /* If we could not get the sizes so far, we can only guess them */
 328     if (!s->buf_align) {
 329         size_t align;
 330         buf = qemu_memalign(max_align, 2 * max_align);
 331         for (align = 512; align <= max_align; align <<= 1) {
 332             if (raw_is_io_aligned(fd, buf + align, max_align)) {
 333                 s->buf_align = align;
 334                 break;
 335             }
 336         }
 337         qemu_vfree(buf);
 338     }
 339
 340     if (!bs->request_alignment) {
 341         size_t align;
 342         buf = qemu_memalign(s->buf_align, max_align);
 343         for (align = 512; align <= max_align; align <<= 1) {
 344             if (raw_is_io_aligned(fd, buf, align)) {
 345                 bs->request_alignment = align;
 346                 break;
 347             }
 348         }
 349         qemu_vfree(buf);
 350     }
 351
 352     if (!s->buf_align || !bs->request_alignment) {
 353         error_setg(errp, "Could not find working O_DIRECT alignment. "
 354                          "Try cache.direct=off.");
 355     }
 356 }
 357
 358 static void raw_parse_flags(int bdrv_flags, int *open_flags)
 359 {
 360     assert(open_flags != NULL);
 361
 362     *open_flags |= O_BINARY;
 363     *open_flags &= ~O_ACCMODE;
 364     if (bdrv_flags & BDRV_O_RDWR) {
 365         *open_flags |= O_RDWR;
 366     } else {
 367         *open_flags |= O_RDONLY;
 368     }
 369
 370     /* Use O_DSYNC for write-through caching, no flags for write-back caching,
 371      * and O_DIRECT for no caching. */
 372     if ((bdrv_flags & BDRV_O_NOCACHE)) {
 373         *open_flags |= O_DIRECT;
 374     }
 375 }
 376
 377 static void raw_detach_aio_context(BlockDriverState *bs)
 378 {
 379 #ifdef CONFIG_LINUX_AIO
 380     BDRVRawState *s = bs->opaque;
 381
 382     if (s->use_aio) {
 383         laio_detach_aio_context(s->aio_ctx, bdrv_get_aio_context(bs));
 384     }
 385 #endif
 386 }
 387
 388 static void raw_attach_aio_context(BlockDriverState *bs,
 389                                    AioContext *new_context)
 390 {
 391 #ifdef CONFIG_LINUX_AIO
 392     BDRVRawState *s = bs->opaque;
 393
 394     if (s->use_aio) {
 395         laio_attach_aio_context(s->aio_ctx, new_context);
 396     }
 397 #endif
 398 }
 399
 400 #ifdef CONFIG_LINUX_AIO
 401 static int raw_set_aio(LinuxAioState **aio_ctx, int *use_aio, int bdrv_flags)
 402 {
 403     int ret = -1;
 404     assert(aio_ctx != NULL);
 405     assert(use_aio != NULL);
 406     /*
 407      * Currently Linux do AIO only for files opened with O_DIRECT
 408      * specified so check NOCACHE flag too
 409      */
 410     if ((bdrv_flags & (BDRV_O_NOCACHE|BDRV_O_NATIVE_AIO)) ==
 411                       (BDRV_O_NOCACHE|BDRV_O_NATIVE_AIO)) {
 412
 413         /* if non-NULL, laio_init() has already been run */
 414         if (*aio_ctx == NULL) {
 415             *aio_ctx = laio_init();
 416             if (!*aio_ctx) {
 417                 goto error;
 418             }
 419         }
 420         *use_aio = 1;
 421     } else {
 422         *use_aio = 0;
 423     }
 424
 425     ret = 0;
 426
 427 error:
 428     return ret;
 429 }
 430 #endif
 431
 432 static void raw_parse_filename(const char *filename, QDict *options,
 433                                Error **errp)
 434 {
 435     /* The filename does not have to be prefixed by the protocol name, since
 436      * "file" is the default protocol; therefore, the return value of this
 437      * function call can be ignored. */
 438     strstart(filename, "file:", &filename);
 439
 440     qdict_put_obj(options, "filename", QOBJECT(qstring_from_str(filename)));
 441 }
 442
 443 static QemuOptsList raw_runtime_opts = {
 444     .name = "raw",
 445     .head = QTAILQ_HEAD_INITIALIZER(raw_runtime_opts.head),
 446     .desc = {
 447         {
 448             .name = "filename",
 449             .type = QEMU_OPT_STRING,
 450             .help = "File name of the image",
 451         },
 452         { /* end of list */ }
 453     },
 454 };
 455
 456 static int raw_open_common(BlockDriverState *bs, QDict *options,
 457                            int bdrv_flags, int open_flags, Error **errp)
 458 {
 459     BDRVRawState *s = bs->opaque;
 460     QemuOpts *opts;
 461     Error *local_err = NULL;
 462     const char *filename = NULL;
 463     int fd, ret;
 464     struct stat st;
 465
 466     opts = qemu_opts_create(&raw_runtime_opts, NULL, 0, &error_abort);
 467     qemu_opts_absorb_qdict(opts, options, &local_err);
 468     if (local_err) {
 469         error_propagate(errp, local_err);
 470         ret = -EINVAL;
 471         goto fail;
 472     }
 473
 474     filename = qemu_opt_get(opts, "filename");
 475
 476     ret = raw_normalize_devicepath(&filename);
 477     if (ret != 0) {
 478         error_setg_errno(errp, -ret, "Could not normalize device path");
 479         goto fail;
 480     }
 481
 482     s->open_flags = open_flags;
 483     raw_parse_flags(bdrv_flags, &s->open_flags);
 484
 485     s->fd = -1;
 486     fd = qemu_open(filename, s->open_flags, 0644);
 487     if (fd < 0) {
 488         ret = -errno;
 489         if (ret == -EROFS) {
 490             ret = -EACCES;
 491         }
 492         goto fail;
 493     }
 494     s->fd = fd;
 495
 496 #ifdef CONFIG_LINUX_AIO
 497     if (raw_set_aio(&s->aio_ctx, &s->use_aio, bdrv_flags)) {
 498         qemu_close(fd);
 499         ret = -errno;
 500         error_setg_errno(errp, -ret, "Could not set AIO state");
 501         goto fail;
 502     }
 503     if (!s->use_aio && (bdrv_flags & BDRV_O_NATIVE_AIO)) {
 504         error_setg(errp, "aio=native was specified, but it requires "
 505                          "cache.direct=on, which was not specified.");
 506         ret = -EINVAL;
 507         goto fail;
 508     }
 509 #else
 510     if (bdrv_flags & BDRV_O_NATIVE_AIO) {
 511         error_setg(errp, "aio=native was specified, but is not supported "
 512                          "in this build.");
 513         ret = -EINVAL;
 514         goto fail;
 515     }
 516 #endif /* !defined(CONFIG_LINUX_AIO) */
 517
 518     s->has_discard = true;
 519     s->has_write_zeroes = true;
 520     bs->supported_zero_flags = BDRV_REQ_MAY_UNMAP;
 521     if ((bs->open_flags & BDRV_O_NOCACHE) != 0) {
 522         s->needs_alignment = true;
 523     }
 524
 525     if (fstat(s->fd, &st) < 0) {
 526         ret = -errno;
 527         error_setg_errno(errp, errno, "Could not stat file");
 528         goto fail;
 529     }
 530     if (S_ISREG(st.st_mode)) {
 531         s->discard_zeroes = true;
 532         s->has_fallocate = true;
 533     }
 534     if (S_ISBLK(st.st_mode)) {
 535 #ifdef BLKDISCARDZEROES
 536         unsigned int arg;
 537         if (ioctl(s->fd, BLKDISCARDZEROES, &arg) == 0 && arg) {
 538             s->discard_zeroes = true;
 539         }
 540 #endif
 541 #ifdef __linux__
 542         /* On Linux 3.10, BLKDISCARD leaves stale data in the page cache.  Do
 543          * not rely on the contents of discarded blocks unless using O_DIRECT.
 544          * Same for BLKZEROOUT.
 545          */
 546         if (!(bs->open_flags & BDRV_O_NOCACHE)) {
 547             s->discard_zeroes = false;
 548             s->has_write_zeroes = false;
 549         }
 550 #endif
 551     }
 552 #ifdef __FreeBSD__
 553     if (S_ISCHR(st.st_mode)) {
 554         /*
 555          * The file is a char device (disk), which on FreeBSD isn't behind
 556          * a pager, so force all requests to be aligned. This is needed
 557          * so QEMU makes sure all IO operations on the device are aligned
 558          * to sector size, or else FreeBSD will reject them with EINVAL.
 559          */
 560         s->needs_alignment = true;
 561     }
 562 #endif
 563
 564 #ifdef CONFIG_XFS
 565     if (platform_test_xfs_fd(s->fd)) {
 566         s->is_xfs = true;
 567     }
 568 #endif
 569
 570     raw_attach_aio_context(bs, bdrv_get_aio_context(bs));
 571
 572     ret = 0;
 573 fail:
 574     if (filename && (bdrv_flags & BDRV_O_TEMPORARY)) {
 575         unlink(filename);
 576     }
 577     qemu_opts_del(opts);
 578     return ret;
 579 }
 580
 581 static int raw_open(BlockDriverState *bs, QDict *options, int flags,
 582                     Error **errp)
 583 {
 584     BDRVRawState *s = bs->opaque;
 585
 586     s->type = FTYPE_FILE;
 587     return raw_open_common(bs, options, flags, 0, errp);
 588 }
 589
 590 static int raw_reopen_prepare(BDRVReopenState *state,
 591                               BlockReopenQueue *queue, Error **errp)
 592 {
 593     BDRVRawState *s;
 594     BDRVRawReopenState *raw_s;
 595     int ret = 0;
 596     Error *local_err = NULL;
 597
 598     assert(state != NULL);
 599     assert(state->bs != NULL);
 600
 601     s = state->bs->opaque;
 602
 603     state->opaque = g_new0(BDRVRawReopenState, 1);
 604     raw_s = state->opaque;
 605
 606 #ifdef CONFIG_LINUX_AIO
 607     raw_s->use_aio = s->use_aio;
 608
 609     /* we can use s->aio_ctx instead of a copy, because the use_aio flag is
 610      * valid in the 'false' condition even if aio_ctx is set, and raw_set_aio()
 611      * won't override aio_ctx if aio_ctx is non-NULL */
 612     if (raw_set_aio(&s->aio_ctx, &raw_s->use_aio, state->flags)) {
 613         error_setg(errp, "Could not set AIO state");
 614         return -1;
 615     }
 616 #endif
 617
 618     if (s->type == FTYPE_CD) {
 619         raw_s->open_flags |= O_NONBLOCK;
 620     }
 621
 622     raw_parse_flags(state->flags, &raw_s->open_flags);
 623
 624     raw_s->fd = -1;
 625
 626     int fcntl_flags = O_APPEND | O_NONBLOCK;
 627 #ifdef O_NOATIME
 628     fcntl_flags |= O_NOATIME;
 629 #endif
 630
 631 #ifdef O_ASYNC
 632     /* Not all operating systems have O_ASYNC, and those that don't
 633      * will not let us track the state into raw_s->open_flags (typically
 634      * you achieve the same effect with an ioctl, for example I_SETSIG
 635      * on Solaris). But we do not use O_ASYNC, so that's fine.
 636      */
 637     assert((s->open_flags & O_ASYNC) == 0);
 638 #endif
 639
 640     if ((raw_s->open_flags & ~fcntl_flags) == (s->open_flags & ~fcntl_flags)) {
 641         /* dup the original fd */
 642         /* TODO: use qemu fcntl wrapper */
 643 #ifdef F_DUPFD_CLOEXEC
 644         raw_s->fd = fcntl(s->fd, F_DUPFD_CLOEXEC, 0);
 645 #else
 646         raw_s->fd = dup(s->fd);
 647         if (raw_s->fd != -1) {
 648             qemu_set_cloexec(raw_s->fd);
 649         }
 650 #endif
 651         if (raw_s->fd >= 0) {
 652             ret = fcntl_setfl(raw_s->fd, raw_s->open_flags);
 653             if (ret) {
 654                 qemu_close(raw_s->fd);
 655                 raw_s->fd = -1;
 656             }
 657         }
 658     }
 659
 660     /* If we cannot use fcntl, or fcntl failed, fall back to qemu_open() */
 661     if (raw_s->fd == -1) {
 662         const char *normalized_filename = state->bs->filename;
 663         ret = raw_normalize_devicepath(&normalized_filename);
 664         if (ret < 0) {
 665             error_setg_errno(errp, -ret, "Could not normalize device path");
 666         } else {
 667             assert(!(raw_s->open_flags & O_CREAT));
 668             raw_s->fd = qemu_open(normalized_filename, raw_s->open_flags);
 669             if (raw_s->fd == -1) {
 670                 error_setg_errno(errp, errno, "Could not reopen file");
 671                 ret = -1;
 672             }
 673         }
 674     }
 675
 676     /* Fail already reopen_prepare() if we can't get a working O_DIRECT
 677      * alignment with the new fd. */
 678     if (raw_s->fd != -1) {
 679         raw_probe_alignment(state->bs, raw_s->fd, &local_err);
 680         if (local_err) {
 681             qemu_close(raw_s->fd);
 682             raw_s->fd = -1;
 683             error_propagate(errp, local_err);
 684             ret = -EINVAL;
 685         }
 686     }
 687
 688     return ret;
 689 }
 690
 691 static void raw_reopen_commit(BDRVReopenState *state)
 692 {
 693     BDRVRawReopenState *raw_s = state->opaque;
 694     BDRVRawState *s = state->bs->opaque;
 695
 696     s->open_flags = raw_s->open_flags;
 697
 698     qemu_close(s->fd);
 699     s->fd = raw_s->fd;
 700 #ifdef CONFIG_LINUX_AIO
 701     s->use_aio = raw_s->use_aio;
 702 #endif
 703
 704     g_free(state->opaque);
 705     state->opaque = NULL;
 706 }
 707
 708
 709 static void raw_reopen_abort(BDRVReopenState *state)
 710 {
 711     BDRVRawReopenState *raw_s = state->opaque;
 712
 713      /* nothing to do if NULL, we didn't get far enough */
 714     if (raw_s == NULL) {
 715         return;
 716     }
 717
 718     if (raw_s->fd >= 0) {
 719         qemu_close(raw_s->fd);
 720         raw_s->fd = -1;
 721     }
 722     g_free(state->opaque);
 723     state->opaque = NULL;
 724 }
 725
 726 static int hdev_get_max_transfer_length(int fd)
 727 {
 728 #ifdef BLKSECTGET
 729     int max_sectors = 0;
 730     if (ioctl(fd, BLKSECTGET, &max_sectors) == 0) {
 731         return max_sectors;
 732     } else {
 733         return -errno;
 734     }
 735 #else
 736     return -ENOSYS;
 737 #endif
 738 }
 739
 740 static void raw_refresh_limits(BlockDriverState *bs, Error **errp)
 741 {
 742     BDRVRawState *s = bs->opaque;
 743     struct stat st;
 744
 745     if (!fstat(s->fd, &st)) {
 746         if (S_ISBLK(st.st_mode)) {
 747             int ret = hdev_get_max_transfer_length(s->fd);
 748             if (ret >= 0) {
 749                 bs->bl.max_transfer_length = ret;
 750             }
 751         }
 752     }
 753
 754     raw_probe_alignment(bs, s->fd, errp);
 755     bs->bl.min_mem_alignment = s->buf_align;
 756     bs->bl.opt_mem_alignment = MAX(s->buf_align, getpagesize());
 757 }
 758
 759 static int check_for_dasd(int fd)
 760 {
 761 #ifdef BIODASDINFO2
 762     struct dasd_information2_t info = {0};
 763
 764     return ioctl(fd, BIODASDINFO2, &info);
 765 #else
 766     return -1;
 767 #endif
 768 }
 769
 770 /**
 771  * Try to get @bs's logical and physical block size.
 772  * On success, store them in @bsz and return zero.
 773  * On failure, return negative errno.
 774  */
 775 static int hdev_probe_blocksizes(BlockDriverState *bs, BlockSizes *bsz)
 776 {
 777     BDRVRawState *s = bs->opaque;
 778     int ret;
 779
 780     /* If DASD, get blocksizes */
 781     if (check_for_dasd(s->fd) < 0) {
 782         return -ENOTSUP;
 783     }
 784     ret = probe_logical_blocksize(s->fd, &bsz->log);
 785     if (ret < 0) {
 786         return ret;
 787     }
 788     return probe_physical_blocksize(s->fd, &bsz->phys);
 789 }
 790
 791 /**
 792  * Try to get @bs's geometry: cyls, heads, sectors.
 793  * On success, store them in @geo and return 0.
 794  * On failure return -errno.
 795  * (Allows block driver to assign default geometry values that guest sees)
 796  */
 797 #ifdef __linux__
 798 static int hdev_probe_geometry(BlockDriverState *bs, HDGeometry *geo)
 799 {
 800     BDRVRawState *s = bs->opaque;
 801     struct hd_geometry ioctl_geo = {0};
 802
 803     /* If DASD, get its geometry */
 804     if (check_for_dasd(s->fd) < 0) {
 805         return -ENOTSUP;
 806     }
 807     if (ioctl(s->fd, HDIO_GETGEO, &ioctl_geo) < 0) {
 808         return -errno;
 809     }
 810     /* HDIO_GETGEO may return success even though geo contains zeros
 811        (e.g. certain multipath setups) */
 812     if (!ioctl_geo.heads || !ioctl_geo.sectors || !ioctl_geo.cylinders) {
 813         return -ENOTSUP;
 814     }
 815     /* Do not return a geometry for partition */
 816     if (ioctl_geo.start != 0) {
 817         return -ENOTSUP;
 818     }
 819     geo->heads = ioctl_geo.heads;
 820     geo->sectors = ioctl_geo.sectors;
 821     geo->cylinders = ioctl_geo.cylinders;
 822
 823     return 0;
 824 }
 825 #else /* __linux__ */
 826 static int hdev_probe_geometry(BlockDriverState *bs, HDGeometry *geo)
 827 {
 828     return -ENOTSUP;
 829 }
 830 #endif
 831
 832 static ssize_t handle_aiocb_ioctl(RawPosixAIOData *aiocb)
 833 {
 834     int ret;
 835
 836     ret = ioctl(aiocb->aio_fildes, aiocb->aio_ioctl_cmd, aiocb->aio_ioctl_buf);
 837     if (ret == -1) {
 838         return -errno;
 839     }
 840
 841     return 0;
 842 }
 843
 844 static ssize_t handle_aiocb_flush(RawPosixAIOData *aiocb)
 845 {
 846     int ret;
 847
 848     ret = qemu_fdatasync(aiocb->aio_fildes);
 849     if (ret == -1) {
 850         return -errno;
 851     }
 852     return 0;
 853 }
 854
 855 #ifdef CONFIG_PREADV
 856
 857 static bool preadv_present = true;
 858
 859 static ssize_t
 860 qemu_preadv(int fd, const struct iovec *iov, int nr_iov, off_t offset)
 861 {
 862     return preadv(fd, iov, nr_iov, offset);
 863 }
 864
 865 static ssize_t
 866 qemu_pwritev(int fd, const struct iovec *iov, int nr_iov, off_t offset)
 867 {
 868     return pwritev(fd, iov, nr_iov, offset);
 869 }
 870
 871 #else
 872
 873 static bool preadv_present = false;
 874
 875 static ssize_t
 876 qemu_preadv(int fd, const struct iovec *iov, int nr_iov, off_t offset)
 877 {
 878     return -ENOSYS;
 879 }
 880
 881 static ssize_t
 882 qemu_pwritev(int fd, const struct iovec *iov, int nr_iov, off_t offset)
 883 {
 884     return -ENOSYS;
 885 }
 886
 887 #endif
 888
 889 static ssize_t handle_aiocb_rw_vector(RawPosixAIOData *aiocb)
 890 {
 891     ssize_t len;
 892
 893     do {
 894         if (aiocb->aio_type & QEMU_AIO_WRITE)
 895             len = qemu_pwritev(aiocb->aio_fildes,
 896                                aiocb->aio_iov,
 897                                aiocb->aio_niov,
 898                                aiocb->aio_offset);
 899          else
 900             len = qemu_preadv(aiocb->aio_fildes,
 901                               aiocb->aio_iov,
 902                               aiocb->aio_niov,
 903                               aiocb->aio_offset);
 904     } while (len == -1 && errno == EINTR);
 905
 906     if (len == -1) {
 907         return -errno;
 908     }
 909     return len;
 910 }
 911
 912 /*
 913  * Read/writes the data to/from a given linear buffer.
 914  *
 915  * Returns the number of bytes handles or -errno in case of an error. Short
 916  * reads are only returned if the end of the file is reached.
 917  */
 918 static ssize_t handle_aiocb_rw_linear(RawPosixAIOData *aiocb, char *buf)
 919 {
 920     ssize_t offset = 0;
 921     ssize_t len;
 922
 923     while (offset < aiocb->aio_nbytes) {
 924         if (aiocb->aio_type & QEMU_AIO_WRITE) {
 925             len = pwrite(aiocb->aio_fildes,
 926                          (const char *)buf + offset,
 927                          aiocb->aio_nbytes - offset,
 928                          aiocb->aio_offset + offset);
 929         } else {
 930             len = pread(aiocb->aio_fildes,
 931                         buf + offset,
 932                         aiocb->aio_nbytes - offset,
 933                         aiocb->aio_offset + offset);
 934         }
 935         if (len == -1 && errno == EINTR) {
 936             continue;
 937         } else if (len == -1 && errno == EINVAL &&
 938                    (aiocb->bs->open_flags & BDRV_O_NOCACHE) &&
 939                    !(aiocb->aio_type & QEMU_AIO_WRITE) &&
 940                    offset > 0) {
 941             /* O_DIRECT pread() may fail with EINVAL when offset is unaligned
 942              * after a short read.  Assume that O_DIRECT short reads only occur
 943              * at EOF.  Therefore this is a short read, not an I/O error.
 944              */
 945             break;
 946         } else if (len == -1) {
 947             offset = -errno;
 948             break;
 949         } else if (len == 0) {
 950             break;
 951         }
 952         offset += len;
 953     }
 954
 955     return offset;
 956 }
 957
 958 static ssize_t handle_aiocb_rw(RawPosixAIOData *aiocb)
 959 {
 960     ssize_t nbytes;
 961     char *buf;
 962
 963     if (!(aiocb->aio_type & QEMU_AIO_MISALIGNED)) {
 964         /*
 965          * If there is just a single buffer, and it is properly aligned
 966          * we can just use plain pread/pwrite without any problems.
 967          */
 968         if (aiocb->aio_niov == 1) {
 969              return handle_aiocb_rw_linear(aiocb, aiocb->aio_iov->iov_base);
 970         }
 971         /*
 972          * We have more than one iovec, and all are properly aligned.
 973          *
 974          * Try preadv/pwritev first and fall back to linearizing the
 975          * buffer if it's not supported.
 976          */
 977         if (preadv_present) {
 978             nbytes = handle_aiocb_rw_vector(aiocb);
 979             if (nbytes == aiocb->aio_nbytes ||
 980                 (nbytes < 0 && nbytes != -ENOSYS)) {
 981                 return nbytes;
 982             }
 983             preadv_present = false;
 984         }
 985
 986         /*
 987          * XXX(hch): short read/write.  no easy way to handle the reminder
 988          * using these interfaces.  For now retry using plain
 989          * pread/pwrite?
 990          */
 991     }
 992
 993     /*
 994      * Ok, we have to do it the hard way, copy all segments into
 995      * a single aligned buffer.
 996      */
 997     buf = qemu_try_blockalign(aiocb->bs, aiocb->aio_nbytes);
 998     if (buf == NULL) {
 999         return -ENOMEM;
1000     }
1001
1002     if (aiocb->aio_type & QEMU_AIO_WRITE) {
1003         char *p = buf;
1004         int i;
1005
1006         for (i = 0; i < aiocb->aio_niov; ++i) {
1007             memcpy(p, aiocb->aio_iov[i].iov_base, aiocb->aio_iov[i].iov_len);
1008             p += aiocb->aio_iov[i].iov_len;
1009         }
1010         assert(p - buf == aiocb->aio_nbytes);
1011     }
1012
1013     nbytes = handle_aiocb_rw_linear(aiocb, buf);
1014     if (!(aiocb->aio_type & QEMU_AIO_WRITE)) {
1015         char *p = buf;
1016         size_t count = aiocb->aio_nbytes, copy;
1017         int i;
1018
1019         for (i = 0; i < aiocb->aio_niov && count; ++i) {
1020             copy = count;
1021             if (copy > aiocb->aio_iov[i].iov_len) {
1022                 copy = aiocb->aio_iov[i].iov_len;
1023             }
1024             memcpy(aiocb->aio_iov[i].iov_base, p, copy);
1025             assert(count >= copy);
1026             p     += copy;
1027             count -= copy;
1028         }
1029         assert(count == 0);
1030     }
1031     qemu_vfree(buf);
1032
1033     return nbytes;
1034 }
1035
1036 #ifdef CONFIG_XFS
1037 static int xfs_write_zeroes(BDRVRawState *s, int64_t offset, uint64_t bytes)
1038 {
1039     struct xfs_flock64 fl;
1040     int err;
1041
1042     memset(&fl, 0, sizeof(fl));
1043     fl.l_whence = SEEK_SET;
1044     fl.l_start = offset;
1045     fl.l_len = bytes;
1046
1047     if (xfsctl(NULL, s->fd, XFS_IOC_ZERO_RANGE, &fl) < 0) {
1048         err = errno;
1049         DPRINTF("cannot write zero range (%s)\n", strerror(errno));
1050         return -err;
1051     }
1052
1053     return 0;
1054 }
1055
1056 static int xfs_discard(BDRVRawState *s, int64_t offset, uint64_t bytes)
1057 {
1058     struct xfs_flock64 fl;
1059     int err;
1060
1061     memset(&fl, 0, sizeof(fl));
1062     fl.l_whence = SEEK_SET;
1063     fl.l_start = offset;
1064     fl.l_len = bytes;
1065
1066     if (xfsctl(NULL, s->fd, XFS_IOC_UNRESVSP64, &fl) < 0) {
1067         err = errno;
1068         DPRINTF("cannot punch hole (%s)\n", strerror(errno));
1069         return -err;
1070     }
1071
1072     return 0;
1073 }
1074 #endif
1075
1076 static int translate_err(int err)
1077 {
1078     if (err == -ENODEV || err == -ENOSYS || err == -EOPNOTSUPP ||
1079         err == -ENOTTY) {
1080         err = -ENOTSUP;
1081     }
1082     return err;
1083 }
1084
1085 #ifdef CONFIG_FALLOCATE
1086 static int do_fallocate(int fd, int mode, off_t offset, off_t len)
1087 {
1088     do {
1089         if (fallocate(fd, mode, offset, len) == 0) {
1090             return 0;
1091         }
1092     } while (errno == EINTR);
1093     return translate_err(-errno);
1094 }
1095 #endif
1096
1097 static ssize_t handle_aiocb_write_zeroes_block(RawPosixAIOData *aiocb)
1098 {
1099     int ret = -ENOTSUP;
1100     BDRVRawState *s = aiocb->bs->opaque;
1101
1102     if (!s->has_write_zeroes) {
1103         return -ENOTSUP;
1104     }
1105
1106 #ifdef BLKZEROOUT
1107     do {
1108         uint64_t range[2] = { aiocb->aio_offset, aiocb->aio_nbytes };
1109         if (ioctl(aiocb->aio_fildes, BLKZEROOUT, range) == 0) {
1110             return 0;
1111         }
1112     } while (errno == EINTR);
1113
1114     ret = translate_err(-errno);
1115 #endif
1116
1117     if (ret == -ENOTSUP) {
1118         s->has_write_zeroes = false;
1119     }
1120     return ret;
1121 }
1122
1123 static ssize_t handle_aiocb_write_zeroes(RawPosixAIOData *aiocb)
1124 {
1125 #if defined(CONFIG_FALLOCATE) || defined(CONFIG_XFS)
1126     BDRVRawState *s = aiocb->bs->opaque;
1127 #endif
1128
1129     if (aiocb->aio_type & QEMU_AIO_BLKDEV) {
1130         return handle_aiocb_write_zeroes_block(aiocb);
1131     }
1132
1133 #ifdef CONFIG_XFS
1134     if (s->is_xfs) {
1135         return xfs_write_zeroes(s, aiocb->aio_offset, aiocb->aio_nbytes);
1136     }
1137 #endif
1138
1139 #ifdef CONFIG_FALLOCATE_ZERO_RANGE
1140     if (s->has_write_zeroes) {
1141         int ret = do_fallocate(s->fd, FALLOC_FL_ZERO_RANGE,
1142                                aiocb->aio_offset, aiocb->aio_nbytes);
1143         if (ret == 0 || ret != -ENOTSUP) {
1144             return ret;
1145         }
1146         s->has_write_zeroes = false;
1147     }
1148 #endif
1149
1150 #ifdef CONFIG_FALLOCATE_PUNCH_HOLE
1151     if (s->has_discard && s->has_fallocate) {
1152         int ret = do_fallocate(s->fd,
1153                                FALLOC_FL_PUNCH_HOLE | FALLOC_FL_KEEP_SIZE,
1154                                aiocb->aio_offset, aiocb->aio_nbytes);
1155         if (ret == 0) {
1156             ret = do_fallocate(s->fd, 0, aiocb->aio_offset, aiocb->aio_nbytes);
1157             if (ret == 0 || ret != -ENOTSUP) {
1158                 return ret;
1159             }
1160             s->has_fallocate = false;
1161         } else if (ret != -ENOTSUP) {
1162             return ret;
1163         } else {
1164             s->has_discard = false;
1165         }
1166     }
1167 #endif
1168
1169 #ifdef CONFIG_FALLOCATE
1170     if (s->has_fallocate && aiocb->aio_offset >= bdrv_getlength(aiocb->bs)) {
1171         int ret = do_fallocate(s->fd, 0, aiocb->aio_offset, aiocb->aio_nbytes);
1172         if (ret == 0 || ret != -ENOTSUP) {
1173             return ret;
1174         }
1175         s->has_fallocate = false;
1176     }
1177 #endif
1178
1179     return -ENOTSUP;
1180 }
1181
1182 static ssize_t handle_aiocb_discard(RawPosixAIOData *aiocb)
1183 {
1184     int ret = -EOPNOTSUPP;
1185     BDRVRawState *s = aiocb->bs->opaque;
1186
1187     if (!s->has_discard) {
1188         return -ENOTSUP;
1189     }
1190
1191     if (aiocb->aio_type & QEMU_AIO_BLKDEV) {
1192 #ifdef BLKDISCARD
1193         do {
1194             uint64_t range[2] = { aiocb->aio_offset, aiocb->aio_nbytes };
1195             if (ioctl(aiocb->aio_fildes, BLKDISCARD, range) == 0) {
1196                 return 0;
1197             }
1198         } while (errno == EINTR);
1199
1200         ret = -errno;
1201 #endif
1202     } else {
1203 #ifdef CONFIG_XFS
1204         if (s->is_xfs) {
1205             return xfs_discard(s, aiocb->aio_offset, aiocb->aio_nbytes);
1206         }
1207 #endif
1208
1209 #ifdef CONFIG_FALLOCATE_PUNCH_HOLE
1210         ret = do_fallocate(s->fd, FALLOC_FL_PUNCH_HOLE | FALLOC_FL_KEEP_SIZE,
1211                            aiocb->aio_offset, aiocb->aio_nbytes);
1212 #endif
1213     }
1214
1215     ret = translate_err(ret);
1216     if (ret == -ENOTSUP) {
1217         s->has_discard = false;
1218     }
1219     return ret;
1220 }
1221
1222 static int aio_worker(void *arg)
1223 {
1224     RawPosixAIOData *aiocb = arg;
1225     ssize_t ret = 0;
1226
1227     switch (aiocb->aio_type & QEMU_AIO_TYPE_MASK) {
1228     case QEMU_AIO_READ:
1229         ret = handle_aiocb_rw(aiocb);
1230         if (ret >= 0 && ret < aiocb->aio_nbytes) {
1231             iov_memset(aiocb->aio_iov, aiocb->aio_niov, ret,
1232                       0, aiocb->aio_nbytes - ret);
1233
1234             ret = aiocb->aio_nbytes;
1235         }
1236         if (ret == aiocb->aio_nbytes) {
1237             ret = 0;
1238         } else if (ret >= 0 && ret < aiocb->aio_nbytes) {
1239             ret = -EINVAL;
1240         }
1241         break;
1242     case QEMU_AIO_WRITE:
1243         ret = handle_aiocb_rw(aiocb);
1244         if (ret == aiocb->aio_nbytes) {
1245             ret = 0;
1246         } else if (ret >= 0 && ret < aiocb->aio_nbytes) {
1247             ret = -EINVAL;
1248         }
1249         break;
1250     case QEMU_AIO_FLUSH:
1251         ret = handle_aiocb_flush(aiocb);
1252         break;
1253     case QEMU_AIO_IOCTL:
1254         ret = handle_aiocb_ioctl(aiocb);
1255         break;
1256     case QEMU_AIO_DISCARD:
1257         ret = handle_aiocb_discard(aiocb);
1258         break;
1259     case QEMU_AIO_WRITE_ZEROES:
1260         ret = handle_aiocb_write_zeroes(aiocb);
1261         break;
1262     default:
1263         fprintf(stderr, "invalid aio request (0x%x)\n", aiocb->aio_type);
1264         ret = -EINVAL;
1265         break;
1266     }
1267
1268     g_free(aiocb);
1269     return ret;
1270 }
1271
1272 static int paio_submit_co(BlockDriverState *bs, int fd,
1273                           int64_t offset, QEMUIOVector *qiov,
1274                           int count, int type)
1275 {
1276     RawPosixAIOData *acb = g_new(RawPosixAIOData, 1);
1277     ThreadPool *pool;
1278
1279     acb->bs = bs;
1280     acb->aio_type = type;
1281     acb->aio_fildes = fd;
1282
1283     acb->aio_nbytes = count;
1284     acb->aio_offset = offset;
1285
1286     if (qiov) {
1287         acb->aio_iov = qiov->iov;
1288         acb->aio_niov = qiov->niov;
1289         assert(qiov->size == count);
1290     }
1291
1292     trace_paio_submit_co(offset, count, type);
1293     pool = aio_get_thread_pool(bdrv_get_aio_context(bs));
1294     return thread_pool_submit_co(pool, aio_worker, acb);
1295 }
1296
1297 static BlockAIOCB *paio_submit(BlockDriverState *bs, int fd,
1298         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
1299         BlockCompletionFunc *cb, void *opaque, int type)
1300 {
1301     RawPosixAIOData *acb = g_new(RawPosixAIOData, 1);
1302     ThreadPool *pool;
1303
1304     acb->bs = bs;
1305     acb->aio_type = type;
1306     acb->aio_fildes = fd;
1307
1308     acb->aio_nbytes = nb_sectors * BDRV_SECTOR_SIZE;
1309     acb->aio_offset = sector_num * BDRV_SECTOR_SIZE;
1310
1311     if (qiov) {
1312         acb->aio_iov = qiov->iov;
1313         acb->aio_niov = qiov->niov;
1314         assert(qiov->size == acb->aio_nbytes);
1315     }
1316
1317     trace_paio_submit(acb, opaque, sector_num, nb_sectors, type);
1318     pool = aio_get_thread_pool(bdrv_get_aio_context(bs));
1319     return thread_pool_submit_aio(pool, aio_worker, acb, cb, opaque);
1320 }
1321
1322 static int coroutine_fn raw_co_prw(BlockDriverState *bs, uint64_t offset,
1323                                    uint64_t bytes, QEMUIOVector *qiov, int type)
1324 {
1325     BDRVRawState *s = bs->opaque;
1326
1327     if (fd_open(bs) < 0)
1328         return -EIO;
1329
1330     /*
1331      * Check if the underlying device requires requests to be aligned,
1332      * and if the request we are trying to submit is aligned or not.
1333      * If this is the case tell the low-level driver that it needs
1334      * to copy the buffer.
1335      */
1336     if (s->needs_alignment) {
1337         if (!bdrv_qiov_is_aligned(bs, qiov)) {
1338             type |= QEMU_AIO_MISALIGNED;
1339 #ifdef CONFIG_LINUX_AIO
1340         } else if (s->use_aio) {
1341             assert(qiov->size == bytes);
1342             return laio_co_submit(bs, s->aio_ctx, s->fd, offset, qiov, type);
1343 #endif
1344         }
1345     }
1346
1347     return paio_submit_co(bs, s->fd, offset, qiov, bytes, type);
1348 }
1349
1350 static int coroutine_fn raw_co_preadv(BlockDriverState *bs, uint64_t offset,
1351                                       uint64_t bytes, QEMUIOVector *qiov,
1352                                       int flags)
1353 {
1354     return raw_co_prw(bs, offset, bytes, qiov, QEMU_AIO_READ);
1355 }
1356
1357 static int coroutine_fn raw_co_pwritev(BlockDriverState *bs, uint64_t offset,
1358                                        uint64_t bytes, QEMUIOVector *qiov,
1359                                        int flags)
1360 {
1361     assert(flags == 0);
1362     return raw_co_prw(bs, offset, bytes, qiov, QEMU_AIO_WRITE);
1363 }
1364
1365 static void raw_aio_plug(BlockDriverState *bs)
1366 {
1367 #ifdef CONFIG_LINUX_AIO
1368     BDRVRawState *s = bs->opaque;
1369     if (s->use_aio) {
1370         laio_io_plug(bs, s->aio_ctx);
1371     }
1372 #endif
1373 }
1374
1375 static void raw_aio_unplug(BlockDriverState *bs)
1376 {
1377 #ifdef CONFIG_LINUX_AIO
1378     BDRVRawState *s = bs->opaque;
1379     if (s->use_aio) {
1380         laio_io_unplug(bs, s->aio_ctx);
1381     }
1382 #endif
1383 }
1384
1385 static BlockAIOCB *raw_aio_flush(BlockDriverState *bs,
1386         BlockCompletionFunc *cb, void *opaque)
1387 {
1388     BDRVRawState *s = bs->opaque;
1389
1390     if (fd_open(bs) < 0)
1391         return NULL;
1392
1393     return paio_submit(bs, s->fd, 0, NULL, 0, cb, opaque, QEMU_AIO_FLUSH);
1394 }
1395
1396 static void raw_close(BlockDriverState *bs)
1397 {
1398     BDRVRawState *s = bs->opaque;
1399
1400     raw_detach_aio_context(bs);
1401
1402 #ifdef CONFIG_LINUX_AIO
1403     if (s->use_aio) {
1404         laio_cleanup(s->aio_ctx);
1405     }
1406 #endif
1407     if (s->fd >= 0) {
1408         qemu_close(s->fd);
1409         s->fd = -1;
1410     }
1411 }
1412
1413 static int raw_truncate(BlockDriverState *bs, int64_t offset)
1414 {
1415     BDRVRawState *s = bs->opaque;
1416     struct stat st;
1417
1418     if (fstat(s->fd, &st)) {
1419         return -errno;
1420     }
1421
1422     if (S_ISREG(st.st_mode)) {
1423         if (ftruncate(s->fd, offset) < 0) {
1424             return -errno;
1425         }
1426     } else if (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode)) {
1427        if (offset > raw_getlength(bs)) {
1428            return -EINVAL;
1429        }
1430     } else {
1431         return -ENOTSUP;
1432     }
1433
1434     return 0;
1435 }
1436
1437 #ifdef __OpenBSD__
1438 static int64_t raw_getlength(BlockDriverState *bs)
1439 {
1440     BDRVRawState *s = bs->opaque;
1441     int fd = s->fd;
1442     struct stat st;
1443
1444     if (fstat(fd, &st))
1445         return -errno;
1446     if (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode)) {
1447         struct disklabel dl;
1448
1449         if (ioctl(fd, DIOCGDINFO, &dl))
1450             return -errno;
1451         return (uint64_t)dl.d_secsize *
1452             dl.d_partitions[DISKPART(st.st_rdev)].p_size;
1453     } else
1454         return st.st_size;
1455 }
1456 #elif defined(__NetBSD__)
1457 static int64_t raw_getlength(BlockDriverState *bs)
1458 {
1459     BDRVRawState *s = bs->opaque;
1460     int fd = s->fd;
1461     struct stat st;
1462
1463     if (fstat(fd, &st))
1464         return -errno;
1465     if (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode)) {
1466         struct dkwedge_info dkw;
1467
1468         if (ioctl(fd, DIOCGWEDGEINFO, &dkw) != -1) {
1469             return dkw.dkw_size * 512;
1470         } else {
1471             struct disklabel dl;
1472
1473             if (ioctl(fd, DIOCGDINFO, &dl))
1474                 return -errno;
1475             return (uint64_t)dl.d_secsize *
1476                 dl.d_partitions[DISKPART(st.st_rdev)].p_size;
1477         }
1478     } else
1479         return st.st_size;
1480 }
1481 #elif defined(__sun__)
1482 static int64_t raw_getlength(BlockDriverState *bs)
1483 {
1484     BDRVRawState *s = bs->opaque;
1485     struct dk_minfo minfo;
1486     int ret;
1487     int64_t size;
1488
1489     ret = fd_open(bs);
1490     if (ret < 0) {
1491         return ret;
1492     }
1493
1494     /*
1495      * Use the DKIOCGMEDIAINFO ioctl to read the size.
1496      */
1497     ret = ioctl(s->fd, DKIOCGMEDIAINFO, &minfo);
1498     if (ret != -1) {
1499         return minfo.dki_lbsize * minfo.dki_capacity;
1500     }
1501
1502     /*
1503      * There are reports that lseek on some devices fails, but
1504      * irc discussion said that contingency on contingency was overkill.
1505      */
1506     size = lseek(s->fd, 0, SEEK_END);
1507     if (size < 0) {
1508         return -errno;
1509     }
1510     return size;
1511 }
1512 #elif defined(CONFIG_BSD)
1513 static int64_t raw_getlength(BlockDriverState *bs)
1514 {
1515     BDRVRawState *s = bs->opaque;
1516     int fd = s->fd;
1517     int64_t size;
1518     struct stat sb;
1519 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
1520     int reopened = 0;
1521 #endif
1522     int ret;
1523
1524     ret = fd_open(bs);
1525     if (ret < 0)
1526         return ret;
1527
1528 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
1529 again:
1530 #endif
1531     if (!fstat(fd, &sb) && (S_IFCHR & sb.st_mode)) {
1532 #ifdef DIOCGMEDIASIZE
1533         if (ioctl(fd, DIOCGMEDIASIZE, (off_t *)&size))
1534 #elif defined(DIOCGPART)
1535         {
1536                 struct partinfo pi;
1537                 if (ioctl(fd, DIOCGPART, &pi) == 0)
1538                         size = pi.media_size;
1539                 else
1540                         size = 0;
1541         }
1542         if (size == 0)
1543 #endif
1544 #if defined(__APPLE__) && defined(__MACH__)
1545         {
1546             uint64_t sectors = 0;
1547             uint32_t sector_size = 0;
1548
1549             if (ioctl(fd, DKIOCGETBLOCKCOUNT, &sectors) == 0
1550                && ioctl(fd, DKIOCGETBLOCKSIZE, &sector_size) == 0) {
1551                 size = sectors * sector_size;
1552             } else {
1553                 size = lseek(fd, 0LL, SEEK_END);
1554                 if (size < 0) {
1555                     return -errno;
1556                 }
1557             }
1558         }
1559 #else
1560         size = lseek(fd, 0LL, SEEK_END);
1561         if (size < 0) {
1562             return -errno;
1563         }
1564 #endif
1565 #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
1566         switch(s->type) {
1567         case FTYPE_CD:
1568             /* XXX FreeBSD acd returns UINT_MAX sectors for an empty drive */
1569             if (size == 2048LL * (unsigned)-1)
1570                 size = 0;
1571             /* XXX no disc?  maybe we need to reopen... */
1572             if (size <= 0 && !reopened && cdrom_reopen(bs) >= 0) {
1573                 reopened = 1;
1574                 goto again;
1575             }
1576         }
1577 #endif
1578     } else {
1579         size = lseek(fd, 0, SEEK_END);
1580         if (size < 0) {
1581             return -errno;
1582         }
1583     }
1584     return size;
1585 }
1586 #else
1587 static int64_t raw_getlength(BlockDriverState *bs)
1588 {
1589     BDRVRawState *s = bs->opaque;
1590     int ret;
1591     int64_t size;
1592
1593     ret = fd_open(bs);
1594     if (ret < 0) {
1595         return ret;
1596     }
1597
1598     size = lseek(s->fd, 0, SEEK_END);
1599     if (size < 0) {
1600         return -errno;
1601     }
1602     return size;
1603 }
1604 #endif
1605
1606 static int64_t raw_get_allocated_file_size(BlockDriverState *bs)
1607 {
1608     struct stat st;
1609     BDRVRawState *s = bs->opaque;
1610
1611     if (fstat(s->fd, &st) < 0) {
1612         return -errno;
1613     }
1614     return (int64_t)st.st_blocks * 512;
1615 }
1616
1617 static int raw_create(const char *filename, QemuOpts *opts, Error **errp)
1618 {
1619     int fd;
1620     int result = 0;
1621     int64_t total_size = 0;
1622     bool nocow = false;
1623     PreallocMode prealloc;
1624     char *buf = NULL;
1625     Error *local_err = NULL;
1626
1627     strstart(filename, "file:", &filename);
1628
1629     /* Read out options */
1630     total_size = ROUND_UP(qemu_opt_get_size_del(opts, BLOCK_OPT_SIZE, 0),
1631                           BDRV_SECTOR_SIZE);
1632     nocow = qemu_opt_get_bool(opts, BLOCK_OPT_NOCOW, false);
1633     buf = qemu_opt_get_del(opts, BLOCK_OPT_PREALLOC);
1634     prealloc = qapi_enum_parse(PreallocMode_lookup, buf,
1635                                PREALLOC_MODE__MAX, PREALLOC_MODE_OFF,
1636                                &local_err);
1637     g_free(buf);
1638     if (local_err) {
1639         error_propagate(errp, local_err);
1640         result = -EINVAL;
1641         goto out;
1642     }
1643
1644     fd = qemu_open(filename, O_RDWR | O_CREAT | O_TRUNC | O_BINARY,
1645                    0644);
1646     if (fd < 0) {
1647         result = -errno;
1648         error_setg_errno(errp, -result, "Could not create file");
1649         goto out;
1650     }
1651
1652     if (nocow) {
1653 #ifdef __linux__
1654         /* Set NOCOW flag to solve performance issue on fs like btrfs.
1655          * This is an optimisation. The FS_IOC_SETFLAGS ioctl return value
1656          * will be ignored since any failure of this operation should not
1657          * block the left work.
1658          */
1659         int attr;
1660         if (ioctl(fd, FS_IOC_GETFLAGS, &attr) == 0) {
1661             attr |= FS_NOCOW_FL;
1662             ioctl(fd, FS_IOC_SETFLAGS, &attr);
1663         }
1664 #endif
1665     }
1666
1667     if (ftruncate(fd, total_size) != 0) {
1668         result = -errno;
1669         error_setg_errno(errp, -result, "Could not resize file");
1670         goto out_close;
1671     }
1672
1673     switch (prealloc) {
1674 #ifdef CONFIG_POSIX_FALLOCATE
1675     case PREALLOC_MODE_FALLOC:
1676         /* posix_fallocate() doesn't set errno. */
1677         result = -posix_fallocate(fd, 0, total_size);
1678         if (result != 0) {
1679             error_setg_errno(errp, -result,
1680                              "Could not preallocate data for the new file");
1681         }
1682         break;
1683 #endif
1684     case PREALLOC_MODE_FULL:
1685     {
1686         int64_t num = 0, left = total_size;
1687         buf = g_malloc0(65536);
1688
1689         while (left > 0) {
1690             num = MIN(left, 65536);
1691             result = write(fd, buf, num);
1692             if (result < 0) {
1693                 result = -errno;
1694                 error_setg_errno(errp, -result,
1695                                  "Could not write to the new file");
1696                 break;
1697             }
1698             left -= result;
1699         }
1700         if (result >= 0) {
1701             result = fsync(fd);
1702             if (result < 0) {
1703                 result = -errno;
1704                 error_setg_errno(errp, -result,
1705                                  "Could not flush new file to disk");
1706             }
1707         }
1708         g_free(buf);
1709         break;
1710     }
1711     case PREALLOC_MODE_OFF:
1712         break;
1713     default:
1714         result = -EINVAL;
1715         error_setg(errp, "Unsupported preallocation mode: %s",
1716                    PreallocMode_lookup[prealloc]);
1717         break;
1718     }
1719
1720 out_close:
1721     if (qemu_close(fd) != 0 && result == 0) {
1722         result = -errno;
1723         error_setg_errno(errp, -result, "Could not close the new file");
1724     }
1725 out:
1726     return result;
1727 }
1728
1729 /*
1730  * Find allocation range in @bs around offset @start.
1731  * May change underlying file descriptor's file offset.
1732  * If @start is not in a hole, store @start in @data, and the
1733  * beginning of the next hole in @hole, and return 0.
1734  * If @start is in a non-trailing hole, store @start in @hole and the
1735  * beginning of the next non-hole in @data, and return 0.
1736  * If @start is in a trailing hole or beyond EOF, return -ENXIO.
1737  * If we can't find out, return a negative errno other than -ENXIO.
1738  */
1739 static int find_allocation(BlockDriverState *bs, off_t start,
1740                            off_t *data, off_t *hole)
1741 {
1742 #if defined SEEK_HOLE && defined SEEK_DATA
1743     BDRVRawState *s = bs->opaque;
1744     off_t offs;
1745
1746     /*
1747      * SEEK_DATA cases:
1748      * D1. offs == start: start is in data
1749      * D2. offs > start: start is in a hole, next data at offs
1750      * D3. offs < 0, errno = ENXIO: either start is in a trailing hole
1751      *                              or start is beyond EOF
1752      *     If the latter happens, the file has been truncated behind
1753      *     our back since we opened it.  All bets are off then.
1754      *     Treating like a trailing hole is simplest.
1755      * D4. offs < 0, errno != ENXIO: we learned nothing
1756      */
1757     offs = lseek(s->fd, start, SEEK_DATA);
1758     if (offs < 0) {
1759         return -errno;          /* D3 or D4 */
1760     }
1761     assert(offs >= start);
1762
1763     if (offs > start) {
1764         /* D2: in hole, next data at offs */
1765         *hole = start;
1766         *data = offs;
1767         return 0;
1768     }
1769
1770     /* D1: in data, end not yet known */
1771
1772     /*
1773      * SEEK_HOLE cases:
1774      * H1. offs == start: start is in a hole
1775      *     If this happens here, a hole has been dug behind our back
1776      *     since the previous lseek().
1777      * H2. offs > start: either start is in data, next hole at offs,
1778      *                   or start is in trailing hole, EOF at offs
1779      *     Linux treats trailing holes like any other hole: offs ==
1780      *     start.  Solaris seeks to EOF instead: offs > start (blech).
1781      *     If that happens here, a hole has been dug behind our back
1782      *     since the previous lseek().
1783      * H3. offs < 0, errno = ENXIO: start is beyond EOF
1784      *     If this happens, the file has been truncated behind our
1785      *     back since we opened it.  Treat it like a trailing hole.
1786      * H4. offs < 0, errno != ENXIO: we learned nothing
1787      *     Pretend we know nothing at all, i.e. "forget" about D1.
1788      */
1789     offs = lseek(s->fd, start, SEEK_HOLE);
1790     if (offs < 0) {
1791         return -errno;          /* D1 and (H3 or H4) */
1792     }
1793     assert(offs >= start);
1794
1795     if (offs > start) {
1796         /*
1797          * D1 and H2: either in data, next hole at offs, or it was in
1798          * data but is now in a trailing hole.  In the latter case,
1799          * all bets are off.  Treating it as if it there was data all
1800          * the way to EOF is safe, so simply do that.
1801          */
1802         *data = start;
1803         *hole = offs;
1804         return 0;
1805     }
1806
1807     /* D1 and H1 */
1808     return -EBUSY;
1809 #else
1810     return -ENOTSUP;
1811 #endif
1812 }
1813
1814 /*
1815  * Returns the allocation status of the specified sectors.
1816  *
1817  * If 'sector_num' is beyond the end of the disk image the return value is 0
1818  * and 'pnum' is set to 0.
1819  *
1820  * 'pnum' is set to the number of sectors (including and immediately following
1821  * the specified sector) that are known to be in the same
1822  * allocated/unallocated state.
1823  *
1824  * 'nb_sectors' is the max value 'pnum' should be set to.  If nb_sectors goes
1825  * beyond the end of the disk image it will be clamped.
1826  */
1827 static int64_t coroutine_fn raw_co_get_block_status(BlockDriverState *bs,
1828                                                     int64_t sector_num,
1829                                                     int nb_sectors, int *pnum,
1830                                                     BlockDriverState **file)
1831 {
1832     off_t start, data = 0, hole = 0;
1833     int64_t total_size;
1834     int ret;
1835
1836     ret = fd_open(bs);
1837     if (ret < 0) {
1838         return ret;
1839     }
1840
1841     start = sector_num * BDRV_SECTOR_SIZE;
1842     total_size = bdrv_getlength(bs);
1843     if (total_size < 0) {
1844         return total_size;
1845     } else if (start >= total_size) {
1846         *pnum = 0;
1847         return 0;
1848     } else if (start + nb_sectors * BDRV_SECTOR_SIZE > total_size) {
1849         nb_sectors = DIV_ROUND_UP(total_size - start, BDRV_SECTOR_SIZE);
1850     }
1851
1852     ret = find_allocation(bs, start, &data, &hole);
1853     if (ret == -ENXIO) {
1854         /* Trailing hole */
1855         *pnum = nb_sectors;
1856         ret = BDRV_BLOCK_ZERO;
1857     } else if (ret < 0) {
1858         /* No info available, so pretend there are no holes */
1859         *pnum = nb_sectors;
1860         ret = BDRV_BLOCK_DATA;
1861     } else if (data == start) {
1862         /* On a data extent, compute sectors to the end of the extent,
1863          * possibly including a partial sector at EOF. */
1864         *pnum = MIN(nb_sectors, DIV_ROUND_UP(hole - start, BDRV_SECTOR_SIZE));
1865         ret = BDRV_BLOCK_DATA;
1866     } else {
1867         /* On a hole, compute sectors to the beginning of the next extent.  */
1868         assert(hole == start);
1869         *pnum = MIN(nb_sectors, (data - start) / BDRV_SECTOR_SIZE);
1870         ret = BDRV_BLOCK_ZERO;
1871     }
1872     *file = bs;
1873     return ret | BDRV_BLOCK_OFFSET_VALID | start;
1874 }
1875
1876 static coroutine_fn BlockAIOCB *raw_aio_discard(BlockDriverState *bs,
1877     int64_t sector_num, int nb_sectors,
1878     BlockCompletionFunc *cb, void *opaque)
1879 {
1880     BDRVRawState *s = bs->opaque;
1881
1882     return paio_submit(bs, s->fd, sector_num, NULL, nb_sectors,
1883                        cb, opaque, QEMU_AIO_DISCARD);
1884 }
1885
1886 static int coroutine_fn raw_co_pwrite_zeroes(
1887     BlockDriverState *bs, int64_t offset,
1888     int count, BdrvRequestFlags flags)
1889 {
1890     BDRVRawState *s = bs->opaque;
1891
1892     if (!(flags & BDRV_REQ_MAY_UNMAP)) {
1893         return paio_submit_co(bs, s->fd, offset, NULL, count,
1894                               QEMU_AIO_WRITE_ZEROES);
1895     } else if (s->discard_zeroes) {
1896         return paio_submit_co(bs, s->fd, offset, NULL, count,
1897                               QEMU_AIO_DISCARD);
1898     }
1899     return -ENOTSUP;
1900 }
1901
1902 static int raw_get_info(BlockDriverState *bs, BlockDriverInfo *bdi)
1903 {
1904     BDRVRawState *s = bs->opaque;
1905
1906     bdi->unallocated_blocks_are_zero = s->discard_zeroes;
1907     bdi->can_write_zeroes_with_unmap = s->discard_zeroes;
1908     return 0;
1909 }
1910
1911 static QemuOptsList raw_create_opts = {
1912     .name = "raw-create-opts",
1913     .head = QTAILQ_HEAD_INITIALIZER(raw_create_opts.head),
1914     .desc = {
1915         {
1916             .name = BLOCK_OPT_SIZE,
1917             .type = QEMU_OPT_SIZE,
1918             .help = "Virtual disk size"
1919         },
1920         {
1921             .name = BLOCK_OPT_NOCOW,
1922             .type = QEMU_OPT_BOOL,
1923             .help = "Turn off copy-on-write (valid only on btrfs)"
1924         },
1925         {
1926             .name = BLOCK_OPT_PREALLOC,
1927             .type = QEMU_OPT_STRING,
1928             .help = "Preallocation mode (allowed values: off, falloc, full)"
1929         },
1930         { /* end of list */ }
1931     }
1932 };
1933
1934 BlockDriver bdrv_file = {
1935     .format_name = "file",
1936     .protocol_name = "file",
1937     .instance_size = sizeof(BDRVRawState),
1938     .bdrv_needs_filename = true,
1939     .bdrv_probe = NULL, /* no probe for protocols */
1940     .bdrv_parse_filename = raw_parse_filename,
1941     .bdrv_file_open = raw_open,
1942     .bdrv_reopen_prepare = raw_reopen_prepare,
1943     .bdrv_reopen_commit = raw_reopen_commit,
1944     .bdrv_reopen_abort = raw_reopen_abort,
1945     .bdrv_close = raw_close,
1946     .bdrv_create = raw_create,
1947     .bdrv_has_zero_init = bdrv_has_zero_init_1,
1948     .bdrv_co_get_block_status = raw_co_get_block_status,
1949     .bdrv_co_pwrite_zeroes = raw_co_pwrite_zeroes,
1950
1951     .bdrv_co_preadv         = raw_co_preadv,
1952     .bdrv_co_pwritev        = raw_co_pwritev,
1953     .bdrv_aio_flush = raw_aio_flush,
1954     .bdrv_aio_discard = raw_aio_discard,
1955     .bdrv_refresh_limits = raw_refresh_limits,
1956     .bdrv_io_plug = raw_aio_plug,
1957     .bdrv_io_unplug = raw_aio_unplug,
1958
1959     .bdrv_truncate = raw_truncate,
1960     .bdrv_getlength = raw_getlength,
1961     .bdrv_get_info = raw_get_info,
1962     .bdrv_get_allocated_file_size
1963                         = raw_get_allocated_file_size,
1964
1965     .bdrv_detach_aio_context = raw_detach_aio_context,
1966     .bdrv_attach_aio_context = raw_attach_aio_context,
1967
1968     .create_opts = &raw_create_opts,
1969 };
1970
1971 /***********************************************/
1972 /* host device */
1973
1974 #if defined(__APPLE__) && defined(__MACH__)
1975 static kern_return_t GetBSDPath(io_iterator_t mediaIterator, char *bsdPath,
1976                                 CFIndex maxPathSize, int flags);
1977 static char *FindEjectableOpticalMedia(io_iterator_t *mediaIterator)
1978 {
1979     kern_return_t kernResult = KERN_FAILURE;
1980     mach_port_t     masterPort;
1981     CFMutableDictionaryRef  classesToMatch;
1982     const char *matching_array[] = {kIODVDMediaClass, kIOCDMediaClass};
1983     char *mediaType = NULL;
1984
1985     kernResult = IOMasterPort( MACH_PORT_NULL, &masterPort );
1986     if ( KERN_SUCCESS != kernResult ) {
1987         printf( "IOMasterPort returned %d\n", kernResult );
1988     }
1989
1990     int index;
1991     for (index = 0; index < ARRAY_SIZE(matching_array); index++) {
1992         classesToMatch = IOServiceMatching(matching_array[index]);
1993         if (classesToMatch == NULL) {
1994             error_report("IOServiceMatching returned NULL for %s",
1995                          matching_array[index]);
1996             continue;
1997         }
1998         CFDictionarySetValue(classesToMatch, CFSTR(kIOMediaEjectableKey),
1999                              kCFBooleanTrue);
2000         kernResult = IOServiceGetMatchingServices(masterPort, classesToMatch,
2001                                                   mediaIterator);
2002         if (kernResult != KERN_SUCCESS) {
2003             error_report("Note: IOServiceGetMatchingServices returned %d",
2004                          kernResult);
2005             continue;
2006         }
2007
2008         /* If a match was found, leave the loop */
2009         if (*mediaIterator != 0) {
2010             DPRINTF("Matching using %s\n", matching_array[index]);
2011             mediaType = g_strdup(matching_array[index]);
2012             break;
2013         }
2014     }
2015     return mediaType;
2016 }
2017
2018 kern_return_t GetBSDPath(io_iterator_t mediaIterator, char *bsdPath,
2019                          CFIndex maxPathSize, int flags)
2020 {
2021     io_object_t     nextMedia;
2022     kern_return_t   kernResult = KERN_FAILURE;
2023     *bsdPath = '\0';
2024     nextMedia = IOIteratorNext( mediaIterator );
2025     if ( nextMedia )
2026     {
2027         CFTypeRef   bsdPathAsCFString;
2028     bsdPathAsCFString = IORegistryEntryCreateCFProperty( nextMedia, CFSTR( kIOBSDNameKey ), kCFAllocatorDefault, 0 );
2029         if ( bsdPathAsCFString ) {
2030             size_t devPathLength;
2031             strcpy( bsdPath, _PATH_DEV );
2032             if (flags & BDRV_O_NOCACHE) {
2033                 strcat(bsdPath, "r");
2034             }
2035             devPathLength = strlen( bsdPath );
2036             if ( CFStringGetCString( bsdPathAsCFString, bsdPath + devPathLength, maxPathSize - devPathLength, kCFStringEncodingASCII ) ) {
2037                 kernResult = KERN_SUCCESS;
2038             }
2039             CFRelease( bsdPathAsCFString );
2040         }
2041         IOObjectRelease( nextMedia );
2042     }
2043
2044     return kernResult;
2045 }
2046
2047 /* Sets up a real cdrom for use in QEMU */
2048 static bool setup_cdrom(char *bsd_path, Error **errp)
2049 {
2050     int index, num_of_test_partitions = 2, fd;
2051     char test_partition[MAXPATHLEN];
2052     bool partition_found = false;
2053
2054     /* look for a working partition */
2055     for (index = 0; index < num_of_test_partitions; index++) {
2056         snprintf(test_partition, sizeof(test_partition), "%ss%d", bsd_path,
2057                  index);
2058         fd = qemu_open(test_partition, O_RDONLY | O_BINARY | O_LARGEFILE);
2059         if (fd >= 0) {
2060             partition_found = true;
2061             qemu_close(fd);
2062             break;
2063         }
2064     }
2065
2066     /* if a working partition on the device was not found */
2067     if (partition_found == false) {
2068         error_setg(errp, "Failed to find a working partition on disc");
2069     } else {
2070         DPRINTF("Using %s as optical disc\n", test_partition);
2071         pstrcpy(bsd_path, MAXPATHLEN, test_partition);
2072     }
2073     return partition_found;
2074 }
2075
2076 /* Prints directions on mounting and unmounting a device */
2077 static void print_unmounting_directions(const char *file_name)
2078 {
2079     error_report("If device %s is mounted on the desktop, unmount"
2080                  " it first before using it in QEMU", file_name);
2081     error_report("Command to unmount device: diskutil unmountDisk %s",
2082                  file_name);
2083     error_report("Command to mount device: diskutil mountDisk %s", file_name);
2084 }
2085
2086 #endif /* defined(__APPLE__) && defined(__MACH__) */
2087
2088 static int hdev_probe_device(const char *filename)
2089 {
2090     struct stat st;
2091
2092     /* allow a dedicated CD-ROM driver to match with a higher priority */
2093     if (strstart(filename, "/dev/cdrom", NULL))
2094         return 50;
2095
2096     if (stat(filename, &st) >= 0 &&
2097             (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode))) {
2098         return 100;
2099     }
2100
2101     return 0;
2102 }
2103
2104 static int check_hdev_writable(BDRVRawState *s)
2105 {
2106 #if defined(BLKROGET)
2107     /* Linux block devices can be configured "read-only" using blockdev(8).
2108      * This is independent of device node permissions and therefore open(2)
2109      * with O_RDWR succeeds.  Actual writes fail with EPERM.
2110      *
2111      * bdrv_open() is supposed to fail if the disk is read-only.  Explicitly
2112      * check for read-only block devices so that Linux block devices behave
2113      * properly.
2114      */
2115     struct stat st;
2116     int readonly = 0;
2117
2118     if (fstat(s->fd, &st)) {
2119         return -errno;
2120     }
2121
2122     if (!S_ISBLK(st.st_mode)) {
2123         return 0;
2124     }
2125
2126     if (ioctl(s->fd, BLKROGET, &readonly) < 0) {
2127         return -errno;
2128     }
2129
2130     if (readonly) {
2131         return -EACCES;
2132     }
2133 #endif /* defined(BLKROGET) */
2134     return 0;
2135 }
2136
2137 static void hdev_parse_filename(const char *filename, QDict *options,
2138                                 Error **errp)
2139 {
2140     /* The prefix is optional, just as for "file". */
2141     strstart(filename, "host_device:", &filename);
2142
2143     qdict_put_obj(options, "filename", QOBJECT(qstring_from_str(filename)));
2144 }
2145
2146 static bool hdev_is_sg(BlockDriverState *bs)
2147 {
2148
2149 #if defined(__linux__)
2150
2151     struct stat st;
2152     struct sg_scsi_id scsiid;
2153     int sg_version;
2154
2155     if (stat(bs->filename, &st) >= 0 && S_ISCHR(st.st_mode) &&
2156         !bdrv_ioctl(bs, SG_GET_VERSION_NUM, &sg_version) &&
2157         !bdrv_ioctl(bs, SG_GET_SCSI_ID, &scsiid)) {
2158         DPRINTF("SG device found: type=%d, version=%d\n",
2159             scsiid.scsi_type, sg_version);
2160         return true;
2161     }
2162
2163 #endif
2164
2165     return false;
2166 }
2167
2168 static int hdev_open(BlockDriverState *bs, QDict *options, int flags,
2169                      Error **errp)
2170 {
2171     BDRVRawState *s = bs->opaque;
2172     Error *local_err = NULL;
2173     int ret;
2174
2175 #if defined(__APPLE__) && defined(__MACH__)
2176     const char *filename = qdict_get_str(options, "filename");
2177     char bsd_path[MAXPATHLEN] = "";
2178     bool error_occurred = false;
2179
2180     /* If using a real cdrom */
2181     if (strcmp(filename, "/dev/cdrom") == 0) {
2182         char *mediaType = NULL;
2183         kern_return_t ret_val;
2184         io_iterator_t mediaIterator = 0;
2185
2186         mediaType = FindEjectableOpticalMedia(&mediaIterator);
2187         if (mediaType == NULL) {
2188             error_setg(errp, "Please make sure your CD/DVD is in the optical"
2189                        " drive");
2190             error_occurred = true;
2191             goto hdev_open_Mac_error;
2192         }
2193
2194         ret_val = GetBSDPath(mediaIterator, bsd_path, sizeof(bsd_path), flags);
2195         if (ret_val != KERN_SUCCESS) {
2196             error_setg(errp, "Could not get BSD path for optical drive");
2197             error_occurred = true;
2198             goto hdev_open_Mac_error;
2199         }
2200
2201         /* If a real optical drive was not found */
2202         if (bsd_path[0] == '\0') {
2203             error_setg(errp, "Failed to obtain bsd path for optical drive");
2204             error_occurred = true;
2205             goto hdev_open_Mac_error;
2206         }
2207
2208         /* If using a cdrom disc and finding a partition on the disc failed */
2209         if (strncmp(mediaType, kIOCDMediaClass, 9) == 0 &&
2210             setup_cdrom(bsd_path, errp) == false) {
2211             print_unmounting_directions(bsd_path);
2212             error_occurred = true;
2213             goto hdev_open_Mac_error;
2214         }
2215
2216         qdict_put(options, "filename", qstring_from_str(bsd_path));
2217
2218 hdev_open_Mac_error:
2219         g_free(mediaType);
2220         if (mediaIterator) {
2221             IOObjectRelease(mediaIterator);
2222         }
2223         if (error_occurred) {
2224             return -ENOENT;
2225         }
2226     }
2227 #endif /* defined(__APPLE__) && defined(__MACH__) */
2228
2229     s->type = FTYPE_FILE;
2230
2231     ret = raw_open_common(bs, options, flags, 0, &local_err);
2232     if (ret < 0) {
2233         error_propagate(errp, local_err);
2234 #if defined(__APPLE__) && defined(__MACH__)
2235         if (*bsd_path) {
2236             filename = bsd_path;
2237         }
2238         /* if a physical device experienced an error while being opened */
2239         if (strncmp(filename, "/dev/", 5) == 0) {
2240             print_unmounting_directions(filename);
2241         }
2242 #endif /* defined(__APPLE__) && defined(__MACH__) */
2243         return ret;
2244     }
2245
2246     /* Since this does ioctl the device must be already opened */
2247     bs->sg = hdev_is_sg(bs);
2248
2249     if (flags & BDRV_O_RDWR) {
2250         ret = check_hdev_writable(s);
2251         if (ret < 0) {
2252             raw_close(bs);
2253             error_setg_errno(errp, -ret, "The device is not writable");
2254             return ret;
2255         }
2256     }
2257
2258     return ret;
2259 }
2260
2261 #if defined(__linux__)
2262
2263 static BlockAIOCB *hdev_aio_ioctl(BlockDriverState *bs,
2264         unsigned long int req, void *buf,
2265         BlockCompletionFunc *cb, void *opaque)
2266 {
2267     BDRVRawState *s = bs->opaque;
2268     RawPosixAIOData *acb;
2269     ThreadPool *pool;
2270
2271     if (fd_open(bs) < 0)
2272         return NULL;
2273
2274     acb = g_new(RawPosixAIOData, 1);
2275     acb->bs = bs;
2276     acb->aio_type = QEMU_AIO_IOCTL;
2277     acb->aio_fildes = s->fd;
2278     acb->aio_offset = 0;
2279     acb->aio_ioctl_buf = buf;
2280     acb->aio_ioctl_cmd = req;
2281     pool = aio_get_thread_pool(bdrv_get_aio_context(bs));
2282     return thread_pool_submit_aio(pool, aio_worker, acb, cb, opaque);
2283 }
2284 #endif /* linux */
2285
2286 static int fd_open(BlockDriverState *bs)
2287 {
2288     BDRVRawState *s = bs->opaque;
2289
2290     /* this is just to ensure s->fd is sane (its called by io ops) */
2291     if (s->fd >= 0)
2292         return 0;
2293     return -EIO;
2294 }
2295
2296 static coroutine_fn BlockAIOCB *hdev_aio_discard(BlockDriverState *bs,
2297     int64_t sector_num, int nb_sectors,
2298     BlockCompletionFunc *cb, void *opaque)
2299 {
2300     BDRVRawState *s = bs->opaque;
2301
2302     if (fd_open(bs) < 0) {
2303         return NULL;
2304     }
2305     return paio_submit(bs, s->fd, sector_num, NULL, nb_sectors,
2306                        cb, opaque, QEMU_AIO_DISCARD|QEMU_AIO_BLKDEV);
2307 }
2308
2309 static coroutine_fn int hdev_co_pwrite_zeroes(BlockDriverState *bs,
2310     int64_t offset, int count, BdrvRequestFlags flags)
2311 {
2312     BDRVRawState *s = bs->opaque;
2313     int rc;
2314
2315     rc = fd_open(bs);
2316     if (rc < 0) {
2317         return rc;
2318     }
2319     if (!(flags & BDRV_REQ_MAY_UNMAP)) {
2320         return paio_submit_co(bs, s->fd, offset, NULL, count,
2321                               QEMU_AIO_WRITE_ZEROES|QEMU_AIO_BLKDEV);
2322     } else if (s->discard_zeroes) {
2323         return paio_submit_co(bs, s->fd, offset, NULL, count,
2324                               QEMU_AIO_DISCARD|QEMU_AIO_BLKDEV);
2325     }
2326     return -ENOTSUP;
2327 }
2328
2329 static int hdev_create(const char *filename, QemuOpts *opts,
2330                        Error **errp)
2331 {
2332     int fd;
2333     int ret = 0;
2334     struct stat stat_buf;
2335     int64_t total_size = 0;
2336     bool has_prefix;
2337
2338     /* This function is used by both protocol block drivers and therefore either
2339      * of these prefixes may be given.
2340      * The return value has to be stored somewhere, otherwise this is an error
2341      * due to -Werror=unused-value. */
2342     has_prefix =
2343         strstart(filename, "host_device:", &filename) ||
2344         strstart(filename, "host_cdrom:" , &filename);
2345
2346     (void)has_prefix;
2347
2348     ret = raw_normalize_devicepath(&filename);
2349     if (ret < 0) {
2350         error_setg_errno(errp, -ret, "Could not normalize device path");
2351         return ret;
2352     }
2353
2354     /* Read out options */
2355     total_size = ROUND_UP(qemu_opt_get_size_del(opts, BLOCK_OPT_SIZE, 0),
2356                           BDRV_SECTOR_SIZE);
2357
2358     fd = qemu_open(filename, O_WRONLY | O_BINARY);
2359     if (fd < 0) {
2360         ret = -errno;
2361         error_setg_errno(errp, -ret, "Could not open device");
2362         return ret;
2363     }
2364
2365     if (fstat(fd, &stat_buf) < 0) {
2366         ret = -errno;
2367         error_setg_errno(errp, -ret, "Could not stat device");
2368     } else if (!S_ISBLK(stat_buf.st_mode) && !S_ISCHR(stat_buf.st_mode)) {
2369         error_setg(errp,
2370                    "The given file is neither a block nor a character device");
2371         ret = -ENODEV;
2372     } else if (lseek(fd, 0, SEEK_END) < total_size) {
2373         error_setg(errp, "Device is too small");
2374         ret = -ENOSPC;
2375     }
2376
2377     qemu_close(fd);
2378     return ret;
2379 }
2380
2381 static BlockDriver bdrv_host_device = {
2382     .format_name        = "host_device",
2383     .protocol_name        = "host_device",
2384     .instance_size      = sizeof(BDRVRawState),
2385     .bdrv_needs_filename = true,
2386     .bdrv_probe_device  = hdev_probe_device,
2387     .bdrv_parse_filename = hdev_parse_filename,
2388     .bdrv_file_open     = hdev_open,
2389     .bdrv_close         = raw_close,
2390     .bdrv_reopen_prepare = raw_reopen_prepare,
2391     .bdrv_reopen_commit  = raw_reopen_commit,
2392     .bdrv_reopen_abort   = raw_reopen_abort,
2393     .bdrv_create         = hdev_create,
2394     .create_opts         = &raw_create_opts,
2395     .bdrv_co_pwrite_zeroes = hdev_co_pwrite_zeroes,
2396
2397     .bdrv_co_preadv         = raw_co_preadv,
2398     .bdrv_co_pwritev        = raw_co_pwritev,
2399     .bdrv_aio_flush     = raw_aio_flush,
2400     .bdrv_aio_discard   = hdev_aio_discard,
2401     .bdrv_refresh_limits = raw_refresh_limits,
2402     .bdrv_io_plug = raw_aio_plug,
2403     .bdrv_io_unplug = raw_aio_unplug,
2404
2405     .bdrv_truncate      = raw_truncate,
2406     .bdrv_getlength     = raw_getlength,
2407     .bdrv_get_info = raw_get_info,
2408     .bdrv_get_allocated_file_size
2409                         = raw_get_allocated_file_size,
2410     .bdrv_probe_blocksizes = hdev_probe_blocksizes,
2411     .bdrv_probe_geometry = hdev_probe_geometry,
2412
2413     .bdrv_detach_aio_context = raw_detach_aio_context,
2414     .bdrv_attach_aio_context = raw_attach_aio_context,
2415
2416     /* generic scsi device */
2417 #ifdef __linux__
2418     .bdrv_aio_ioctl     = hdev_aio_ioctl,
2419 #endif
2420 };
2421
2422 #if defined(__linux__) || defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
2423 static void cdrom_parse_filename(const char *filename, QDict *options,
2424                                  Error **errp)
2425 {
2426     /* The prefix is optional, just as for "file". */
2427     strstart(filename, "host_cdrom:", &filename);
2428
2429     qdict_put_obj(options, "filename", QOBJECT(qstring_from_str(filename)));
2430 }
2431 #endif
2432
2433 #ifdef __linux__
2434 static int cdrom_open(BlockDriverState *bs, QDict *options, int flags,
2435                       Error **errp)
2436 {
2437     BDRVRawState *s = bs->opaque;
2438
2439     s->type = FTYPE_CD;
2440
2441     /* open will not fail even if no CD is inserted, so add O_NONBLOCK */
2442     return raw_open_common(bs, options, flags, O_NONBLOCK, errp);
2443 }
2444
2445 static int cdrom_probe_device(const char *filename)
2446 {
2447     int fd, ret;
2448     int prio = 0;
2449     struct stat st;
2450
2451     fd = qemu_open(filename, O_RDONLY | O_NONBLOCK);
2452     if (fd < 0) {
2453         goto out;
2454     }
2455     ret = fstat(fd, &st);
2456     if (ret == -1 || !S_ISBLK(st.st_mode)) {
2457         goto outc;
2458     }
2459
2460     /* Attempt to detect via a CDROM specific ioctl */
2461     ret = ioctl(fd, CDROM_DRIVE_STATUS, CDSL_CURRENT);
2462     if (ret >= 0)
2463         prio = 100;
2464
2465 outc:
2466     qemu_close(fd);
2467 out:
2468     return prio;
2469 }
2470
2471 static bool cdrom_is_inserted(BlockDriverState *bs)
2472 {
2473     BDRVRawState *s = bs->opaque;
2474     int ret;
2475
2476     ret = ioctl(s->fd, CDROM_DRIVE_STATUS, CDSL_CURRENT);
2477     return ret == CDS_DISC_OK;
2478 }
2479
2480 static void cdrom_eject(BlockDriverState *bs, bool eject_flag)
2481 {
2482     BDRVRawState *s = bs->opaque;
2483
2484     if (eject_flag) {
2485         if (ioctl(s->fd, CDROMEJECT, NULL) < 0)
2486             perror("CDROMEJECT");
2487     } else {
2488         if (ioctl(s->fd, CDROMCLOSETRAY, NULL) < 0)
2489             perror("CDROMEJECT");
2490     }
2491 }
2492
2493 static void cdrom_lock_medium(BlockDriverState *bs, bool locked)
2494 {
2495     BDRVRawState *s = bs->opaque;
2496
2497     if (ioctl(s->fd, CDROM_LOCKDOOR, locked) < 0) {
2498         /*
2499          * Note: an error can happen if the distribution automatically
2500          * mounts the CD-ROM
2501          */
2502         /* perror("CDROM_LOCKDOOR"); */
2503     }
2504 }
2505
2506 static BlockDriver bdrv_host_cdrom = {
2507     .format_name        = "host_cdrom",
2508     .protocol_name      = "host_cdrom",
2509     .instance_size      = sizeof(BDRVRawState),
2510     .bdrv_needs_filename = true,
2511     .bdrv_probe_device  = cdrom_probe_device,
2512     .bdrv_parse_filename = cdrom_parse_filename,
2513     .bdrv_file_open     = cdrom_open,
2514     .bdrv_close         = raw_close,
2515     .bdrv_reopen_prepare = raw_reopen_prepare,
2516     .bdrv_reopen_commit  = raw_reopen_commit,
2517     .bdrv_reopen_abort   = raw_reopen_abort,
2518     .bdrv_create         = hdev_create,
2519     .create_opts         = &raw_create_opts,
2520
2521
2522     .bdrv_co_preadv         = raw_co_preadv,
2523     .bdrv_co_pwritev        = raw_co_pwritev,
2524     .bdrv_aio_flush     = raw_aio_flush,
2525     .bdrv_refresh_limits = raw_refresh_limits,
2526     .bdrv_io_plug = raw_aio_plug,
2527     .bdrv_io_unplug = raw_aio_unplug,
2528
2529     .bdrv_truncate      = raw_truncate,
2530     .bdrv_getlength      = raw_getlength,
2531     .has_variable_length = true,
2532     .bdrv_get_allocated_file_size
2533                         = raw_get_allocated_file_size,
2534
2535     .bdrv_detach_aio_context = raw_detach_aio_context,
2536     .bdrv_attach_aio_context = raw_attach_aio_context,
2537
2538     /* removable device support */
2539     .bdrv_is_inserted   = cdrom_is_inserted,
2540     .bdrv_eject         = cdrom_eject,
2541     .bdrv_lock_medium   = cdrom_lock_medium,
2542
2543     /* generic scsi device */
2544     .bdrv_aio_ioctl     = hdev_aio_ioctl,
2545 };
2546 #endif /* __linux__ */
2547
2548 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
2549 static int cdrom_open(BlockDriverState *bs, QDict *options, int flags,
2550                       Error **errp)
2551 {
2552     BDRVRawState *s = bs->opaque;
2553     Error *local_err = NULL;
2554     int ret;
2555
2556     s->type = FTYPE_CD;
2557
2558     ret = raw_open_common(bs, options, flags, 0, &local_err);
2559     if (ret) {
2560         error_propagate(errp, local_err);
2561         return ret;
2562     }
2563
2564     /* make sure the door isn't locked at this time */
2565     ioctl(s->fd, CDIOCALLOW);
2566     return 0;
2567 }
2568
2569 static int cdrom_probe_device(const char *filename)
2570 {
2571     if (strstart(filename, "/dev/cd", NULL) ||
2572             strstart(filename, "/dev/acd", NULL))
2573         return 100;
2574     return 0;
2575 }
2576
2577 static int cdrom_reopen(BlockDriverState *bs)
2578 {
2579     BDRVRawState *s = bs->opaque;
2580     int fd;
2581
2582     /*
2583      * Force reread of possibly changed/newly loaded disc,
2584      * FreeBSD seems to not notice sometimes...
2585      */
2586     if (s->fd >= 0)
2587         qemu_close(s->fd);
2588     fd = qemu_open(bs->filename, s->open_flags, 0644);
2589     if (fd < 0) {
2590         s->fd = -1;
2591         return -EIO;
2592     }
2593     s->fd = fd;
2594
2595     /* make sure the door isn't locked at this time */
2596     ioctl(s->fd, CDIOCALLOW);
2597     return 0;
2598 }
2599
2600 static bool cdrom_is_inserted(BlockDriverState *bs)
2601 {
2602     return raw_getlength(bs) > 0;
2603 }
2604
2605 static void cdrom_eject(BlockDriverState *bs, bool eject_flag)
2606 {
2607     BDRVRawState *s = bs->opaque;
2608
2609     if (s->fd < 0)
2610         return;
2611
2612     (void) ioctl(s->fd, CDIOCALLOW);
2613
2614     if (eject_flag) {
2615         if (ioctl(s->fd, CDIOCEJECT) < 0)
2616             perror("CDIOCEJECT");
2617     } else {
2618         if (ioctl(s->fd, CDIOCCLOSE) < 0)
2619             perror("CDIOCCLOSE");
2620     }
2621
2622     cdrom_reopen(bs);
2623 }
2624
2625 static void cdrom_lock_medium(BlockDriverState *bs, bool locked)
2626 {
2627     BDRVRawState *s = bs->opaque;
2628
2629     if (s->fd < 0)
2630         return;
2631     if (ioctl(s->fd, (locked ? CDIOCPREVENT : CDIOCALLOW)) < 0) {
2632         /*
2633          * Note: an error can happen if the distribution automatically
2634          * mounts the CD-ROM
2635          */
2636         /* perror("CDROM_LOCKDOOR"); */
2637     }
2638 }
2639
2640 static BlockDriver bdrv_host_cdrom = {
2641     .format_name        = "host_cdrom",
2642     .protocol_name      = "host_cdrom",
2643     .instance_size      = sizeof(BDRVRawState),
2644     .bdrv_needs_filename = true,
2645     .bdrv_probe_device  = cdrom_probe_device,
2646     .bdrv_parse_filename = cdrom_parse_filename,
2647     .bdrv_file_open     = cdrom_open,
2648     .bdrv_close         = raw_close,
2649     .bdrv_reopen_prepare = raw_reopen_prepare,
2650     .bdrv_reopen_commit  = raw_reopen_commit,
2651     .bdrv_reopen_abort   = raw_reopen_abort,
2652     .bdrv_create        = hdev_create,
2653     .create_opts        = &raw_create_opts,
2654
2655     .bdrv_co_preadv         = raw_co_preadv,
2656     .bdrv_co_pwritev        = raw_co_pwritev,
2657     .bdrv_aio_flush     = raw_aio_flush,
2658     .bdrv_refresh_limits = raw_refresh_limits,
2659     .bdrv_io_plug = raw_aio_plug,
2660     .bdrv_io_unplug = raw_aio_unplug,
2661
2662     .bdrv_truncate      = raw_truncate,
2663     .bdrv_getlength      = raw_getlength,
2664     .has_variable_length = true,
2665     .bdrv_get_allocated_file_size
2666                         = raw_get_allocated_file_size,
2667
2668     .bdrv_detach_aio_context = raw_detach_aio_context,
2669     .bdrv_attach_aio_context = raw_attach_aio_context,
2670
2671     /* removable device support */
2672     .bdrv_is_inserted   = cdrom_is_inserted,
2673     .bdrv_eject         = cdrom_eject,
2674     .bdrv_lock_medium   = cdrom_lock_medium,
2675 };
2676 #endif /* __FreeBSD__ */
2677
2678 static void bdrv_file_init(void)
2679 {
2680     /*
2681      * Register all the drivers.  Note that order is important, the driver
2682      * registered last will get probed first.
2683      */
2684     bdrv_register(&bdrv_file);
2685     bdrv_register(&bdrv_host_device);
2686 #ifdef __linux__
2687     bdrv_register(&bdrv_host_cdrom);
2688 #endif
2689 #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
2690     bdrv_register(&bdrv_host_cdrom);
2691 #endif
2692 }
2693
2694 block_init(bdrv_file_init);