block/raw-posix.c

   1 /*
   2  * Block driver for RAW files (posix)
   3  *
   4  * Copyright (c) 2006 Fabrice Bellard
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a copy
   7  * of this software and associated documentation files (the "Software"), to deal
   8  * in the Software without restriction, including without limitation the rights
   9  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
  10  * copies of the Software, and to permit persons to whom the Software is
  11  * furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in
  14  * all copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
  19  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  22  * THE SOFTWARE.
  23  */
  24 #include "qemu-common.h"
  25 #include "qemu/error-report.h"
  26 #include "qemu/timer.h"
  27 #include "qemu/log.h"
  28 #include "block/block_int.h"
  29 #include "qemu/module.h"
  30 #include "trace.h"
  31 #include "block/thread-pool.h"
  32 #include "qemu/iov.h"
  33 #include "raw-aio.h"
  34 #include "qapi/util.h"
  35 #include "qapi/qmp/qstring.h"
  36
  37 #if defined(__APPLE__) && (__MACH__)
  38 #include <paths.h>
  39 #include <sys/param.h>
  40 #include <IOKit/IOKitLib.h>
  41 #include <IOKit/IOBSD.h>
  42 #include <IOKit/storage/IOMediaBSDClient.h>
  43 #include <IOKit/storage/IOMedia.h>
  44 #include <IOKit/storage/IOCDMedia.h>
  45 //#include <IOKit/storage/IOCDTypes.h>
  46 #include <CoreFoundation/CoreFoundation.h>
  47 #endif
  48
  49 #ifdef __sun__
  50 #define _POSIX_PTHREAD_SEMANTICS 1
  51 #include <sys/dkio.h>
  52 #endif
  53 #ifdef __linux__
  54 #include <sys/types.h>
  55 #include <sys/stat.h>
  56 #include <sys/ioctl.h>
  57 #include <sys/param.h>
  58 #include <linux/cdrom.h>
  59 #include <linux/fd.h>
  60 #include <linux/fs.h>
  61 #include <linux/hdreg.h>
  62 #include <scsi/sg.h>
  63 #ifdef __s390__
  64 #include <asm/dasd.h>
  65 #endif
  66 #ifndef FS_NOCOW_FL
  67 #define FS_NOCOW_FL                     0x00800000 /* Do not cow file */
  68 #endif
  69 #endif
  70 #if defined(CONFIG_FALLOCATE_PUNCH_HOLE) || defined(CONFIG_FALLOCATE_ZERO_RANGE)
  71 #include <linux/falloc.h>
  72 #endif
  73 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
  74 #include <sys/disk.h>
  75 #include <sys/cdio.h>
  76 #endif
  77
  78 #ifdef __OpenBSD__
  79 #include <sys/ioctl.h>
  80 #include <sys/disklabel.h>
  81 #include <sys/dkio.h>
  82 #endif
  83
  84 #ifdef __NetBSD__
  85 #include <sys/ioctl.h>
  86 #include <sys/disklabel.h>
  87 #include <sys/dkio.h>
  88 #include <sys/disk.h>
  89 #endif
  90
  91 #ifdef __DragonFly__
  92 #include <sys/ioctl.h>
  93 #include <sys/diskslice.h>
  94 #endif
  95
  96 #ifdef CONFIG_XFS
  97 #include <xfs/xfs.h>
  98 #endif
  99
 100 //#define DEBUG_BLOCK
 101
 102 #ifdef DEBUG_BLOCK
 103 # define DEBUG_BLOCK_PRINT 1
 104 #else
 105 # define DEBUG_BLOCK_PRINT 0
 106 #endif
 107 #define DPRINTF(fmt, ...) \
 108 do { \
 109     if (DEBUG_BLOCK_PRINT) { \
 110         printf(fmt, ## __VA_ARGS__); \
 111     } \
 112 } while (0)
 113
 114 /* OS X does not have O_DSYNC */
 115 #ifndef O_DSYNC
 116 #ifdef O_SYNC
 117 #define O_DSYNC O_SYNC
 118 #elif defined(O_FSYNC)
 119 #define O_DSYNC O_FSYNC
 120 #endif
 121 #endif
 122
 123 /* Approximate O_DIRECT with O_DSYNC if O_DIRECT isn't available */
 124 #ifndef O_DIRECT
 125 #define O_DIRECT O_DSYNC
 126 #endif
 127
 128 #define FTYPE_FILE   0
 129 #define FTYPE_CD     1
 130
 131 #define MAX_BLOCKSIZE   4096
 132
 133 typedef struct BDRVRawState {
 134     int fd;
 135     int type;
 136     int open_flags;
 137     size_t buf_align;
 138
 139 #ifdef CONFIG_LINUX_AIO
 140     int use_aio;
 141     void *aio_ctx;
 142 #endif
 143 #ifdef CONFIG_XFS
 144     bool is_xfs:1;
 145 #endif
 146     bool has_discard:1;
 147     bool has_write_zeroes:1;
 148     bool discard_zeroes:1;
 149     bool has_fallocate;
 150     bool needs_alignment;
 151 } BDRVRawState;
 152
 153 typedef struct BDRVRawReopenState {
 154     int fd;
 155     int open_flags;
 156 #ifdef CONFIG_LINUX_AIO
 157     int use_aio;
 158 #endif
 159 } BDRVRawReopenState;
 160
 161 static int fd_open(BlockDriverState *bs);
 162 static int64_t raw_getlength(BlockDriverState *bs);
 163
 164 typedef struct RawPosixAIOData {
 165     BlockDriverState *bs;
 166     int aio_fildes;
 167     union {
 168         struct iovec *aio_iov;
 169         void *aio_ioctl_buf;
 170     };
 171     int aio_niov;
 172     uint64_t aio_nbytes;
 173 #define aio_ioctl_cmd   aio_nbytes /* for QEMU_AIO_IOCTL */
 174     off_t aio_offset;
 175     int aio_type;
 176 } RawPosixAIOData;
 177
 178 #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
 179 static int cdrom_reopen(BlockDriverState *bs);
 180 #endif
 181
 182 #if defined(__NetBSD__)
 183 static int raw_normalize_devicepath(const char **filename)
 184 {
 185     static char namebuf[PATH_MAX];
 186     const char *dp, *fname;
 187     struct stat sb;
 188
 189     fname = *filename;
 190     dp = strrchr(fname, '/');
 191     if (lstat(fname, &sb) < 0) {
 192         fprintf(stderr, "%s: stat failed: %s\n",
 193             fname, strerror(errno));
 194         return -errno;
 195     }
 196
 197     if (!S_ISBLK(sb.st_mode)) {
 198         return 0;
 199     }
 200
 201     if (dp == NULL) {
 202         snprintf(namebuf, PATH_MAX, "r%s", fname);
 203     } else {
 204         snprintf(namebuf, PATH_MAX, "%.*s/r%s",
 205             (int)(dp - fname), fname, dp + 1);
 206     }
 207     fprintf(stderr, "%s is a block device", fname);
 208     *filename = namebuf;
 209     fprintf(stderr, ", using %s\n", *filename);
 210
 211     return 0;
 212 }
 213 #else
 214 static int raw_normalize_devicepath(const char **filename)
 215 {
 216     return 0;
 217 }
 218 #endif
 219
 220 /*
 221  * Get logical block size via ioctl. On success store it in @sector_size_p.
 222  */
 223 static int probe_logical_blocksize(int fd, unsigned int *sector_size_p)
 224 {
 225     unsigned int sector_size;
 226     bool success = false;
 227
 228     errno = ENOTSUP;
 229
 230     /* Try a few ioctls to get the right size */
 231 #ifdef BLKSSZGET
 232     if (ioctl(fd, BLKSSZGET, &sector_size) >= 0) {
 233         *sector_size_p = sector_size;
 234         success = true;
 235     }
 236 #endif
 237 #ifdef DKIOCGETBLOCKSIZE
 238     if (ioctl(fd, DKIOCGETBLOCKSIZE, &sector_size) >= 0) {
 239         *sector_size_p = sector_size;
 240         success = true;
 241     }
 242 #endif
 243 #ifdef DIOCGSECTORSIZE
 244     if (ioctl(fd, DIOCGSECTORSIZE, &sector_size) >= 0) {
 245         *sector_size_p = sector_size;
 246         success = true;
 247     }
 248 #endif
 249
 250     return success ? 0 : -errno;
 251 }
 252
 253 /**
 254  * Get physical block size of @fd.
 255  * On success, store it in @blk_size and return 0.
 256  * On failure, return -errno.
 257  */
 258 static int probe_physical_blocksize(int fd, unsigned int *blk_size)
 259 {
 260 #ifdef BLKPBSZGET
 261     if (ioctl(fd, BLKPBSZGET, blk_size) < 0) {
 262         return -errno;
 263     }
 264     return 0;
 265 #else
 266     return -ENOTSUP;
 267 #endif
 268 }
 269
 270 /* Check if read is allowed with given memory buffer and length.
 271  *
 272  * This function is used to check O_DIRECT memory buffer and request alignment.
 273  */
 274 static bool raw_is_io_aligned(int fd, void *buf, size_t len)
 275 {
 276     ssize_t ret = pread(fd, buf, len, 0);
 277
 278     if (ret >= 0) {
 279         return true;
 280     }
 281
 282 #ifdef __linux__
 283     /* The Linux kernel returns EINVAL for misaligned O_DIRECT reads.  Ignore
 284      * other errors (e.g. real I/O error), which could happen on a failed
 285      * drive, since we only care about probing alignment.
 286      */
 287     if (errno != EINVAL) {
 288         return true;
 289     }
 290 #endif
 291
 292     return false;
 293 }
 294
 295 static void raw_probe_alignment(BlockDriverState *bs, int fd, Error **errp)
 296 {
 297     BDRVRawState *s = bs->opaque;
 298     char *buf;
 299     size_t max_align = MAX(MAX_BLOCKSIZE, getpagesize());
 300
 301     /* For SCSI generic devices the alignment is not really used.
 302        With buffered I/O, we don't have any restrictions. */
 303     if (bdrv_is_sg(bs) || !s->needs_alignment) {
 304         bs->request_alignment = 1;
 305         s->buf_align = 1;
 306         return;
 307     }
 308
 309     bs->request_alignment = 0;
 310     s->buf_align = 0;
 311     /* Let's try to use the logical blocksize for the alignment. */
 312     if (probe_logical_blocksize(fd, &bs->request_alignment) < 0) {
 313         bs->request_alignment = 0;
 314     }
 315 #ifdef CONFIG_XFS
 316     if (s->is_xfs) {
 317         struct dioattr da;
 318         if (xfsctl(NULL, fd, XFS_IOC_DIOINFO, &da) >= 0) {
 319             bs->request_alignment = da.d_miniosz;
 320             /* The kernel returns wrong information for d_mem */
 321             /* s->buf_align = da.d_mem; */
 322         }
 323     }
 324 #endif
 325
 326     /* If we could not get the sizes so far, we can only guess them */
 327     if (!s->buf_align) {
 328         size_t align;
 329         buf = qemu_memalign(max_align, 2 * max_align);
 330         for (align = 512; align <= max_align; align <<= 1) {
 331             if (raw_is_io_aligned(fd, buf + align, max_align)) {
 332                 s->buf_align = align;
 333                 break;
 334             }
 335         }
 336         qemu_vfree(buf);
 337     }
 338
 339     if (!bs->request_alignment) {
 340         size_t align;
 341         buf = qemu_memalign(s->buf_align, max_align);
 342         for (align = 512; align <= max_align; align <<= 1) {
 343             if (raw_is_io_aligned(fd, buf, align)) {
 344                 bs->request_alignment = align;
 345                 break;
 346             }
 347         }
 348         qemu_vfree(buf);
 349     }
 350
 351     if (!s->buf_align || !bs->request_alignment) {
 352         error_setg(errp, "Could not find working O_DIRECT alignment. "
 353                          "Try cache.direct=off.");
 354     }
 355 }
 356
 357 static void raw_parse_flags(int bdrv_flags, int *open_flags)
 358 {
 359     assert(open_flags != NULL);
 360
 361     *open_flags |= O_BINARY;
 362     *open_flags &= ~O_ACCMODE;
 363     if (bdrv_flags & BDRV_O_RDWR) {
 364         *open_flags |= O_RDWR;
 365     } else {
 366         *open_flags |= O_RDONLY;
 367     }
 368
 369     /* Use O_DSYNC for write-through caching, no flags for write-back caching,
 370      * and O_DIRECT for no caching. */
 371     if ((bdrv_flags & BDRV_O_NOCACHE)) {
 372         *open_flags |= O_DIRECT;
 373     }
 374 }
 375
 376 static void raw_detach_aio_context(BlockDriverState *bs)
 377 {
 378 #ifdef CONFIG_LINUX_AIO
 379     BDRVRawState *s = bs->opaque;
 380
 381     if (s->use_aio) {
 382         laio_detach_aio_context(s->aio_ctx, bdrv_get_aio_context(bs));
 383     }
 384 #endif
 385 }
 386
 387 static void raw_attach_aio_context(BlockDriverState *bs,
 388                                    AioContext *new_context)
 389 {
 390 #ifdef CONFIG_LINUX_AIO
 391     BDRVRawState *s = bs->opaque;
 392
 393     if (s->use_aio) {
 394         laio_attach_aio_context(s->aio_ctx, new_context);
 395     }
 396 #endif
 397 }
 398
 399 #ifdef CONFIG_LINUX_AIO
 400 static int raw_set_aio(void **aio_ctx, int *use_aio, int bdrv_flags)
 401 {
 402     int ret = -1;
 403     assert(aio_ctx != NULL);
 404     assert(use_aio != NULL);
 405     /*
 406      * Currently Linux do AIO only for files opened with O_DIRECT
 407      * specified so check NOCACHE flag too
 408      */
 409     if ((bdrv_flags & (BDRV_O_NOCACHE|BDRV_O_NATIVE_AIO)) ==
 410                       (BDRV_O_NOCACHE|BDRV_O_NATIVE_AIO)) {
 411
 412         /* if non-NULL, laio_init() has already been run */
 413         if (*aio_ctx == NULL) {
 414             *aio_ctx = laio_init();
 415             if (!*aio_ctx) {
 416                 goto error;
 417             }
 418         }
 419         *use_aio = 1;
 420     } else {
 421         *use_aio = 0;
 422     }
 423
 424     ret = 0;
 425
 426 error:
 427     return ret;
 428 }
 429 #endif
 430
 431 static void raw_parse_filename(const char *filename, QDict *options,
 432                                Error **errp)
 433 {
 434     /* The filename does not have to be prefixed by the protocol name, since
 435      * "file" is the default protocol; therefore, the return value of this
 436      * function call can be ignored. */
 437     strstart(filename, "file:", &filename);
 438
 439     qdict_put_obj(options, "filename", QOBJECT(qstring_from_str(filename)));
 440 }
 441
 442 static QemuOptsList raw_runtime_opts = {
 443     .name = "raw",
 444     .head = QTAILQ_HEAD_INITIALIZER(raw_runtime_opts.head),
 445     .desc = {
 446         {
 447             .name = "filename",
 448             .type = QEMU_OPT_STRING,
 449             .help = "File name of the image",
 450         },
 451         { /* end of list */ }
 452     },
 453 };
 454
 455 static int raw_open_common(BlockDriverState *bs, QDict *options,
 456                            int bdrv_flags, int open_flags, Error **errp)
 457 {
 458     BDRVRawState *s = bs->opaque;
 459     QemuOpts *opts;
 460     Error *local_err = NULL;
 461     const char *filename = NULL;
 462     int fd, ret;
 463     struct stat st;
 464
 465     opts = qemu_opts_create(&raw_runtime_opts, NULL, 0, &error_abort);
 466     qemu_opts_absorb_qdict(opts, options, &local_err);
 467     if (local_err) {
 468         error_propagate(errp, local_err);
 469         ret = -EINVAL;
 470         goto fail;
 471     }
 472
 473     filename = qemu_opt_get(opts, "filename");
 474
 475     ret = raw_normalize_devicepath(&filename);
 476     if (ret != 0) {
 477         error_setg_errno(errp, -ret, "Could not normalize device path");
 478         goto fail;
 479     }
 480
 481     s->open_flags = open_flags;
 482     raw_parse_flags(bdrv_flags, &s->open_flags);
 483
 484     s->fd = -1;
 485     fd = qemu_open(filename, s->open_flags, 0644);
 486     if (fd < 0) {
 487         ret = -errno;
 488         if (ret == -EROFS) {
 489             ret = -EACCES;
 490         }
 491         goto fail;
 492     }
 493     s->fd = fd;
 494
 495 #ifdef CONFIG_LINUX_AIO
 496     if (raw_set_aio(&s->aio_ctx, &s->use_aio, bdrv_flags)) {
 497         qemu_close(fd);
 498         ret = -errno;
 499         error_setg_errno(errp, -ret, "Could not set AIO state");
 500         goto fail;
 501     }
 502     if (!s->use_aio && (bdrv_flags & BDRV_O_NATIVE_AIO)) {
 503         error_setg(errp, "aio=native was specified, but it requires "
 504                          "cache.direct=on, which was not specified.");
 505         ret = -EINVAL;
 506         goto fail;
 507     }
 508 #else
 509     if (bdrv_flags & BDRV_O_NATIVE_AIO) {
 510         error_setg(errp, "aio=native was specified, but is not supported "
 511                          "in this build.");
 512         ret = -EINVAL;
 513         goto fail;
 514     }
 515 #endif /* !defined(CONFIG_LINUX_AIO) */
 516
 517     s->has_discard = true;
 518     s->has_write_zeroes = true;
 519     if ((bs->open_flags & BDRV_O_NOCACHE) != 0) {
 520         s->needs_alignment = true;
 521     }
 522
 523     if (fstat(s->fd, &st) < 0) {
 524         ret = -errno;
 525         error_setg_errno(errp, errno, "Could not stat file");
 526         goto fail;
 527     }
 528     if (S_ISREG(st.st_mode)) {
 529         s->discard_zeroes = true;
 530         s->has_fallocate = true;
 531     }
 532     if (S_ISBLK(st.st_mode)) {
 533 #ifdef BLKDISCARDZEROES
 534         unsigned int arg;
 535         if (ioctl(s->fd, BLKDISCARDZEROES, &arg) == 0 && arg) {
 536             s->discard_zeroes = true;
 537         }
 538 #endif
 539 #ifdef __linux__
 540         /* On Linux 3.10, BLKDISCARD leaves stale data in the page cache.  Do
 541          * not rely on the contents of discarded blocks unless using O_DIRECT.
 542          * Same for BLKZEROOUT.
 543          */
 544         if (!(bs->open_flags & BDRV_O_NOCACHE)) {
 545             s->discard_zeroes = false;
 546             s->has_write_zeroes = false;
 547         }
 548 #endif
 549     }
 550 #ifdef __FreeBSD__
 551     if (S_ISCHR(st.st_mode)) {
 552         /*
 553          * The file is a char device (disk), which on FreeBSD isn't behind
 554          * a pager, so force all requests to be aligned. This is needed
 555          * so QEMU makes sure all IO operations on the device are aligned
 556          * to sector size, or else FreeBSD will reject them with EINVAL.
 557          */
 558         s->needs_alignment = true;
 559     }
 560 #endif
 561
 562 #ifdef CONFIG_XFS
 563     if (platform_test_xfs_fd(s->fd)) {
 564         s->is_xfs = true;
 565     }
 566 #endif
 567
 568     raw_attach_aio_context(bs, bdrv_get_aio_context(bs));
 569
 570     ret = 0;
 571 fail:
 572     if (filename && (bdrv_flags & BDRV_O_TEMPORARY)) {
 573         unlink(filename);
 574     }
 575     qemu_opts_del(opts);
 576     return ret;
 577 }
 578
 579 static int raw_open(BlockDriverState *bs, QDict *options, int flags,
 580                     Error **errp)
 581 {
 582     BDRVRawState *s = bs->opaque;
 583     Error *local_err = NULL;
 584     int ret;
 585
 586     s->type = FTYPE_FILE;
 587     ret = raw_open_common(bs, options, flags, 0, &local_err);
 588     if (local_err) {
 589         error_propagate(errp, local_err);
 590     }
 591     return ret;
 592 }
 593
 594 static int raw_reopen_prepare(BDRVReopenState *state,
 595                               BlockReopenQueue *queue, Error **errp)
 596 {
 597     BDRVRawState *s;
 598     BDRVRawReopenState *raw_s;
 599     int ret = 0;
 600     Error *local_err = NULL;
 601
 602     assert(state != NULL);
 603     assert(state->bs != NULL);
 604
 605     s = state->bs->opaque;
 606
 607     state->opaque = g_new0(BDRVRawReopenState, 1);
 608     raw_s = state->opaque;
 609
 610 #ifdef CONFIG_LINUX_AIO
 611     raw_s->use_aio = s->use_aio;
 612
 613     /* we can use s->aio_ctx instead of a copy, because the use_aio flag is
 614      * valid in the 'false' condition even if aio_ctx is set, and raw_set_aio()
 615      * won't override aio_ctx if aio_ctx is non-NULL */
 616     if (raw_set_aio(&s->aio_ctx, &raw_s->use_aio, state->flags)) {
 617         error_setg(errp, "Could not set AIO state");
 618         return -1;
 619     }
 620 #endif
 621
 622     if (s->type == FTYPE_CD) {
 623         raw_s->open_flags |= O_NONBLOCK;
 624     }
 625
 626     raw_parse_flags(state->flags, &raw_s->open_flags);
 627
 628     raw_s->fd = -1;
 629
 630     int fcntl_flags = O_APPEND | O_NONBLOCK;
 631 #ifdef O_NOATIME
 632     fcntl_flags |= O_NOATIME;
 633 #endif
 634
 635 #ifdef O_ASYNC
 636     /* Not all operating systems have O_ASYNC, and those that don't
 637      * will not let us track the state into raw_s->open_flags (typically
 638      * you achieve the same effect with an ioctl, for example I_SETSIG
 639      * on Solaris). But we do not use O_ASYNC, so that's fine.
 640      */
 641     assert((s->open_flags & O_ASYNC) == 0);
 642 #endif
 643
 644     if ((raw_s->open_flags & ~fcntl_flags) == (s->open_flags & ~fcntl_flags)) {
 645         /* dup the original fd */
 646         /* TODO: use qemu fcntl wrapper */
 647 #ifdef F_DUPFD_CLOEXEC
 648         raw_s->fd = fcntl(s->fd, F_DUPFD_CLOEXEC, 0);
 649 #else
 650         raw_s->fd = dup(s->fd);
 651         if (raw_s->fd != -1) {
 652             qemu_set_cloexec(raw_s->fd);
 653         }
 654 #endif
 655         if (raw_s->fd >= 0) {
 656             ret = fcntl_setfl(raw_s->fd, raw_s->open_flags);
 657             if (ret) {
 658                 qemu_close(raw_s->fd);
 659                 raw_s->fd = -1;
 660             }
 661         }
 662     }
 663
 664     /* If we cannot use fcntl, or fcntl failed, fall back to qemu_open() */
 665     if (raw_s->fd == -1) {
 666         const char *normalized_filename = state->bs->filename;
 667         ret = raw_normalize_devicepath(&normalized_filename);
 668         if (ret < 0) {
 669             error_setg_errno(errp, -ret, "Could not normalize device path");
 670         } else {
 671             assert(!(raw_s->open_flags & O_CREAT));
 672             raw_s->fd = qemu_open(normalized_filename, raw_s->open_flags);
 673             if (raw_s->fd == -1) {
 674                 error_setg_errno(errp, errno, "Could not reopen file");
 675                 ret = -1;
 676             }
 677         }
 678     }
 679
 680     /* Fail already reopen_prepare() if we can't get a working O_DIRECT
 681      * alignment with the new fd. */
 682     if (raw_s->fd != -1) {
 683         raw_probe_alignment(state->bs, raw_s->fd, &local_err);
 684         if (local_err) {
 685             qemu_close(raw_s->fd);
 686             raw_s->fd = -1;
 687             error_propagate(errp, local_err);
 688             ret = -EINVAL;
 689         }
 690     }
 691
 692     return ret;
 693 }
 694
 695 static void raw_reopen_commit(BDRVReopenState *state)
 696 {
 697     BDRVRawReopenState *raw_s = state->opaque;
 698     BDRVRawState *s = state->bs->opaque;
 699
 700     s->open_flags = raw_s->open_flags;
 701
 702     qemu_close(s->fd);
 703     s->fd = raw_s->fd;
 704 #ifdef CONFIG_LINUX_AIO
 705     s->use_aio = raw_s->use_aio;
 706 #endif
 707
 708     g_free(state->opaque);
 709     state->opaque = NULL;
 710 }
 711
 712
 713 static void raw_reopen_abort(BDRVReopenState *state)
 714 {
 715     BDRVRawReopenState *raw_s = state->opaque;
 716
 717      /* nothing to do if NULL, we didn't get far enough */
 718     if (raw_s == NULL) {
 719         return;
 720     }
 721
 722     if (raw_s->fd >= 0) {
 723         qemu_close(raw_s->fd);
 724         raw_s->fd = -1;
 725     }
 726     g_free(state->opaque);
 727     state->opaque = NULL;
 728 }
 729
 730 static void raw_refresh_limits(BlockDriverState *bs, Error **errp)
 731 {
 732     BDRVRawState *s = bs->opaque;
 733
 734     raw_probe_alignment(bs, s->fd, errp);
 735     bs->bl.min_mem_alignment = s->buf_align;
 736     bs->bl.opt_mem_alignment = MAX(s->buf_align, getpagesize());
 737 }
 738
 739 static int check_for_dasd(int fd)
 740 {
 741 #ifdef BIODASDINFO2
 742     struct dasd_information2_t info = {0};
 743
 744     return ioctl(fd, BIODASDINFO2, &info);
 745 #else
 746     return -1;
 747 #endif
 748 }
 749
 750 /**
 751  * Try to get @bs's logical and physical block size.
 752  * On success, store them in @bsz and return zero.
 753  * On failure, return negative errno.
 754  */
 755 static int hdev_probe_blocksizes(BlockDriverState *bs, BlockSizes *bsz)
 756 {
 757     BDRVRawState *s = bs->opaque;
 758     int ret;
 759
 760     /* If DASD, get blocksizes */
 761     if (check_for_dasd(s->fd) < 0) {
 762         return -ENOTSUP;
 763     }
 764     ret = probe_logical_blocksize(s->fd, &bsz->log);
 765     if (ret < 0) {
 766         return ret;
 767     }
 768     return probe_physical_blocksize(s->fd, &bsz->phys);
 769 }
 770
 771 /**
 772  * Try to get @bs's geometry: cyls, heads, sectors.
 773  * On success, store them in @geo and return 0.
 774  * On failure return -errno.
 775  * (Allows block driver to assign default geometry values that guest sees)
 776  */
 777 #ifdef __linux__
 778 static int hdev_probe_geometry(BlockDriverState *bs, HDGeometry *geo)
 779 {
 780     BDRVRawState *s = bs->opaque;
 781     struct hd_geometry ioctl_geo = {0};
 782     uint32_t blksize;
 783
 784     /* If DASD, get its geometry */
 785     if (check_for_dasd(s->fd) < 0) {
 786         return -ENOTSUP;
 787     }
 788     if (ioctl(s->fd, HDIO_GETGEO, &ioctl_geo) < 0) {
 789         return -errno;
 790     }
 791     /* HDIO_GETGEO may return success even though geo contains zeros
 792        (e.g. certain multipath setups) */
 793     if (!ioctl_geo.heads || !ioctl_geo.sectors || !ioctl_geo.cylinders) {
 794         return -ENOTSUP;
 795     }
 796     /* Do not return a geometry for partition */
 797     if (ioctl_geo.start != 0) {
 798         return -ENOTSUP;
 799     }
 800     geo->heads = ioctl_geo.heads;
 801     geo->sectors = ioctl_geo.sectors;
 802     if (!probe_physical_blocksize(s->fd, &blksize)) {
 803         /* overwrite cyls: HDIO_GETGEO result is incorrect for big drives */
 804         geo->cylinders = bdrv_nb_sectors(bs) / (blksize / BDRV_SECTOR_SIZE)
 805                                              / (geo->heads * geo->sectors);
 806         return 0;
 807     }
 808     geo->cylinders = ioctl_geo.cylinders;
 809
 810     return 0;
 811 }
 812 #else /* __linux__ */
 813 static int hdev_probe_geometry(BlockDriverState *bs, HDGeometry *geo)
 814 {
 815     return -ENOTSUP;
 816 }
 817 #endif
 818
 819 static ssize_t handle_aiocb_ioctl(RawPosixAIOData *aiocb)
 820 {
 821     int ret;
 822
 823     ret = ioctl(aiocb->aio_fildes, aiocb->aio_ioctl_cmd, aiocb->aio_ioctl_buf);
 824     if (ret == -1) {
 825         return -errno;
 826     }
 827
 828     return 0;
 829 }
 830
 831 static ssize_t handle_aiocb_flush(RawPosixAIOData *aiocb)
 832 {
 833     int ret;
 834
 835     ret = qemu_fdatasync(aiocb->aio_fildes);
 836     if (ret == -1) {
 837         return -errno;
 838     }
 839     return 0;
 840 }
 841
 842 #ifdef CONFIG_PREADV
 843
 844 static bool preadv_present = true;
 845
 846 static ssize_t
 847 qemu_preadv(int fd, const struct iovec *iov, int nr_iov, off_t offset)
 848 {
 849     return preadv(fd, iov, nr_iov, offset);
 850 }
 851
 852 static ssize_t
 853 qemu_pwritev(int fd, const struct iovec *iov, int nr_iov, off_t offset)
 854 {
 855     return pwritev(fd, iov, nr_iov, offset);
 856 }
 857
 858 #else
 859
 860 static bool preadv_present = false;
 861
 862 static ssize_t
 863 qemu_preadv(int fd, const struct iovec *iov, int nr_iov, off_t offset)
 864 {
 865     return -ENOSYS;
 866 }
 867
 868 static ssize_t
 869 qemu_pwritev(int fd, const struct iovec *iov, int nr_iov, off_t offset)
 870 {
 871     return -ENOSYS;
 872 }
 873
 874 #endif
 875
 876 static ssize_t handle_aiocb_rw_vector(RawPosixAIOData *aiocb)
 877 {
 878     ssize_t len;
 879
 880     do {
 881         if (aiocb->aio_type & QEMU_AIO_WRITE)
 882             len = qemu_pwritev(aiocb->aio_fildes,
 883                                aiocb->aio_iov,
 884                                aiocb->aio_niov,
 885                                aiocb->aio_offset);
 886          else
 887             len = qemu_preadv(aiocb->aio_fildes,
 888                               aiocb->aio_iov,
 889                               aiocb->aio_niov,
 890                               aiocb->aio_offset);
 891     } while (len == -1 && errno == EINTR);
 892
 893     if (len == -1) {
 894         return -errno;
 895     }
 896     return len;
 897 }
 898
 899 /*
 900  * Read/writes the data to/from a given linear buffer.
 901  *
 902  * Returns the number of bytes handles or -errno in case of an error. Short
 903  * reads are only returned if the end of the file is reached.
 904  */
 905 static ssize_t handle_aiocb_rw_linear(RawPosixAIOData *aiocb, char *buf)
 906 {
 907     ssize_t offset = 0;
 908     ssize_t len;
 909
 910     while (offset < aiocb->aio_nbytes) {
 911         if (aiocb->aio_type & QEMU_AIO_WRITE) {
 912             len = pwrite(aiocb->aio_fildes,
 913                          (const char *)buf + offset,
 914                          aiocb->aio_nbytes - offset,
 915                          aiocb->aio_offset + offset);
 916         } else {
 917             len = pread(aiocb->aio_fildes,
 918                         buf + offset,
 919                         aiocb->aio_nbytes - offset,
 920                         aiocb->aio_offset + offset);
 921         }
 922         if (len == -1 && errno == EINTR) {
 923             continue;
 924         } else if (len == -1 && errno == EINVAL &&
 925                    (aiocb->bs->open_flags & BDRV_O_NOCACHE) &&
 926                    !(aiocb->aio_type & QEMU_AIO_WRITE) &&
 927                    offset > 0) {
 928             /* O_DIRECT pread() may fail with EINVAL when offset is unaligned
 929              * after a short read.  Assume that O_DIRECT short reads only occur
 930              * at EOF.  Therefore this is a short read, not an I/O error.
 931              */
 932             break;
 933         } else if (len == -1) {
 934             offset = -errno;
 935             break;
 936         } else if (len == 0) {
 937             break;
 938         }
 939         offset += len;
 940     }
 941
 942     return offset;
 943 }
 944
 945 static ssize_t handle_aiocb_rw(RawPosixAIOData *aiocb)
 946 {
 947     ssize_t nbytes;
 948     char *buf;
 949
 950     if (!(aiocb->aio_type & QEMU_AIO_MISALIGNED)) {
 951         /*
 952          * If there is just a single buffer, and it is properly aligned
 953          * we can just use plain pread/pwrite without any problems.
 954          */
 955         if (aiocb->aio_niov == 1) {
 956              return handle_aiocb_rw_linear(aiocb, aiocb->aio_iov->iov_base);
 957         }
 958         /*
 959          * We have more than one iovec, and all are properly aligned.
 960          *
 961          * Try preadv/pwritev first and fall back to linearizing the
 962          * buffer if it's not supported.
 963          */
 964         if (preadv_present) {
 965             nbytes = handle_aiocb_rw_vector(aiocb);
 966             if (nbytes == aiocb->aio_nbytes ||
 967                 (nbytes < 0 && nbytes != -ENOSYS)) {
 968                 return nbytes;
 969             }
 970             preadv_present = false;
 971         }
 972
 973         /*
 974          * XXX(hch): short read/write.  no easy way to handle the reminder
 975          * using these interfaces.  For now retry using plain
 976          * pread/pwrite?
 977          */
 978     }
 979
 980     /*
 981      * Ok, we have to do it the hard way, copy all segments into
 982      * a single aligned buffer.
 983      */
 984     buf = qemu_try_blockalign(aiocb->bs, aiocb->aio_nbytes);
 985     if (buf == NULL) {
 986         return -ENOMEM;
 987     }
 988
 989     if (aiocb->aio_type & QEMU_AIO_WRITE) {
 990         char *p = buf;
 991         int i;
 992
 993         for (i = 0; i < aiocb->aio_niov; ++i) {
 994             memcpy(p, aiocb->aio_iov[i].iov_base, aiocb->aio_iov[i].iov_len);
 995             p += aiocb->aio_iov[i].iov_len;
 996         }
 997         assert(p - buf == aiocb->aio_nbytes);
 998     }
 999
1000     nbytes = handle_aiocb_rw_linear(aiocb, buf);
1001     if (!(aiocb->aio_type & QEMU_AIO_WRITE)) {
1002         char *p = buf;
1003         size_t count = aiocb->aio_nbytes, copy;
1004         int i;
1005
1006         for (i = 0; i < aiocb->aio_niov && count; ++i) {
1007             copy = count;
1008             if (copy > aiocb->aio_iov[i].iov_len) {
1009                 copy = aiocb->aio_iov[i].iov_len;
1010             }
1011             memcpy(aiocb->aio_iov[i].iov_base, p, copy);
1012             assert(count >= copy);
1013             p     += copy;
1014             count -= copy;
1015         }
1016         assert(count == 0);
1017     }
1018     qemu_vfree(buf);
1019
1020     return nbytes;
1021 }
1022
1023 #ifdef CONFIG_XFS
1024 static int xfs_write_zeroes(BDRVRawState *s, int64_t offset, uint64_t bytes)
1025 {
1026     struct xfs_flock64 fl;
1027     int err;
1028
1029     memset(&fl, 0, sizeof(fl));
1030     fl.l_whence = SEEK_SET;
1031     fl.l_start = offset;
1032     fl.l_len = bytes;
1033
1034     if (xfsctl(NULL, s->fd, XFS_IOC_ZERO_RANGE, &fl) < 0) {
1035         err = errno;
1036         DPRINTF("cannot write zero range (%s)\n", strerror(errno));
1037         return -err;
1038     }
1039
1040     return 0;
1041 }
1042
1043 static int xfs_discard(BDRVRawState *s, int64_t offset, uint64_t bytes)
1044 {
1045     struct xfs_flock64 fl;
1046     int err;
1047
1048     memset(&fl, 0, sizeof(fl));
1049     fl.l_whence = SEEK_SET;
1050     fl.l_start = offset;
1051     fl.l_len = bytes;
1052
1053     if (xfsctl(NULL, s->fd, XFS_IOC_UNRESVSP64, &fl) < 0) {
1054         err = errno;
1055         DPRINTF("cannot punch hole (%s)\n", strerror(errno));
1056         return -err;
1057     }
1058
1059     return 0;
1060 }
1061 #endif
1062
1063 static int translate_err(int err)
1064 {
1065     if (err == -ENODEV || err == -ENOSYS || err == -EOPNOTSUPP ||
1066         err == -ENOTTY) {
1067         err = -ENOTSUP;
1068     }
1069     return err;
1070 }
1071
1072 #ifdef CONFIG_FALLOCATE
1073 static int do_fallocate(int fd, int mode, off_t offset, off_t len)
1074 {
1075     do {
1076         if (fallocate(fd, mode, offset, len) == 0) {
1077             return 0;
1078         }
1079     } while (errno == EINTR);
1080     return translate_err(-errno);
1081 }
1082 #endif
1083
1084 static ssize_t handle_aiocb_write_zeroes_block(RawPosixAIOData *aiocb)
1085 {
1086     int ret = -ENOTSUP;
1087     BDRVRawState *s = aiocb->bs->opaque;
1088
1089     if (!s->has_write_zeroes) {
1090         return -ENOTSUP;
1091     }
1092
1093 #ifdef BLKZEROOUT
1094     do {
1095         uint64_t range[2] = { aiocb->aio_offset, aiocb->aio_nbytes };
1096         if (ioctl(aiocb->aio_fildes, BLKZEROOUT, range) == 0) {
1097             return 0;
1098         }
1099     } while (errno == EINTR);
1100
1101     ret = translate_err(-errno);
1102 #endif
1103
1104     if (ret == -ENOTSUP) {
1105         s->has_write_zeroes = false;
1106     }
1107     return ret;
1108 }
1109
1110 static ssize_t handle_aiocb_write_zeroes(RawPosixAIOData *aiocb)
1111 {
1112 #if defined(CONFIG_FALLOCATE) || defined(CONFIG_XFS)
1113     BDRVRawState *s = aiocb->bs->opaque;
1114 #endif
1115
1116     if (aiocb->aio_type & QEMU_AIO_BLKDEV) {
1117         return handle_aiocb_write_zeroes_block(aiocb);
1118     }
1119
1120 #ifdef CONFIG_XFS
1121     if (s->is_xfs) {
1122         return xfs_write_zeroes(s, aiocb->aio_offset, aiocb->aio_nbytes);
1123     }
1124 #endif
1125
1126 #ifdef CONFIG_FALLOCATE_ZERO_RANGE
1127     if (s->has_write_zeroes) {
1128         int ret = do_fallocate(s->fd, FALLOC_FL_ZERO_RANGE,
1129                                aiocb->aio_offset, aiocb->aio_nbytes);
1130         if (ret == 0 || ret != -ENOTSUP) {
1131             return ret;
1132         }
1133         s->has_write_zeroes = false;
1134     }
1135 #endif
1136
1137 #ifdef CONFIG_FALLOCATE_PUNCH_HOLE
1138     if (s->has_discard && s->has_fallocate) {
1139         int ret = do_fallocate(s->fd,
1140                                FALLOC_FL_PUNCH_HOLE | FALLOC_FL_KEEP_SIZE,
1141                                aiocb->aio_offset, aiocb->aio_nbytes);
1142         if (ret == 0) {
1143             ret = do_fallocate(s->fd, 0, aiocb->aio_offset, aiocb->aio_nbytes);
1144             if (ret == 0 || ret != -ENOTSUP) {
1145                 return ret;
1146             }
1147             s->has_fallocate = false;
1148         } else if (ret != -ENOTSUP) {
1149             return ret;
1150         } else {
1151             s->has_discard = false;
1152         }
1153     }
1154 #endif
1155
1156 #ifdef CONFIG_FALLOCATE
1157     if (s->has_fallocate && aiocb->aio_offset >= bdrv_getlength(aiocb->bs)) {
1158         int ret = do_fallocate(s->fd, 0, aiocb->aio_offset, aiocb->aio_nbytes);
1159         if (ret == 0 || ret != -ENOTSUP) {
1160             return ret;
1161         }
1162         s->has_fallocate = false;
1163     }
1164 #endif
1165
1166     return -ENOTSUP;
1167 }
1168
1169 static ssize_t handle_aiocb_discard(RawPosixAIOData *aiocb)
1170 {
1171     int ret = -EOPNOTSUPP;
1172     BDRVRawState *s = aiocb->bs->opaque;
1173
1174     if (!s->has_discard) {
1175         return -ENOTSUP;
1176     }
1177
1178     if (aiocb->aio_type & QEMU_AIO_BLKDEV) {
1179 #ifdef BLKDISCARD
1180         do {
1181             uint64_t range[2] = { aiocb->aio_offset, aiocb->aio_nbytes };
1182             if (ioctl(aiocb->aio_fildes, BLKDISCARD, range) == 0) {
1183                 return 0;
1184             }
1185         } while (errno == EINTR);
1186
1187         ret = -errno;
1188 #endif
1189     } else {
1190 #ifdef CONFIG_XFS
1191         if (s->is_xfs) {
1192             return xfs_discard(s, aiocb->aio_offset, aiocb->aio_nbytes);
1193         }
1194 #endif
1195
1196 #ifdef CONFIG_FALLOCATE_PUNCH_HOLE
1197         ret = do_fallocate(s->fd, FALLOC_FL_PUNCH_HOLE | FALLOC_FL_KEEP_SIZE,
1198                            aiocb->aio_offset, aiocb->aio_nbytes);
1199 #endif
1200     }
1201
1202     ret = translate_err(ret);
1203     if (ret == -ENOTSUP) {
1204         s->has_discard = false;
1205     }
1206     return ret;
1207 }
1208
1209 static int aio_worker(void *arg)
1210 {
1211     RawPosixAIOData *aiocb = arg;
1212     ssize_t ret = 0;
1213
1214     switch (aiocb->aio_type & QEMU_AIO_TYPE_MASK) {
1215     case QEMU_AIO_READ:
1216         ret = handle_aiocb_rw(aiocb);
1217         if (ret >= 0 && ret < aiocb->aio_nbytes) {
1218             iov_memset(aiocb->aio_iov, aiocb->aio_niov, ret,
1219                       0, aiocb->aio_nbytes - ret);
1220
1221             ret = aiocb->aio_nbytes;
1222         }
1223         if (ret == aiocb->aio_nbytes) {
1224             ret = 0;
1225         } else if (ret >= 0 && ret < aiocb->aio_nbytes) {
1226             ret = -EINVAL;
1227         }
1228         break;
1229     case QEMU_AIO_WRITE:
1230         ret = handle_aiocb_rw(aiocb);
1231         if (ret == aiocb->aio_nbytes) {
1232             ret = 0;
1233         } else if (ret >= 0 && ret < aiocb->aio_nbytes) {
1234             ret = -EINVAL;
1235         }
1236         break;
1237     case QEMU_AIO_FLUSH:
1238         ret = handle_aiocb_flush(aiocb);
1239         break;
1240     case QEMU_AIO_IOCTL:
1241         ret = handle_aiocb_ioctl(aiocb);
1242         break;
1243     case QEMU_AIO_DISCARD:
1244         ret = handle_aiocb_discard(aiocb);
1245         break;
1246     case QEMU_AIO_WRITE_ZEROES:
1247         ret = handle_aiocb_write_zeroes(aiocb);
1248         break;
1249     default:
1250         fprintf(stderr, "invalid aio request (0x%x)\n", aiocb->aio_type);
1251         ret = -EINVAL;
1252         break;
1253     }
1254
1255     g_free(aiocb);
1256     return ret;
1257 }
1258
1259 static int paio_submit_co(BlockDriverState *bs, int fd,
1260         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
1261         int type)
1262 {
1263     RawPosixAIOData *acb = g_new(RawPosixAIOData, 1);
1264     ThreadPool *pool;
1265
1266     acb->bs = bs;
1267     acb->aio_type = type;
1268     acb->aio_fildes = fd;
1269
1270     acb->aio_nbytes = nb_sectors * BDRV_SECTOR_SIZE;
1271     acb->aio_offset = sector_num * BDRV_SECTOR_SIZE;
1272
1273     if (qiov) {
1274         acb->aio_iov = qiov->iov;
1275         acb->aio_niov = qiov->niov;
1276         assert(qiov->size == acb->aio_nbytes);
1277     }
1278
1279     trace_paio_submit_co(sector_num, nb_sectors, type);
1280     pool = aio_get_thread_pool(bdrv_get_aio_context(bs));
1281     return thread_pool_submit_co(pool, aio_worker, acb);
1282 }
1283
1284 static BlockAIOCB *paio_submit(BlockDriverState *bs, int fd,
1285         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
1286         BlockCompletionFunc *cb, void *opaque, int type)
1287 {
1288     RawPosixAIOData *acb = g_new(RawPosixAIOData, 1);
1289     ThreadPool *pool;
1290
1291     acb->bs = bs;
1292     acb->aio_type = type;
1293     acb->aio_fildes = fd;
1294
1295     acb->aio_nbytes = nb_sectors * BDRV_SECTOR_SIZE;
1296     acb->aio_offset = sector_num * BDRV_SECTOR_SIZE;
1297
1298     if (qiov) {
1299         acb->aio_iov = qiov->iov;
1300         acb->aio_niov = qiov->niov;
1301         assert(qiov->size == acb->aio_nbytes);
1302     }
1303
1304     trace_paio_submit(acb, opaque, sector_num, nb_sectors, type);
1305     pool = aio_get_thread_pool(bdrv_get_aio_context(bs));
1306     return thread_pool_submit_aio(pool, aio_worker, acb, cb, opaque);
1307 }
1308
1309 static BlockAIOCB *raw_aio_submit(BlockDriverState *bs,
1310         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
1311         BlockCompletionFunc *cb, void *opaque, int type)
1312 {
1313     BDRVRawState *s = bs->opaque;
1314
1315     if (fd_open(bs) < 0)
1316         return NULL;
1317
1318     /*
1319      * Check if the underlying device requires requests to be aligned,
1320      * and if the request we are trying to submit is aligned or not.
1321      * If this is the case tell the low-level driver that it needs
1322      * to copy the buffer.
1323      */
1324     if (s->needs_alignment) {
1325         if (!bdrv_qiov_is_aligned(bs, qiov)) {
1326             type |= QEMU_AIO_MISALIGNED;
1327 #ifdef CONFIG_LINUX_AIO
1328         } else if (s->use_aio) {
1329             return laio_submit(bs, s->aio_ctx, s->fd, sector_num, qiov,
1330                                nb_sectors, cb, opaque, type);
1331 #endif
1332         }
1333     }
1334
1335     return paio_submit(bs, s->fd, sector_num, qiov, nb_sectors,
1336                        cb, opaque, type);
1337 }
1338
1339 static void raw_aio_plug(BlockDriverState *bs)
1340 {
1341 #ifdef CONFIG_LINUX_AIO
1342     BDRVRawState *s = bs->opaque;
1343     if (s->use_aio) {
1344         laio_io_plug(bs, s->aio_ctx);
1345     }
1346 #endif
1347 }
1348
1349 static void raw_aio_unplug(BlockDriverState *bs)
1350 {
1351 #ifdef CONFIG_LINUX_AIO
1352     BDRVRawState *s = bs->opaque;
1353     if (s->use_aio) {
1354         laio_io_unplug(bs, s->aio_ctx, true);
1355     }
1356 #endif
1357 }
1358
1359 static void raw_aio_flush_io_queue(BlockDriverState *bs)
1360 {
1361 #ifdef CONFIG_LINUX_AIO
1362     BDRVRawState *s = bs->opaque;
1363     if (s->use_aio) {
1364         laio_io_unplug(bs, s->aio_ctx, false);
1365     }
1366 #endif
1367 }
1368
1369 static BlockAIOCB *raw_aio_readv(BlockDriverState *bs,
1370         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
1371         BlockCompletionFunc *cb, void *opaque)
1372 {
1373     return raw_aio_submit(bs, sector_num, qiov, nb_sectors,
1374                           cb, opaque, QEMU_AIO_READ);
1375 }
1376
1377 static BlockAIOCB *raw_aio_writev(BlockDriverState *bs,
1378         int64_t sector_num, QEMUIOVector *qiov, int nb_sectors,
1379         BlockCompletionFunc *cb, void *opaque)
1380 {
1381     return raw_aio_submit(bs, sector_num, qiov, nb_sectors,
1382                           cb, opaque, QEMU_AIO_WRITE);
1383 }
1384
1385 static BlockAIOCB *raw_aio_flush(BlockDriverState *bs,
1386         BlockCompletionFunc *cb, void *opaque)
1387 {
1388     BDRVRawState *s = bs->opaque;
1389
1390     if (fd_open(bs) < 0)
1391         return NULL;
1392
1393     return paio_submit(bs, s->fd, 0, NULL, 0, cb, opaque, QEMU_AIO_FLUSH);
1394 }
1395
1396 static void raw_close(BlockDriverState *bs)
1397 {
1398     BDRVRawState *s = bs->opaque;
1399
1400     raw_detach_aio_context(bs);
1401
1402 #ifdef CONFIG_LINUX_AIO
1403     if (s->use_aio) {
1404         laio_cleanup(s->aio_ctx);
1405     }
1406 #endif
1407     if (s->fd >= 0) {
1408         qemu_close(s->fd);
1409         s->fd = -1;
1410     }
1411 }
1412
1413 static int raw_truncate(BlockDriverState *bs, int64_t offset)
1414 {
1415     BDRVRawState *s = bs->opaque;
1416     struct stat st;
1417
1418     if (fstat(s->fd, &st)) {
1419         return -errno;
1420     }
1421
1422     if (S_ISREG(st.st_mode)) {
1423         if (ftruncate(s->fd, offset) < 0) {
1424             return -errno;
1425         }
1426     } else if (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode)) {
1427        if (offset > raw_getlength(bs)) {
1428            return -EINVAL;
1429        }
1430     } else {
1431         return -ENOTSUP;
1432     }
1433
1434     return 0;
1435 }
1436
1437 #ifdef __OpenBSD__
1438 static int64_t raw_getlength(BlockDriverState *bs)
1439 {
1440     BDRVRawState *s = bs->opaque;
1441     int fd = s->fd;
1442     struct stat st;
1443
1444     if (fstat(fd, &st))
1445         return -errno;
1446     if (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode)) {
1447         struct disklabel dl;
1448
1449         if (ioctl(fd, DIOCGDINFO, &dl))
1450             return -errno;
1451         return (uint64_t)dl.d_secsize *
1452             dl.d_partitions[DISKPART(st.st_rdev)].p_size;
1453     } else
1454         return st.st_size;
1455 }
1456 #elif defined(__NetBSD__)
1457 static int64_t raw_getlength(BlockDriverState *bs)
1458 {
1459     BDRVRawState *s = bs->opaque;
1460     int fd = s->fd;
1461     struct stat st;
1462
1463     if (fstat(fd, &st))
1464         return -errno;
1465     if (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode)) {
1466         struct dkwedge_info dkw;
1467
1468         if (ioctl(fd, DIOCGWEDGEINFO, &dkw) != -1) {
1469             return dkw.dkw_size * 512;
1470         } else {
1471             struct disklabel dl;
1472
1473             if (ioctl(fd, DIOCGDINFO, &dl))
1474                 return -errno;
1475             return (uint64_t)dl.d_secsize *
1476                 dl.d_partitions[DISKPART(st.st_rdev)].p_size;
1477         }
1478     } else
1479         return st.st_size;
1480 }
1481 #elif defined(__sun__)
1482 static int64_t raw_getlength(BlockDriverState *bs)
1483 {
1484     BDRVRawState *s = bs->opaque;
1485     struct dk_minfo minfo;
1486     int ret;
1487     int64_t size;
1488
1489     ret = fd_open(bs);
1490     if (ret < 0) {
1491         return ret;
1492     }
1493
1494     /*
1495      * Use the DKIOCGMEDIAINFO ioctl to read the size.
1496      */
1497     ret = ioctl(s->fd, DKIOCGMEDIAINFO, &minfo);
1498     if (ret != -1) {
1499         return minfo.dki_lbsize * minfo.dki_capacity;
1500     }
1501
1502     /*
1503      * There are reports that lseek on some devices fails, but
1504      * irc discussion said that contingency on contingency was overkill.
1505      */
1506     size = lseek(s->fd, 0, SEEK_END);
1507     if (size < 0) {
1508         return -errno;
1509     }
1510     return size;
1511 }
1512 #elif defined(CONFIG_BSD)
1513 static int64_t raw_getlength(BlockDriverState *bs)
1514 {
1515     BDRVRawState *s = bs->opaque;
1516     int fd = s->fd;
1517     int64_t size;
1518     struct stat sb;
1519 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
1520     int reopened = 0;
1521 #endif
1522     int ret;
1523
1524     ret = fd_open(bs);
1525     if (ret < 0)
1526         return ret;
1527
1528 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
1529 again:
1530 #endif
1531     if (!fstat(fd, &sb) && (S_IFCHR & sb.st_mode)) {
1532 #ifdef DIOCGMEDIASIZE
1533         if (ioctl(fd, DIOCGMEDIASIZE, (off_t *)&size))
1534 #elif defined(DIOCGPART)
1535         {
1536                 struct partinfo pi;
1537                 if (ioctl(fd, DIOCGPART, &pi) == 0)
1538                         size = pi.media_size;
1539                 else
1540                         size = 0;
1541         }
1542         if (size == 0)
1543 #endif
1544 #if defined(__APPLE__) && defined(__MACH__)
1545         {
1546             uint64_t sectors = 0;
1547             uint32_t sector_size = 0;
1548
1549             if (ioctl(fd, DKIOCGETBLOCKCOUNT, &sectors) == 0
1550                && ioctl(fd, DKIOCGETBLOCKSIZE, &sector_size) == 0) {
1551                 size = sectors * sector_size;
1552             } else {
1553                 size = lseek(fd, 0LL, SEEK_END);
1554                 if (size < 0) {
1555                     return -errno;
1556                 }
1557             }
1558         }
1559 #else
1560         size = lseek(fd, 0LL, SEEK_END);
1561         if (size < 0) {
1562             return -errno;
1563         }
1564 #endif
1565 #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
1566         switch(s->type) {
1567         case FTYPE_CD:
1568             /* XXX FreeBSD acd returns UINT_MAX sectors for an empty drive */
1569             if (size == 2048LL * (unsigned)-1)
1570                 size = 0;
1571             /* XXX no disc?  maybe we need to reopen... */
1572             if (size <= 0 && !reopened && cdrom_reopen(bs) >= 0) {
1573                 reopened = 1;
1574                 goto again;
1575             }
1576         }
1577 #endif
1578     } else {
1579         size = lseek(fd, 0, SEEK_END);
1580         if (size < 0) {
1581             return -errno;
1582         }
1583     }
1584     return size;
1585 }
1586 #else
1587 static int64_t raw_getlength(BlockDriverState *bs)
1588 {
1589     BDRVRawState *s = bs->opaque;
1590     int ret;
1591     int64_t size;
1592
1593     ret = fd_open(bs);
1594     if (ret < 0) {
1595         return ret;
1596     }
1597
1598     size = lseek(s->fd, 0, SEEK_END);
1599     if (size < 0) {
1600         return -errno;
1601     }
1602     return size;
1603 }
1604 #endif
1605
1606 static int64_t raw_get_allocated_file_size(BlockDriverState *bs)
1607 {
1608     struct stat st;
1609     BDRVRawState *s = bs->opaque;
1610
1611     if (fstat(s->fd, &st) < 0) {
1612         return -errno;
1613     }
1614     return (int64_t)st.st_blocks * 512;
1615 }
1616
1617 static int raw_create(const char *filename, QemuOpts *opts, Error **errp)
1618 {
1619     int fd;
1620     int result = 0;
1621     int64_t total_size = 0;
1622     bool nocow = false;
1623     PreallocMode prealloc;
1624     char *buf = NULL;
1625     Error *local_err = NULL;
1626
1627     strstart(filename, "file:", &filename);
1628
1629     /* Read out options */
1630     total_size = ROUND_UP(qemu_opt_get_size_del(opts, BLOCK_OPT_SIZE, 0),
1631                           BDRV_SECTOR_SIZE);
1632     nocow = qemu_opt_get_bool(opts, BLOCK_OPT_NOCOW, false);
1633     buf = qemu_opt_get_del(opts, BLOCK_OPT_PREALLOC);
1634     prealloc = qapi_enum_parse(PreallocMode_lookup, buf,
1635                                PREALLOC_MODE__MAX, PREALLOC_MODE_OFF,
1636                                &local_err);
1637     g_free(buf);
1638     if (local_err) {
1639         error_propagate(errp, local_err);
1640         result = -EINVAL;
1641         goto out;
1642     }
1643
1644     fd = qemu_open(filename, O_RDWR | O_CREAT | O_TRUNC | O_BINARY,
1645                    0644);
1646     if (fd < 0) {
1647         result = -errno;
1648         error_setg_errno(errp, -result, "Could not create file");
1649         goto out;
1650     }
1651
1652     if (nocow) {
1653 #ifdef __linux__
1654         /* Set NOCOW flag to solve performance issue on fs like btrfs.
1655          * This is an optimisation. The FS_IOC_SETFLAGS ioctl return value
1656          * will be ignored since any failure of this operation should not
1657          * block the left work.
1658          */
1659         int attr;
1660         if (ioctl(fd, FS_IOC_GETFLAGS, &attr) == 0) {
1661             attr |= FS_NOCOW_FL;
1662             ioctl(fd, FS_IOC_SETFLAGS, &attr);
1663         }
1664 #endif
1665     }
1666
1667     if (ftruncate(fd, total_size) != 0) {
1668         result = -errno;
1669         error_setg_errno(errp, -result, "Could not resize file");
1670         goto out_close;
1671     }
1672
1673     switch (prealloc) {
1674 #ifdef CONFIG_POSIX_FALLOCATE
1675     case PREALLOC_MODE_FALLOC:
1676         /* posix_fallocate() doesn't set errno. */
1677         result = -posix_fallocate(fd, 0, total_size);
1678         if (result != 0) {
1679             error_setg_errno(errp, -result,
1680                              "Could not preallocate data for the new file");
1681         }
1682         break;
1683 #endif
1684     case PREALLOC_MODE_FULL:
1685     {
1686         int64_t num = 0, left = total_size;
1687         buf = g_malloc0(65536);
1688
1689         while (left > 0) {
1690             num = MIN(left, 65536);
1691             result = write(fd, buf, num);
1692             if (result < 0) {
1693                 result = -errno;
1694                 error_setg_errno(errp, -result,
1695                                  "Could not write to the new file");
1696                 break;
1697             }
1698             left -= result;
1699         }
1700         if (result >= 0) {
1701             result = fsync(fd);
1702             if (result < 0) {
1703                 result = -errno;
1704                 error_setg_errno(errp, -result,
1705                                  "Could not flush new file to disk");
1706             }
1707         }
1708         g_free(buf);
1709         break;
1710     }
1711     case PREALLOC_MODE_OFF:
1712         break;
1713     default:
1714         result = -EINVAL;
1715         error_setg(errp, "Unsupported preallocation mode: %s",
1716                    PreallocMode_lookup[prealloc]);
1717         break;
1718     }
1719
1720 out_close:
1721     if (qemu_close(fd) != 0 && result == 0) {
1722         result = -errno;
1723         error_setg_errno(errp, -result, "Could not close the new file");
1724     }
1725 out:
1726     return result;
1727 }
1728
1729 /*
1730  * Find allocation range in @bs around offset @start.
1731  * May change underlying file descriptor's file offset.
1732  * If @start is not in a hole, store @start in @data, and the
1733  * beginning of the next hole in @hole, and return 0.
1734  * If @start is in a non-trailing hole, store @start in @hole and the
1735  * beginning of the next non-hole in @data, and return 0.
1736  * If @start is in a trailing hole or beyond EOF, return -ENXIO.
1737  * If we can't find out, return a negative errno other than -ENXIO.
1738  */
1739 static int find_allocation(BlockDriverState *bs, off_t start,
1740                            off_t *data, off_t *hole)
1741 {
1742 #if defined SEEK_HOLE && defined SEEK_DATA
1743     BDRVRawState *s = bs->opaque;
1744     off_t offs;
1745
1746     /*
1747      * SEEK_DATA cases:
1748      * D1. offs == start: start is in data
1749      * D2. offs > start: start is in a hole, next data at offs
1750      * D3. offs < 0, errno = ENXIO: either start is in a trailing hole
1751      *                              or start is beyond EOF
1752      *     If the latter happens, the file has been truncated behind
1753      *     our back since we opened it.  All bets are off then.
1754      *     Treating like a trailing hole is simplest.
1755      * D4. offs < 0, errno != ENXIO: we learned nothing
1756      */
1757     offs = lseek(s->fd, start, SEEK_DATA);
1758     if (offs < 0) {
1759         return -errno;          /* D3 or D4 */
1760     }
1761     assert(offs >= start);
1762
1763     if (offs > start) {
1764         /* D2: in hole, next data at offs */
1765         *hole = start;
1766         *data = offs;
1767         return 0;
1768     }
1769
1770     /* D1: in data, end not yet known */
1771
1772     /*
1773      * SEEK_HOLE cases:
1774      * H1. offs == start: start is in a hole
1775      *     If this happens here, a hole has been dug behind our back
1776      *     since the previous lseek().
1777      * H2. offs > start: either start is in data, next hole at offs,
1778      *                   or start is in trailing hole, EOF at offs
1779      *     Linux treats trailing holes like any other hole: offs ==
1780      *     start.  Solaris seeks to EOF instead: offs > start (blech).
1781      *     If that happens here, a hole has been dug behind our back
1782      *     since the previous lseek().
1783      * H3. offs < 0, errno = ENXIO: start is beyond EOF
1784      *     If this happens, the file has been truncated behind our
1785      *     back since we opened it.  Treat it like a trailing hole.
1786      * H4. offs < 0, errno != ENXIO: we learned nothing
1787      *     Pretend we know nothing at all, i.e. "forget" about D1.
1788      */
1789     offs = lseek(s->fd, start, SEEK_HOLE);
1790     if (offs < 0) {
1791         return -errno;          /* D1 and (H3 or H4) */
1792     }
1793     assert(offs >= start);
1794
1795     if (offs > start) {
1796         /*
1797          * D1 and H2: either in data, next hole at offs, or it was in
1798          * data but is now in a trailing hole.  In the latter case,
1799          * all bets are off.  Treating it as if it there was data all
1800          * the way to EOF is safe, so simply do that.
1801          */
1802         *data = start;
1803         *hole = offs;
1804         return 0;
1805     }
1806
1807     /* D1 and H1 */
1808     return -EBUSY;
1809 #else
1810     return -ENOTSUP;
1811 #endif
1812 }
1813
1814 /*
1815  * Returns the allocation status of the specified sectors.
1816  *
1817  * If 'sector_num' is beyond the end of the disk image the return value is 0
1818  * and 'pnum' is set to 0.
1819  *
1820  * 'pnum' is set to the number of sectors (including and immediately following
1821  * the specified sector) that are known to be in the same
1822  * allocated/unallocated state.
1823  *
1824  * 'nb_sectors' is the max value 'pnum' should be set to.  If nb_sectors goes
1825  * beyond the end of the disk image it will be clamped.
1826  */
1827 static int64_t coroutine_fn raw_co_get_block_status(BlockDriverState *bs,
1828                                                     int64_t sector_num,
1829                                                     int nb_sectors, int *pnum)
1830 {
1831     off_t start, data = 0, hole = 0;
1832     int64_t total_size;
1833     int ret;
1834
1835     ret = fd_open(bs);
1836     if (ret < 0) {
1837         return ret;
1838     }
1839
1840     start = sector_num * BDRV_SECTOR_SIZE;
1841     total_size = bdrv_getlength(bs);
1842     if (total_size < 0) {
1843         return total_size;
1844     } else if (start >= total_size) {
1845         *pnum = 0;
1846         return 0;
1847     } else if (start + nb_sectors * BDRV_SECTOR_SIZE > total_size) {
1848         nb_sectors = DIV_ROUND_UP(total_size - start, BDRV_SECTOR_SIZE);
1849     }
1850
1851     ret = find_allocation(bs, start, &data, &hole);
1852     if (ret == -ENXIO) {
1853         /* Trailing hole */
1854         *pnum = nb_sectors;
1855         ret = BDRV_BLOCK_ZERO;
1856     } else if (ret < 0) {
1857         /* No info available, so pretend there are no holes */
1858         *pnum = nb_sectors;
1859         ret = BDRV_BLOCK_DATA;
1860     } else if (data == start) {
1861         /* On a data extent, compute sectors to the end of the extent,
1862          * possibly including a partial sector at EOF. */
1863         *pnum = MIN(nb_sectors, DIV_ROUND_UP(hole - start, BDRV_SECTOR_SIZE));
1864         ret = BDRV_BLOCK_DATA;
1865     } else {
1866         /* On a hole, compute sectors to the beginning of the next extent.  */
1867         assert(hole == start);
1868         *pnum = MIN(nb_sectors, (data - start) / BDRV_SECTOR_SIZE);
1869         ret = BDRV_BLOCK_ZERO;
1870     }
1871     return ret | BDRV_BLOCK_OFFSET_VALID | start;
1872 }
1873
1874 static coroutine_fn BlockAIOCB *raw_aio_discard(BlockDriverState *bs,
1875     int64_t sector_num, int nb_sectors,
1876     BlockCompletionFunc *cb, void *opaque)
1877 {
1878     BDRVRawState *s = bs->opaque;
1879
1880     return paio_submit(bs, s->fd, sector_num, NULL, nb_sectors,
1881                        cb, opaque, QEMU_AIO_DISCARD);
1882 }
1883
1884 static int coroutine_fn raw_co_write_zeroes(
1885     BlockDriverState *bs, int64_t sector_num,
1886     int nb_sectors, BdrvRequestFlags flags)
1887 {
1888     BDRVRawState *s = bs->opaque;
1889
1890     if (!(flags & BDRV_REQ_MAY_UNMAP)) {
1891         return paio_submit_co(bs, s->fd, sector_num, NULL, nb_sectors,
1892                               QEMU_AIO_WRITE_ZEROES);
1893     } else if (s->discard_zeroes) {
1894         return paio_submit_co(bs, s->fd, sector_num, NULL, nb_sectors,
1895                               QEMU_AIO_DISCARD);
1896     }
1897     return -ENOTSUP;
1898 }
1899
1900 static int raw_get_info(BlockDriverState *bs, BlockDriverInfo *bdi)
1901 {
1902     BDRVRawState *s = bs->opaque;
1903
1904     bdi->unallocated_blocks_are_zero = s->discard_zeroes;
1905     bdi->can_write_zeroes_with_unmap = s->discard_zeroes;
1906     return 0;
1907 }
1908
1909 static QemuOptsList raw_create_opts = {
1910     .name = "raw-create-opts",
1911     .head = QTAILQ_HEAD_INITIALIZER(raw_create_opts.head),
1912     .desc = {
1913         {
1914             .name = BLOCK_OPT_SIZE,
1915             .type = QEMU_OPT_SIZE,
1916             .help = "Virtual disk size"
1917         },
1918         {
1919             .name = BLOCK_OPT_NOCOW,
1920             .type = QEMU_OPT_BOOL,
1921             .help = "Turn off copy-on-write (valid only on btrfs)"
1922         },
1923         {
1924             .name = BLOCK_OPT_PREALLOC,
1925             .type = QEMU_OPT_STRING,
1926             .help = "Preallocation mode (allowed values: off, falloc, full)"
1927         },
1928         { /* end of list */ }
1929     }
1930 };
1931
1932 BlockDriver bdrv_file = {
1933     .format_name = "file",
1934     .protocol_name = "file",
1935     .instance_size = sizeof(BDRVRawState),
1936     .bdrv_needs_filename = true,
1937     .bdrv_probe = NULL, /* no probe for protocols */
1938     .bdrv_parse_filename = raw_parse_filename,
1939     .bdrv_file_open = raw_open,
1940     .bdrv_reopen_prepare = raw_reopen_prepare,
1941     .bdrv_reopen_commit = raw_reopen_commit,
1942     .bdrv_reopen_abort = raw_reopen_abort,
1943     .bdrv_close = raw_close,
1944     .bdrv_create = raw_create,
1945     .bdrv_has_zero_init = bdrv_has_zero_init_1,
1946     .bdrv_co_get_block_status = raw_co_get_block_status,
1947     .bdrv_co_write_zeroes = raw_co_write_zeroes,
1948
1949     .bdrv_aio_readv = raw_aio_readv,
1950     .bdrv_aio_writev = raw_aio_writev,
1951     .bdrv_aio_flush = raw_aio_flush,
1952     .bdrv_aio_discard = raw_aio_discard,
1953     .bdrv_refresh_limits = raw_refresh_limits,
1954     .bdrv_io_plug = raw_aio_plug,
1955     .bdrv_io_unplug = raw_aio_unplug,
1956     .bdrv_flush_io_queue = raw_aio_flush_io_queue,
1957
1958     .bdrv_truncate = raw_truncate,
1959     .bdrv_getlength = raw_getlength,
1960     .bdrv_get_info = raw_get_info,
1961     .bdrv_get_allocated_file_size
1962                         = raw_get_allocated_file_size,
1963
1964     .bdrv_detach_aio_context = raw_detach_aio_context,
1965     .bdrv_attach_aio_context = raw_attach_aio_context,
1966
1967     .create_opts = &raw_create_opts,
1968 };
1969
1970 /***********************************************/
1971 /* host device */
1972
1973 #if defined(__APPLE__) && defined(__MACH__)
1974 static kern_return_t FindEjectableCDMedia( io_iterator_t *mediaIterator );
1975 static kern_return_t GetBSDPath(io_iterator_t mediaIterator, char *bsdPath,
1976                                 CFIndex maxPathSize, int flags);
1977 kern_return_t FindEjectableCDMedia( io_iterator_t *mediaIterator )
1978 {
1979     kern_return_t       kernResult;
1980     mach_port_t     masterPort;
1981     CFMutableDictionaryRef  classesToMatch;
1982
1983     kernResult = IOMasterPort( MACH_PORT_NULL, &masterPort );
1984     if ( KERN_SUCCESS != kernResult ) {
1985         printf( "IOMasterPort returned %d\n", kernResult );
1986     }
1987
1988     classesToMatch = IOServiceMatching( kIOCDMediaClass );
1989     if ( classesToMatch == NULL ) {
1990         printf( "IOServiceMatching returned a NULL dictionary.\n" );
1991     } else {
1992     CFDictionarySetValue( classesToMatch, CFSTR( kIOMediaEjectableKey ), kCFBooleanTrue );
1993     }
1994     kernResult = IOServiceGetMatchingServices( masterPort, classesToMatch, mediaIterator );
1995     if ( KERN_SUCCESS != kernResult )
1996     {
1997         printf( "IOServiceGetMatchingServices returned %d\n", kernResult );
1998     }
1999
2000     return kernResult;
2001 }
2002
2003 kern_return_t GetBSDPath(io_iterator_t mediaIterator, char *bsdPath,
2004                          CFIndex maxPathSize, int flags)
2005 {
2006     io_object_t     nextMedia;
2007     kern_return_t   kernResult = KERN_FAILURE;
2008     *bsdPath = '\0';
2009     nextMedia = IOIteratorNext( mediaIterator );
2010     if ( nextMedia )
2011     {
2012         CFTypeRef   bsdPathAsCFString;
2013     bsdPathAsCFString = IORegistryEntryCreateCFProperty( nextMedia, CFSTR( kIOBSDNameKey ), kCFAllocatorDefault, 0 );
2014         if ( bsdPathAsCFString ) {
2015             size_t devPathLength;
2016             strcpy( bsdPath, _PATH_DEV );
2017             if (flags & BDRV_O_NOCACHE) {
2018                 strcat(bsdPath, "r");
2019             }
2020             devPathLength = strlen( bsdPath );
2021             if ( CFStringGetCString( bsdPathAsCFString, bsdPath + devPathLength, maxPathSize - devPathLength, kCFStringEncodingASCII ) ) {
2022                 kernResult = KERN_SUCCESS;
2023             }
2024             CFRelease( bsdPathAsCFString );
2025         }
2026         IOObjectRelease( nextMedia );
2027     }
2028
2029     return kernResult;
2030 }
2031
2032 #endif
2033
2034 static int hdev_probe_device(const char *filename)
2035 {
2036     struct stat st;
2037
2038     /* allow a dedicated CD-ROM driver to match with a higher priority */
2039     if (strstart(filename, "/dev/cdrom", NULL))
2040         return 50;
2041
2042     if (stat(filename, &st) >= 0 &&
2043             (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode))) {
2044         return 100;
2045     }
2046
2047     return 0;
2048 }
2049
2050 static int check_hdev_writable(BDRVRawState *s)
2051 {
2052 #if defined(BLKROGET)
2053     /* Linux block devices can be configured "read-only" using blockdev(8).
2054      * This is independent of device node permissions and therefore open(2)
2055      * with O_RDWR succeeds.  Actual writes fail with EPERM.
2056      *
2057      * bdrv_open() is supposed to fail if the disk is read-only.  Explicitly
2058      * check for read-only block devices so that Linux block devices behave
2059      * properly.
2060      */
2061     struct stat st;
2062     int readonly = 0;
2063
2064     if (fstat(s->fd, &st)) {
2065         return -errno;
2066     }
2067
2068     if (!S_ISBLK(st.st_mode)) {
2069         return 0;
2070     }
2071
2072     if (ioctl(s->fd, BLKROGET, &readonly) < 0) {
2073         return -errno;
2074     }
2075
2076     if (readonly) {
2077         return -EACCES;
2078     }
2079 #endif /* defined(BLKROGET) */
2080     return 0;
2081 }
2082
2083 static void hdev_parse_filename(const char *filename, QDict *options,
2084                                 Error **errp)
2085 {
2086     /* The prefix is optional, just as for "file". */
2087     strstart(filename, "host_device:", &filename);
2088
2089     qdict_put_obj(options, "filename", QOBJECT(qstring_from_str(filename)));
2090 }
2091
2092 static bool hdev_is_sg(BlockDriverState *bs)
2093 {
2094
2095 #if defined(__linux__)
2096
2097     struct stat st;
2098     struct sg_scsi_id scsiid;
2099     int sg_version;
2100
2101     if (stat(bs->filename, &st) >= 0 && S_ISCHR(st.st_mode) &&
2102         !bdrv_ioctl(bs, SG_GET_VERSION_NUM, &sg_version) &&
2103         !bdrv_ioctl(bs, SG_GET_SCSI_ID, &scsiid)) {
2104         DPRINTF("SG device found: type=%d, version=%d\n",
2105             scsiid.scsi_type, sg_version);
2106         return true;
2107     }
2108
2109 #endif
2110
2111     return false;
2112 }
2113
2114 static int hdev_open(BlockDriverState *bs, QDict *options, int flags,
2115                      Error **errp)
2116 {
2117     BDRVRawState *s = bs->opaque;
2118     Error *local_err = NULL;
2119     int ret;
2120
2121 #if defined(__APPLE__) && defined(__MACH__)
2122     const char *filename = qdict_get_str(options, "filename");
2123
2124     if (strstart(filename, "/dev/cdrom", NULL)) {
2125         kern_return_t kernResult;
2126         io_iterator_t mediaIterator;
2127         char bsdPath[ MAXPATHLEN ];
2128         int fd;
2129
2130         kernResult = FindEjectableCDMedia( &mediaIterator );
2131         kernResult = GetBSDPath(mediaIterator, bsdPath, sizeof(bsdPath),
2132                                 flags);
2133         if ( bsdPath[ 0 ] != '\0' ) {
2134             strcat(bsdPath,"s0");
2135             /* some CDs don't have a partition 0 */
2136             fd = qemu_open(bsdPath, O_RDONLY | O_BINARY | O_LARGEFILE);
2137             if (fd < 0) {
2138                 bsdPath[strlen(bsdPath)-1] = '1';
2139             } else {
2140                 qemu_close(fd);
2141             }
2142             filename = bsdPath;
2143             qdict_put(options, "filename", qstring_from_str(filename));
2144         }
2145
2146         if ( mediaIterator )
2147             IOObjectRelease( mediaIterator );
2148     }
2149 #endif
2150
2151     s->type = FTYPE_FILE;
2152
2153     ret = raw_open_common(bs, options, flags, 0, &local_err);
2154     if (ret < 0) {
2155         if (local_err) {
2156             error_propagate(errp, local_err);
2157         }
2158         return ret;
2159     }
2160
2161     /* Since this does ioctl the device must be already opened */
2162     bs->sg = hdev_is_sg(bs);
2163
2164     if (flags & BDRV_O_RDWR) {
2165         ret = check_hdev_writable(s);
2166         if (ret < 0) {
2167             raw_close(bs);
2168             error_setg_errno(errp, -ret, "The device is not writable");
2169             return ret;
2170         }
2171     }
2172
2173     return ret;
2174 }
2175
2176 #if defined(__linux__)
2177
2178 static BlockAIOCB *hdev_aio_ioctl(BlockDriverState *bs,
2179         unsigned long int req, void *buf,
2180         BlockCompletionFunc *cb, void *opaque)
2181 {
2182     BDRVRawState *s = bs->opaque;
2183     RawPosixAIOData *acb;
2184     ThreadPool *pool;
2185
2186     if (fd_open(bs) < 0)
2187         return NULL;
2188
2189     acb = g_new(RawPosixAIOData, 1);
2190     acb->bs = bs;
2191     acb->aio_type = QEMU_AIO_IOCTL;
2192     acb->aio_fildes = s->fd;
2193     acb->aio_offset = 0;
2194     acb->aio_ioctl_buf = buf;
2195     acb->aio_ioctl_cmd = req;
2196     pool = aio_get_thread_pool(bdrv_get_aio_context(bs));
2197     return thread_pool_submit_aio(pool, aio_worker, acb, cb, opaque);
2198 }
2199 #endif /* linux */
2200
2201 static int fd_open(BlockDriverState *bs)
2202 {
2203     BDRVRawState *s = bs->opaque;
2204
2205     /* this is just to ensure s->fd is sane (its called by io ops) */
2206     if (s->fd >= 0)
2207         return 0;
2208     return -EIO;
2209 }
2210
2211 static coroutine_fn BlockAIOCB *hdev_aio_discard(BlockDriverState *bs,
2212     int64_t sector_num, int nb_sectors,
2213     BlockCompletionFunc *cb, void *opaque)
2214 {
2215     BDRVRawState *s = bs->opaque;
2216
2217     if (fd_open(bs) < 0) {
2218         return NULL;
2219     }
2220     return paio_submit(bs, s->fd, sector_num, NULL, nb_sectors,
2221                        cb, opaque, QEMU_AIO_DISCARD|QEMU_AIO_BLKDEV);
2222 }
2223
2224 static coroutine_fn int hdev_co_write_zeroes(BlockDriverState *bs,
2225     int64_t sector_num, int nb_sectors, BdrvRequestFlags flags)
2226 {
2227     BDRVRawState *s = bs->opaque;
2228     int rc;
2229
2230     rc = fd_open(bs);
2231     if (rc < 0) {
2232         return rc;
2233     }
2234     if (!(flags & BDRV_REQ_MAY_UNMAP)) {
2235         return paio_submit_co(bs, s->fd, sector_num, NULL, nb_sectors,
2236                               QEMU_AIO_WRITE_ZEROES|QEMU_AIO_BLKDEV);
2237     } else if (s->discard_zeroes) {
2238         return paio_submit_co(bs, s->fd, sector_num, NULL, nb_sectors,
2239                               QEMU_AIO_DISCARD|QEMU_AIO_BLKDEV);
2240     }
2241     return -ENOTSUP;
2242 }
2243
2244 static int hdev_create(const char *filename, QemuOpts *opts,
2245                        Error **errp)
2246 {
2247     int fd;
2248     int ret = 0;
2249     struct stat stat_buf;
2250     int64_t total_size = 0;
2251     bool has_prefix;
2252
2253     /* This function is used by both protocol block drivers and therefore either
2254      * of these prefixes may be given.
2255      * The return value has to be stored somewhere, otherwise this is an error
2256      * due to -Werror=unused-value. */
2257     has_prefix =
2258         strstart(filename, "host_device:", &filename) ||
2259         strstart(filename, "host_cdrom:" , &filename);
2260
2261     (void)has_prefix;
2262
2263     ret = raw_normalize_devicepath(&filename);
2264     if (ret < 0) {
2265         error_setg_errno(errp, -ret, "Could not normalize device path");
2266         return ret;
2267     }
2268
2269     /* Read out options */
2270     total_size = ROUND_UP(qemu_opt_get_size_del(opts, BLOCK_OPT_SIZE, 0),
2271                           BDRV_SECTOR_SIZE);
2272
2273     fd = qemu_open(filename, O_WRONLY | O_BINARY);
2274     if (fd < 0) {
2275         ret = -errno;
2276         error_setg_errno(errp, -ret, "Could not open device");
2277         return ret;
2278     }
2279
2280     if (fstat(fd, &stat_buf) < 0) {
2281         ret = -errno;
2282         error_setg_errno(errp, -ret, "Could not stat device");
2283     } else if (!S_ISBLK(stat_buf.st_mode) && !S_ISCHR(stat_buf.st_mode)) {
2284         error_setg(errp,
2285                    "The given file is neither a block nor a character device");
2286         ret = -ENODEV;
2287     } else if (lseek(fd, 0, SEEK_END) < total_size) {
2288         error_setg(errp, "Device is too small");
2289         ret = -ENOSPC;
2290     }
2291
2292     qemu_close(fd);
2293     return ret;
2294 }
2295
2296 static BlockDriver bdrv_host_device = {
2297     .format_name        = "host_device",
2298     .protocol_name        = "host_device",
2299     .instance_size      = sizeof(BDRVRawState),
2300     .bdrv_needs_filename = true,
2301     .bdrv_probe_device  = hdev_probe_device,
2302     .bdrv_parse_filename = hdev_parse_filename,
2303     .bdrv_file_open     = hdev_open,
2304     .bdrv_close         = raw_close,
2305     .bdrv_reopen_prepare = raw_reopen_prepare,
2306     .bdrv_reopen_commit  = raw_reopen_commit,
2307     .bdrv_reopen_abort   = raw_reopen_abort,
2308     .bdrv_create         = hdev_create,
2309     .create_opts         = &raw_create_opts,
2310     .bdrv_co_write_zeroes = hdev_co_write_zeroes,
2311
2312     .bdrv_aio_readv     = raw_aio_readv,
2313     .bdrv_aio_writev    = raw_aio_writev,
2314     .bdrv_aio_flush     = raw_aio_flush,
2315     .bdrv_aio_discard   = hdev_aio_discard,
2316     .bdrv_refresh_limits = raw_refresh_limits,
2317     .bdrv_io_plug = raw_aio_plug,
2318     .bdrv_io_unplug = raw_aio_unplug,
2319     .bdrv_flush_io_queue = raw_aio_flush_io_queue,
2320
2321     .bdrv_truncate      = raw_truncate,
2322     .bdrv_getlength     = raw_getlength,
2323     .bdrv_get_info = raw_get_info,
2324     .bdrv_get_allocated_file_size
2325                         = raw_get_allocated_file_size,
2326     .bdrv_probe_blocksizes = hdev_probe_blocksizes,
2327     .bdrv_probe_geometry = hdev_probe_geometry,
2328
2329     .bdrv_detach_aio_context = raw_detach_aio_context,
2330     .bdrv_attach_aio_context = raw_attach_aio_context,
2331
2332     /* generic scsi device */
2333 #ifdef __linux__
2334     .bdrv_aio_ioctl     = hdev_aio_ioctl,
2335 #endif
2336 };
2337
2338 #if defined(__linux__) || defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
2339 static void cdrom_parse_filename(const char *filename, QDict *options,
2340                                  Error **errp)
2341 {
2342     /* The prefix is optional, just as for "file". */
2343     strstart(filename, "host_cdrom:", &filename);
2344
2345     qdict_put_obj(options, "filename", QOBJECT(qstring_from_str(filename)));
2346 }
2347 #endif
2348
2349 #ifdef __linux__
2350 static int cdrom_open(BlockDriverState *bs, QDict *options, int flags,
2351                       Error **errp)
2352 {
2353     BDRVRawState *s = bs->opaque;
2354     Error *local_err = NULL;
2355     int ret;
2356
2357     s->type = FTYPE_CD;
2358
2359     /* open will not fail even if no CD is inserted, so add O_NONBLOCK */
2360     ret = raw_open_common(bs, options, flags, O_NONBLOCK, &local_err);
2361     if (local_err) {
2362         error_propagate(errp, local_err);
2363     }
2364     return ret;
2365 }
2366
2367 static int cdrom_probe_device(const char *filename)
2368 {
2369     int fd, ret;
2370     int prio = 0;
2371     struct stat st;
2372
2373     fd = qemu_open(filename, O_RDONLY | O_NONBLOCK);
2374     if (fd < 0) {
2375         goto out;
2376     }
2377     ret = fstat(fd, &st);
2378     if (ret == -1 || !S_ISBLK(st.st_mode)) {
2379         goto outc;
2380     }
2381
2382     /* Attempt to detect via a CDROM specific ioctl */
2383     ret = ioctl(fd, CDROM_DRIVE_STATUS, CDSL_CURRENT);
2384     if (ret >= 0)
2385         prio = 100;
2386
2387 outc:
2388     qemu_close(fd);
2389 out:
2390     return prio;
2391 }
2392
2393 static bool cdrom_is_inserted(BlockDriverState *bs)
2394 {
2395     BDRVRawState *s = bs->opaque;
2396     int ret;
2397
2398     ret = ioctl(s->fd, CDROM_DRIVE_STATUS, CDSL_CURRENT);
2399     return ret == CDS_DISC_OK;
2400 }
2401
2402 static void cdrom_eject(BlockDriverState *bs, bool eject_flag)
2403 {
2404     BDRVRawState *s = bs->opaque;
2405
2406     if (eject_flag) {
2407         if (ioctl(s->fd, CDROMEJECT, NULL) < 0)
2408             perror("CDROMEJECT");
2409     } else {
2410         if (ioctl(s->fd, CDROMCLOSETRAY, NULL) < 0)
2411             perror("CDROMEJECT");
2412     }
2413 }
2414
2415 static void cdrom_lock_medium(BlockDriverState *bs, bool locked)
2416 {
2417     BDRVRawState *s = bs->opaque;
2418
2419     if (ioctl(s->fd, CDROM_LOCKDOOR, locked) < 0) {
2420         /*
2421          * Note: an error can happen if the distribution automatically
2422          * mounts the CD-ROM
2423          */
2424         /* perror("CDROM_LOCKDOOR"); */
2425     }
2426 }
2427
2428 static BlockDriver bdrv_host_cdrom = {
2429     .format_name        = "host_cdrom",
2430     .protocol_name      = "host_cdrom",
2431     .instance_size      = sizeof(BDRVRawState),
2432     .bdrv_needs_filename = true,
2433     .bdrv_probe_device  = cdrom_probe_device,
2434     .bdrv_parse_filename = cdrom_parse_filename,
2435     .bdrv_file_open     = cdrom_open,
2436     .bdrv_close         = raw_close,
2437     .bdrv_reopen_prepare = raw_reopen_prepare,
2438     .bdrv_reopen_commit  = raw_reopen_commit,
2439     .bdrv_reopen_abort   = raw_reopen_abort,
2440     .bdrv_create         = hdev_create,
2441     .create_opts         = &raw_create_opts,
2442
2443     .bdrv_aio_readv     = raw_aio_readv,
2444     .bdrv_aio_writev    = raw_aio_writev,
2445     .bdrv_aio_flush     = raw_aio_flush,
2446     .bdrv_refresh_limits = raw_refresh_limits,
2447     .bdrv_io_plug = raw_aio_plug,
2448     .bdrv_io_unplug = raw_aio_unplug,
2449     .bdrv_flush_io_queue = raw_aio_flush_io_queue,
2450
2451     .bdrv_truncate      = raw_truncate,
2452     .bdrv_getlength      = raw_getlength,
2453     .has_variable_length = true,
2454     .bdrv_get_allocated_file_size
2455                         = raw_get_allocated_file_size,
2456
2457     .bdrv_detach_aio_context = raw_detach_aio_context,
2458     .bdrv_attach_aio_context = raw_attach_aio_context,
2459
2460     /* removable device support */
2461     .bdrv_is_inserted   = cdrom_is_inserted,
2462     .bdrv_eject         = cdrom_eject,
2463     .bdrv_lock_medium   = cdrom_lock_medium,
2464
2465     /* generic scsi device */
2466     .bdrv_aio_ioctl     = hdev_aio_ioctl,
2467 };
2468 #endif /* __linux__ */
2469
2470 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
2471 static int cdrom_open(BlockDriverState *bs, QDict *options, int flags,
2472                       Error **errp)
2473 {
2474     BDRVRawState *s = bs->opaque;
2475     Error *local_err = NULL;
2476     int ret;
2477
2478     s->type = FTYPE_CD;
2479
2480     ret = raw_open_common(bs, options, flags, 0, &local_err);
2481     if (ret) {
2482         if (local_err) {
2483             error_propagate(errp, local_err);
2484         }
2485         return ret;
2486     }
2487
2488     /* make sure the door isn't locked at this time */
2489     ioctl(s->fd, CDIOCALLOW);
2490     return 0;
2491 }
2492
2493 static int cdrom_probe_device(const char *filename)
2494 {
2495     if (strstart(filename, "/dev/cd", NULL) ||
2496             strstart(filename, "/dev/acd", NULL))
2497         return 100;
2498     return 0;
2499 }
2500
2501 static int cdrom_reopen(BlockDriverState *bs)
2502 {
2503     BDRVRawState *s = bs->opaque;
2504     int fd;
2505
2506     /*
2507      * Force reread of possibly changed/newly loaded disc,
2508      * FreeBSD seems to not notice sometimes...
2509      */
2510     if (s->fd >= 0)
2511         qemu_close(s->fd);
2512     fd = qemu_open(bs->filename, s->open_flags, 0644);
2513     if (fd < 0) {
2514         s->fd = -1;
2515         return -EIO;
2516     }
2517     s->fd = fd;
2518
2519     /* make sure the door isn't locked at this time */
2520     ioctl(s->fd, CDIOCALLOW);
2521     return 0;
2522 }
2523
2524 static bool cdrom_is_inserted(BlockDriverState *bs)
2525 {
2526     return raw_getlength(bs) > 0;
2527 }
2528
2529 static void cdrom_eject(BlockDriverState *bs, bool eject_flag)
2530 {
2531     BDRVRawState *s = bs->opaque;
2532
2533     if (s->fd < 0)
2534         return;
2535
2536     (void) ioctl(s->fd, CDIOCALLOW);
2537
2538     if (eject_flag) {
2539         if (ioctl(s->fd, CDIOCEJECT) < 0)
2540             perror("CDIOCEJECT");
2541     } else {
2542         if (ioctl(s->fd, CDIOCCLOSE) < 0)
2543             perror("CDIOCCLOSE");
2544     }
2545
2546     cdrom_reopen(bs);
2547 }
2548
2549 static void cdrom_lock_medium(BlockDriverState *bs, bool locked)
2550 {
2551     BDRVRawState *s = bs->opaque;
2552
2553     if (s->fd < 0)
2554         return;
2555     if (ioctl(s->fd, (locked ? CDIOCPREVENT : CDIOCALLOW)) < 0) {
2556         /*
2557          * Note: an error can happen if the distribution automatically
2558          * mounts the CD-ROM
2559          */
2560         /* perror("CDROM_LOCKDOOR"); */
2561     }
2562 }
2563
2564 static BlockDriver bdrv_host_cdrom = {
2565     .format_name        = "host_cdrom",
2566     .protocol_name      = "host_cdrom",
2567     .instance_size      = sizeof(BDRVRawState),
2568     .bdrv_needs_filename = true,
2569     .bdrv_probe_device  = cdrom_probe_device,
2570     .bdrv_parse_filename = cdrom_parse_filename,
2571     .bdrv_file_open     = cdrom_open,
2572     .bdrv_close         = raw_close,
2573     .bdrv_reopen_prepare = raw_reopen_prepare,
2574     .bdrv_reopen_commit  = raw_reopen_commit,
2575     .bdrv_reopen_abort   = raw_reopen_abort,
2576     .bdrv_create        = hdev_create,
2577     .create_opts        = &raw_create_opts,
2578
2579     .bdrv_aio_readv     = raw_aio_readv,
2580     .bdrv_aio_writev    = raw_aio_writev,
2581     .bdrv_aio_flush     = raw_aio_flush,
2582     .bdrv_refresh_limits = raw_refresh_limits,
2583     .bdrv_io_plug = raw_aio_plug,
2584     .bdrv_io_unplug = raw_aio_unplug,
2585     .bdrv_flush_io_queue = raw_aio_flush_io_queue,
2586
2587     .bdrv_truncate      = raw_truncate,
2588     .bdrv_getlength      = raw_getlength,
2589     .has_variable_length = true,
2590     .bdrv_get_allocated_file_size
2591                         = raw_get_allocated_file_size,
2592
2593     .bdrv_detach_aio_context = raw_detach_aio_context,
2594     .bdrv_attach_aio_context = raw_attach_aio_context,
2595
2596     /* removable device support */
2597     .bdrv_is_inserted   = cdrom_is_inserted,
2598     .bdrv_eject         = cdrom_eject,
2599     .bdrv_lock_medium   = cdrom_lock_medium,
2600 };
2601 #endif /* __FreeBSD__ */
2602
2603 static void bdrv_file_init(void)
2604 {
2605     /*
2606      * Register all the drivers.  Note that order is important, the driver
2607      * registered last will get probed first.
2608      */
2609     bdrv_register(&bdrv_file);
2610     bdrv_register(&bdrv_host_device);
2611 #ifdef __linux__
2612     bdrv_register(&bdrv_host_cdrom);
2613 #endif
2614 #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
2615     bdrv_register(&bdrv_host_cdrom);
2616 #endif
2617 }
2618
2619 block_init(bdrv_file_init);