block/raw-posix.c

   1 /*
   2  * Block driver for RAW files (posix)
   3  *
   4  * Copyright (c) 2006 Fabrice Bellard
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a copy
   7  * of this software and associated documentation files (the "Software"), to deal
   8  * in the Software without restriction, including without limitation the rights
   9  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
  10  * copies of the Software, and to permit persons to whom the Software is
  11  * furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in
  14  * all copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
  19  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  22  * THE SOFTWARE.
  23  */
  24 #include "qemu/osdep.h"
  25 #include "qapi/error.h"
  26 #include "qemu/cutils.h"
  27 #include "qemu/error-report.h"
  28 #include "qemu/timer.h"
  29 #include "qemu/log.h"
  30 #include "block/block_int.h"
  31 #include "qemu/module.h"
  32 #include "trace.h"
  33 #include "block/thread-pool.h"
  34 #include "qemu/iov.h"
  35 #include "block/raw-aio.h"
  36 #include "qapi/util.h"
  37 #include "qapi/qmp/qstring.h"
  38
  39 #if defined(__APPLE__) && (__MACH__)
  40 #include <paths.h>
  41 #include <sys/param.h>
  42 #include <IOKit/IOKitLib.h>
  43 #include <IOKit/IOBSD.h>
  44 #include <IOKit/storage/IOMediaBSDClient.h>
  45 #include <IOKit/storage/IOMedia.h>
  46 #include <IOKit/storage/IOCDMedia.h>
  47 //#include <IOKit/storage/IOCDTypes.h>
  48 #include <IOKit/storage/IODVDMedia.h>
  49 #include <CoreFoundation/CoreFoundation.h>
  50 #endif
  51
  52 #ifdef __sun__
  53 #define _POSIX_PTHREAD_SEMANTICS 1
  54 #include <sys/dkio.h>
  55 #endif
  56 #ifdef __linux__
  57 #include <sys/ioctl.h>
  58 #include <sys/param.h>
  59 #include <linux/cdrom.h>
  60 #include <linux/fd.h>
  61 #include <linux/fs.h>
  62 #include <linux/hdreg.h>
  63 #include <scsi/sg.h>
  64 #ifdef __s390__
  65 #include <asm/dasd.h>
  66 #endif
  67 #ifndef FS_NOCOW_FL
  68 #define FS_NOCOW_FL                     0x00800000 /* Do not cow file */
  69 #endif
  70 #endif
  71 #if defined(CONFIG_FALLOCATE_PUNCH_HOLE) || defined(CONFIG_FALLOCATE_ZERO_RANGE)
  72 #include <linux/falloc.h>
  73 #endif
  74 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
  75 #include <sys/disk.h>
  76 #include <sys/cdio.h>
  77 #endif
  78
  79 #ifdef __OpenBSD__
  80 #include <sys/ioctl.h>
  81 #include <sys/disklabel.h>
  82 #include <sys/dkio.h>
  83 #endif
  84
  85 #ifdef __NetBSD__
  86 #include <sys/ioctl.h>
  87 #include <sys/disklabel.h>
  88 #include <sys/dkio.h>
  89 #include <sys/disk.h>
  90 #endif
  91
  92 #ifdef __DragonFly__
  93 #include <sys/ioctl.h>
  94 #include <sys/diskslice.h>
  95 #endif
  96
  97 #ifdef CONFIG_XFS
  98 #include <xfs/xfs.h>
  99 #endif
 100
 101 //#define DEBUG_BLOCK
 102
 103 #ifdef DEBUG_BLOCK
 104 # define DEBUG_BLOCK_PRINT 1
 105 #else
 106 # define DEBUG_BLOCK_PRINT 0
 107 #endif
 108 #define DPRINTF(fmt, ...) \
 109 do { \
 110     if (DEBUG_BLOCK_PRINT) { \
 111         printf(fmt, ## __VA_ARGS__); \
 112     } \
 113 } while (0)
 114
 115 /* OS X does not have O_DSYNC */
 116 #ifndef O_DSYNC
 117 #ifdef O_SYNC
 118 #define O_DSYNC O_SYNC
 119 #elif defined(O_FSYNC)
 120 #define O_DSYNC O_FSYNC
 121 #endif
 122 #endif
 123
 124 /* Approximate O_DIRECT with O_DSYNC if O_DIRECT isn't available */
 125 #ifndef O_DIRECT
 126 #define O_DIRECT O_DSYNC
 127 #endif
 128
 129 #define FTYPE_FILE   0
 130 #define FTYPE_CD     1
 131
 132 #define MAX_BLOCKSIZE   4096
 133
 134 typedef struct BDRVRawState {
 135     int fd;
 136     int type;
 137     int open_flags;
 138     size_t buf_align;
 139
 140 #ifdef CONFIG_XFS
 141     bool is_xfs:1;
 142 #endif
 143     bool has_discard:1;
 144     bool has_write_zeroes:1;
 145     bool discard_zeroes:1;
 146     bool use_linux_aio:1;
 147     bool has_fallocate;
 148     bool needs_alignment;
 149 } BDRVRawState;
 150
 151 typedef struct BDRVRawReopenState {
 152     int fd;
 153     int open_flags;
 154 } BDRVRawReopenState;
 155
 156 static int fd_open(BlockDriverState *bs);
 157 static int64_t raw_getlength(BlockDriverState *bs);
 158
 159 typedef struct RawPosixAIOData {
 160     BlockDriverState *bs;
 161     int aio_fildes;
 162     union {
 163         struct iovec *aio_iov;
 164         void *aio_ioctl_buf;
 165     };
 166     int aio_niov;
 167     uint64_t aio_nbytes;
 168 #define aio_ioctl_cmd   aio_nbytes /* for QEMU_AIO_IOCTL */
 169     off_t aio_offset;
 170     int aio_type;
 171 } RawPosixAIOData;
 172
 173 #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
 174 static int cdrom_reopen(BlockDriverState *bs);
 175 #endif
 176
 177 #if defined(__NetBSD__)
 178 static int raw_normalize_devicepath(const char **filename)
 179 {
 180     static char namebuf[PATH_MAX];
 181     const char *dp, *fname;
 182     struct stat sb;
 183
 184     fname = *filename;
 185     dp = strrchr(fname, '/');
 186     if (lstat(fname, &sb) < 0) {
 187         fprintf(stderr, "%s: stat failed: %s\n",
 188             fname, strerror(errno));
 189         return -errno;
 190     }
 191
 192     if (!S_ISBLK(sb.st_mode)) {
 193         return 0;
 194     }
 195
 196     if (dp == NULL) {
 197         snprintf(namebuf, PATH_MAX, "r%s", fname);
 198     } else {
 199         snprintf(namebuf, PATH_MAX, "%.*s/r%s",
 200             (int)(dp - fname), fname, dp + 1);
 201     }
 202     fprintf(stderr, "%s is a block device", fname);
 203     *filename = namebuf;
 204     fprintf(stderr, ", using %s\n", *filename);
 205
 206     return 0;
 207 }
 208 #else
 209 static int raw_normalize_devicepath(const char **filename)
 210 {
 211     return 0;
 212 }
 213 #endif
 214
 215 /*
 216  * Get logical block size via ioctl. On success store it in @sector_size_p.
 217  */
 218 static int probe_logical_blocksize(int fd, unsigned int *sector_size_p)
 219 {
 220     unsigned int sector_size;
 221     bool success = false;
 222
 223     errno = ENOTSUP;
 224
 225     /* Try a few ioctls to get the right size */
 226 #ifdef BLKSSZGET
 227     if (ioctl(fd, BLKSSZGET, &sector_size) >= 0) {
 228         *sector_size_p = sector_size;
 229         success = true;
 230     }
 231 #endif
 232 #ifdef DKIOCGETBLOCKSIZE
 233     if (ioctl(fd, DKIOCGETBLOCKSIZE, &sector_size) >= 0) {
 234         *sector_size_p = sector_size;
 235         success = true;
 236     }
 237 #endif
 238 #ifdef DIOCGSECTORSIZE
 239     if (ioctl(fd, DIOCGSECTORSIZE, &sector_size) >= 0) {
 240         *sector_size_p = sector_size;
 241         success = true;
 242     }
 243 #endif
 244
 245     return success ? 0 : -errno;
 246 }
 247
 248 /**
 249  * Get physical block size of @fd.
 250  * On success, store it in @blk_size and return 0.
 251  * On failure, return -errno.
 252  */
 253 static int probe_physical_blocksize(int fd, unsigned int *blk_size)
 254 {
 255 #ifdef BLKPBSZGET
 256     if (ioctl(fd, BLKPBSZGET, blk_size) < 0) {
 257         return -errno;
 258     }
 259     return 0;
 260 #else
 261     return -ENOTSUP;
 262 #endif
 263 }
 264
 265 /* Check if read is allowed with given memory buffer and length.
 266  *
 267  * This function is used to check O_DIRECT memory buffer and request alignment.
 268  */
 269 static bool raw_is_io_aligned(int fd, void *buf, size_t len)
 270 {
 271     ssize_t ret = pread(fd, buf, len, 0);
 272
 273     if (ret >= 0) {
 274         return true;
 275     }
 276
 277 #ifdef __linux__
 278     /* The Linux kernel returns EINVAL for misaligned O_DIRECT reads.  Ignore
 279      * other errors (e.g. real I/O error), which could happen on a failed
 280      * drive, since we only care about probing alignment.
 281      */
 282     if (errno != EINVAL) {
 283         return true;
 284     }
 285 #endif
 286
 287     return false;
 288 }
 289
 290 static void raw_probe_alignment(BlockDriverState *bs, int fd, Error **errp)
 291 {
 292     BDRVRawState *s = bs->opaque;
 293     char *buf;
 294     size_t max_align = MAX(MAX_BLOCKSIZE, getpagesize());
 295
 296     /* For SCSI generic devices the alignment is not really used.
 297        With buffered I/O, we don't have any restrictions. */
 298     if (bdrv_is_sg(bs) || !s->needs_alignment) {
 299         bs->bl.request_alignment = 1;
 300         s->buf_align = 1;
 301         return;
 302     }
 303
 304     bs->bl.request_alignment = 0;
 305     s->buf_align = 0;
 306     /* Let's try to use the logical blocksize for the alignment. */
 307     if (probe_logical_blocksize(fd, &bs->bl.request_alignment) < 0) {
 308         bs->bl.request_alignment = 0;
 309     }
 310 #ifdef CONFIG_XFS
 311     if (s->is_xfs) {
 312         struct dioattr da;
 313         if (xfsctl(NULL, fd, XFS_IOC_DIOINFO, &da) >= 0) {
 314             bs->bl.request_alignment = da.d_miniosz;
 315             /* The kernel returns wrong information for d_mem */
 316             /* s->buf_align = da.d_mem; */
 317         }
 318     }
 319 #endif
 320
 321     /* If we could not get the sizes so far, we can only guess them */
 322     if (!s->buf_align) {
 323         size_t align;
 324         buf = qemu_memalign(max_align, 2 * max_align);
 325         for (align = 512; align <= max_align; align <<= 1) {
 326             if (raw_is_io_aligned(fd, buf + align, max_align)) {
 327                 s->buf_align = align;
 328                 break;
 329             }
 330         }
 331         qemu_vfree(buf);
 332     }
 333
 334     if (!bs->bl.request_alignment) {
 335         size_t align;
 336         buf = qemu_memalign(s->buf_align, max_align);
 337         for (align = 512; align <= max_align; align <<= 1) {
 338             if (raw_is_io_aligned(fd, buf, align)) {
 339                 bs->bl.request_alignment = align;
 340                 break;
 341             }
 342         }
 343         qemu_vfree(buf);
 344     }
 345
 346     if (!s->buf_align || !bs->bl.request_alignment) {
 347         error_setg(errp, "Could not find working O_DIRECT alignment");
 348         error_append_hint(errp, "Try cache.direct=off\n");
 349     }
 350 }
 351
 352 static void raw_parse_flags(int bdrv_flags, int *open_flags)
 353 {
 354     assert(open_flags != NULL);
 355
 356     *open_flags |= O_BINARY;
 357     *open_flags &= ~O_ACCMODE;
 358     if (bdrv_flags & BDRV_O_RDWR) {
 359         *open_flags |= O_RDWR;
 360     } else {
 361         *open_flags |= O_RDONLY;
 362     }
 363
 364     /* Use O_DSYNC for write-through caching, no flags for write-back caching,
 365      * and O_DIRECT for no caching. */
 366     if ((bdrv_flags & BDRV_O_NOCACHE)) {
 367         *open_flags |= O_DIRECT;
 368     }
 369 }
 370
 371 static void raw_parse_filename(const char *filename, QDict *options,
 372                                Error **errp)
 373 {
 374     /* The filename does not have to be prefixed by the protocol name, since
 375      * "file" is the default protocol; therefore, the return value of this
 376      * function call can be ignored. */
 377     strstart(filename, "file:", &filename);
 378
 379     qdict_put_obj(options, "filename", QOBJECT(qstring_from_str(filename)));
 380 }
 381
 382 static QemuOptsList raw_runtime_opts = {
 383     .name = "raw",
 384     .head = QTAILQ_HEAD_INITIALIZER(raw_runtime_opts.head),
 385     .desc = {
 386         {
 387             .name = "filename",
 388             .type = QEMU_OPT_STRING,
 389             .help = "File name of the image",
 390         },
 391         {
 392             .name = "aio",
 393             .type = QEMU_OPT_STRING,
 394             .help = "host AIO implementation (threads, native)",
 395         },
 396         { /* end of list */ }
 397     },
 398 };
 399
 400 static int raw_open_common(BlockDriverState *bs, QDict *options,
 401                            int bdrv_flags, int open_flags, Error **errp)
 402 {
 403     BDRVRawState *s = bs->opaque;
 404     QemuOpts *opts;
 405     Error *local_err = NULL;
 406     const char *filename = NULL;
 407     BlockdevAioOptions aio, aio_default;
 408     int fd, ret;
 409     struct stat st;
 410
 411     opts = qemu_opts_create(&raw_runtime_opts, NULL, 0, &error_abort);
 412     qemu_opts_absorb_qdict(opts, options, &local_err);
 413     if (local_err) {
 414         error_propagate(errp, local_err);
 415         ret = -EINVAL;
 416         goto fail;
 417     }
 418
 419     filename = qemu_opt_get(opts, "filename");
 420
 421     ret = raw_normalize_devicepath(&filename);
 422     if (ret != 0) {
 423         error_setg_errno(errp, -ret, "Could not normalize device path");
 424         goto fail;
 425     }
 426
 427     aio_default = (bdrv_flags & BDRV_O_NATIVE_AIO)
 428                   ? BLOCKDEV_AIO_OPTIONS_NATIVE
 429                   : BLOCKDEV_AIO_OPTIONS_THREADS;
 430     aio = qapi_enum_parse(BlockdevAioOptions_lookup, qemu_opt_get(opts, "aio"),
 431                           BLOCKDEV_AIO_OPTIONS__MAX, aio_default, &local_err);
 432     if (local_err) {
 433         error_propagate(errp, local_err);
 434         ret = -EINVAL;
 435         goto fail;
 436     }
 437     s->use_linux_aio = (aio == BLOCKDEV_AIO_OPTIONS_NATIVE);
 438
 439     s->open_flags = open_flags;
 440     raw_parse_flags(bdrv_flags, &s->open_flags);
 441
 442     s->fd = -1;
 443     fd = qemu_open(filename, s->open_flags, 0644);
 444     if (fd < 0) {
 445         ret = -errno;
 446         if (ret == -EROFS) {
 447             ret = -EACCES;
 448         }
 449         goto fail;
 450     }
 451     s->fd = fd;
 452
 453 #ifdef CONFIG_LINUX_AIO
 454      /* Currently Linux does AIO only for files opened with O_DIRECT */
 455     if (s->use_linux_aio && !(s->open_flags & O_DIRECT)) {
 456         error_setg(errp, "aio=native was specified, but it requires "
 457                          "cache.direct=on, which was not specified.");
 458         ret = -EINVAL;
 459         goto fail;
 460     }
 461 #else
 462     if (s->use_linux_aio) {
 463         error_setg(errp, "aio=native was specified, but is not supported "
 464                          "in this build.");
 465         ret = -EINVAL;
 466         goto fail;
 467     }
 468 #endif /* !defined(CONFIG_LINUX_AIO) */
 469
 470     s->has_discard = true;
 471     s->has_write_zeroes = true;
 472     bs->supported_zero_flags = BDRV_REQ_MAY_UNMAP;
 473     if ((bs->open_flags & BDRV_O_NOCACHE) != 0) {
 474         s->needs_alignment = true;
 475     }
 476
 477     if (fstat(s->fd, &st) < 0) {
 478         ret = -errno;
 479         error_setg_errno(errp, errno, "Could not stat file");
 480         goto fail;
 481     }
 482     if (S_ISREG(st.st_mode)) {
 483         s->discard_zeroes = true;
 484         s->has_fallocate = true;
 485     }
 486     if (S_ISBLK(st.st_mode)) {
 487 #ifdef BLKDISCARDZEROES
 488         unsigned int arg;
 489         if (ioctl(s->fd, BLKDISCARDZEROES, &arg) == 0 && arg) {
 490             s->discard_zeroes = true;
 491         }
 492 #endif
 493 #ifdef __linux__
 494         /* On Linux 3.10, BLKDISCARD leaves stale data in the page cache.  Do
 495          * not rely on the contents of discarded blocks unless using O_DIRECT.
 496          * Same for BLKZEROOUT.
 497          */
 498         if (!(bs->open_flags & BDRV_O_NOCACHE)) {
 499             s->discard_zeroes = false;
 500             s->has_write_zeroes = false;
 501         }
 502 #endif
 503     }
 504 #ifdef __FreeBSD__
 505     if (S_ISCHR(st.st_mode)) {
 506         /*
 507          * The file is a char device (disk), which on FreeBSD isn't behind
 508          * a pager, so force all requests to be aligned. This is needed
 509          * so QEMU makes sure all IO operations on the device are aligned
 510          * to sector size, or else FreeBSD will reject them with EINVAL.
 511          */
 512         s->needs_alignment = true;
 513     }
 514 #endif
 515
 516 #ifdef CONFIG_XFS
 517     if (platform_test_xfs_fd(s->fd)) {
 518         s->is_xfs = true;
 519     }
 520 #endif
 521
 522     ret = 0;
 523 fail:
 524     if (filename && (bdrv_flags & BDRV_O_TEMPORARY)) {
 525         unlink(filename);
 526     }
 527     qemu_opts_del(opts);
 528     return ret;
 529 }
 530
 531 static int raw_open(BlockDriverState *bs, QDict *options, int flags,
 532                     Error **errp)
 533 {
 534     BDRVRawState *s = bs->opaque;
 535
 536     s->type = FTYPE_FILE;
 537     return raw_open_common(bs, options, flags, 0, errp);
 538 }
 539
 540 static int raw_reopen_prepare(BDRVReopenState *state,
 541                               BlockReopenQueue *queue, Error **errp)
 542 {
 543     BDRVRawState *s;
 544     BDRVRawReopenState *raw_s;
 545     int ret = 0;
 546     Error *local_err = NULL;
 547
 548     assert(state != NULL);
 549     assert(state->bs != NULL);
 550
 551     s = state->bs->opaque;
 552
 553     state->opaque = g_new0(BDRVRawReopenState, 1);
 554     raw_s = state->opaque;
 555
 556     if (s->type == FTYPE_CD) {
 557         raw_s->open_flags |= O_NONBLOCK;
 558     }
 559
 560     raw_parse_flags(state->flags, &raw_s->open_flags);
 561
 562     raw_s->fd = -1;
 563
 564     int fcntl_flags = O_APPEND | O_NONBLOCK;
 565 #ifdef O_NOATIME
 566     fcntl_flags |= O_NOATIME;
 567 #endif
 568
 569 #ifdef O_ASYNC
 570     /* Not all operating systems have O_ASYNC, and those that don't
 571      * will not let us track the state into raw_s->open_flags (typically
 572      * you achieve the same effect with an ioctl, for example I_SETSIG
 573      * on Solaris). But we do not use O_ASYNC, so that's fine.
 574      */
 575     assert((s->open_flags & O_ASYNC) == 0);
 576 #endif
 577
 578     if ((raw_s->open_flags & ~fcntl_flags) == (s->open_flags & ~fcntl_flags)) {
 579         /* dup the original fd */
 580         raw_s->fd = qemu_dup(s->fd);
 581         if (raw_s->fd >= 0) {
 582             ret = fcntl_setfl(raw_s->fd, raw_s->open_flags);
 583             if (ret) {
 584                 qemu_close(raw_s->fd);
 585                 raw_s->fd = -1;
 586             }
 587         }
 588     }
 589
 590     /* If we cannot use fcntl, or fcntl failed, fall back to qemu_open() */
 591     if (raw_s->fd == -1) {
 592         const char *normalized_filename = state->bs->filename;
 593         ret = raw_normalize_devicepath(&normalized_filename);
 594         if (ret < 0) {
 595             error_setg_errno(errp, -ret, "Could not normalize device path");
 596         } else {
 597             assert(!(raw_s->open_flags & O_CREAT));
 598             raw_s->fd = qemu_open(normalized_filename, raw_s->open_flags);
 599             if (raw_s->fd == -1) {
 600                 error_setg_errno(errp, errno, "Could not reopen file");
 601                 ret = -1;
 602             }
 603         }
 604     }
 605
 606     /* Fail already reopen_prepare() if we can't get a working O_DIRECT
 607      * alignment with the new fd. */
 608     if (raw_s->fd != -1) {
 609         raw_probe_alignment(state->bs, raw_s->fd, &local_err);
 610         if (local_err) {
 611             qemu_close(raw_s->fd);
 612             raw_s->fd = -1;
 613             error_propagate(errp, local_err);
 614             ret = -EINVAL;
 615         }
 616     }
 617
 618     return ret;
 619 }
 620
 621 static void raw_reopen_commit(BDRVReopenState *state)
 622 {
 623     BDRVRawReopenState *raw_s = state->opaque;
 624     BDRVRawState *s = state->bs->opaque;
 625
 626     s->open_flags = raw_s->open_flags;
 627
 628     qemu_close(s->fd);
 629     s->fd = raw_s->fd;
 630
 631     g_free(state->opaque);
 632     state->opaque = NULL;
 633 }
 634
 635
 636 static void raw_reopen_abort(BDRVReopenState *state)
 637 {
 638     BDRVRawReopenState *raw_s = state->opaque;
 639
 640      /* nothing to do if NULL, we didn't get far enough */
 641     if (raw_s == NULL) {
 642         return;
 643     }
 644
 645     if (raw_s->fd >= 0) {
 646         qemu_close(raw_s->fd);
 647         raw_s->fd = -1;
 648     }
 649     g_free(state->opaque);
 650     state->opaque = NULL;
 651 }
 652
 653 static int hdev_get_max_transfer_length(int fd)
 654 {
 655 #ifdef BLKSECTGET
 656     int max_sectors = 0;
 657     if (ioctl(fd, BLKSECTGET, &max_sectors) == 0) {
 658         return max_sectors;
 659     } else {
 660         return -errno;
 661     }
 662 #else
 663     return -ENOSYS;
 664 #endif
 665 }
 666
 667 static void raw_refresh_limits(BlockDriverState *bs, Error **errp)
 668 {
 669     BDRVRawState *s = bs->opaque;
 670     struct stat st;
 671
 672     if (!fstat(s->fd, &st)) {
 673         if (S_ISBLK(st.st_mode)) {
 674             int ret = hdev_get_max_transfer_length(s->fd);
 675             if (ret > 0 && ret <= BDRV_REQUEST_MAX_SECTORS) {
 676                 bs->bl.max_transfer = pow2floor(ret << BDRV_SECTOR_BITS);
 677             }
 678         }
 679     }
 680
 681     raw_probe_alignment(bs, s->fd, errp);
 682     bs->bl.min_mem_alignment = s->buf_align;
 683     bs->bl.opt_mem_alignment = MAX(s->buf_align, getpagesize());
 684 }
 685
 686 static int check_for_dasd(int fd)
 687 {
 688 #ifdef BIODASDINFO2
 689     struct dasd_information2_t info = {0};
 690
 691     return ioctl(fd, BIODASDINFO2, &info);
 692 #else
 693     return -1;
 694 #endif
 695 }
 696
 697 /**
 698  * Try to get @bs's logical and physical block size.
 699  * On success, store them in @bsz and return zero.
 700  * On failure, return negative errno.
 701  */
 702 static int hdev_probe_blocksizes(BlockDriverState *bs, BlockSizes *bsz)
 703 {
 704     BDRVRawState *s = bs->opaque;
 705     int ret;
 706
 707     /* If DASD, get blocksizes */
 708     if (check_for_dasd(s->fd) < 0) {
 709         return -ENOTSUP;
 710     }
 711     ret = probe_logical_blocksize(s->fd, &bsz->log);
 712     if (ret < 0) {
 713         return ret;
 714     }
 715     return probe_physical_blocksize(s->fd, &bsz->phys);
 716 }
 717
 718 /**
 719  * Try to get @bs's geometry: cyls, heads, sectors.
 720  * On success, store them in @geo and return 0.
 721  * On failure return -errno.
 722  * (Allows block driver to assign default geometry values that guest sees)
 723  */
 724 #ifdef __linux__
 725 static int hdev_probe_geometry(BlockDriverState *bs, HDGeometry *geo)
 726 {
 727     BDRVRawState *s = bs->opaque;
 728     struct hd_geometry ioctl_geo = {0};
 729
 730     /* If DASD, get its geometry */
 731     if (check_for_dasd(s->fd) < 0) {
 732         return -ENOTSUP;
 733     }
 734     if (ioctl(s->fd, HDIO_GETGEO, &ioctl_geo) < 0) {
 735         return -errno;
 736     }
 737     /* HDIO_GETGEO may return success even though geo contains zeros
 738        (e.g. certain multipath setups) */
 739     if (!ioctl_geo.heads || !ioctl_geo.sectors || !ioctl_geo.cylinders) {
 740         return -ENOTSUP;
 741     }
 742     /* Do not return a geometry for partition */
 743     if (ioctl_geo.start != 0) {
 744         return -ENOTSUP;
 745     }
 746     geo->heads = ioctl_geo.heads;
 747     geo->sectors = ioctl_geo.sectors;
 748     geo->cylinders = ioctl_geo.cylinders;
 749
 750     return 0;
 751 }
 752 #else /* __linux__ */
 753 static int hdev_probe_geometry(BlockDriverState *bs, HDGeometry *geo)
 754 {
 755     return -ENOTSUP;
 756 }
 757 #endif
 758
 759 static ssize_t handle_aiocb_ioctl(RawPosixAIOData *aiocb)
 760 {
 761     int ret;
 762
 763     ret = ioctl(aiocb->aio_fildes, aiocb->aio_ioctl_cmd, aiocb->aio_ioctl_buf);
 764     if (ret == -1) {
 765         return -errno;
 766     }
 767
 768     return 0;
 769 }
 770
 771 static ssize_t handle_aiocb_flush(RawPosixAIOData *aiocb)
 772 {
 773     int ret;
 774
 775     ret = qemu_fdatasync(aiocb->aio_fildes);
 776     if (ret == -1) {
 777         return -errno;
 778     }
 779     return 0;
 780 }
 781
 782 #ifdef CONFIG_PREADV
 783
 784 static bool preadv_present = true;
 785
 786 static ssize_t
 787 qemu_preadv(int fd, const struct iovec *iov, int nr_iov, off_t offset)
 788 {
 789     return preadv(fd, iov, nr_iov, offset);
 790 }
 791
 792 static ssize_t
 793 qemu_pwritev(int fd, const struct iovec *iov, int nr_iov, off_t offset)
 794 {
 795     return pwritev(fd, iov, nr_iov, offset);
 796 }
 797
 798 #else
 799
 800 static bool preadv_present = false;
 801
 802 static ssize_t
 803 qemu_preadv(int fd, const struct iovec *iov, int nr_iov, off_t offset)
 804 {
 805     return -ENOSYS;
 806 }
 807
 808 static ssize_t
 809 qemu_pwritev(int fd, const struct iovec *iov, int nr_iov, off_t offset)
 810 {
 811     return -ENOSYS;
 812 }
 813
 814 #endif
 815
 816 static ssize_t handle_aiocb_rw_vector(RawPosixAIOData *aiocb)
 817 {
 818     ssize_t len;
 819
 820     do {
 821         if (aiocb->aio_type & QEMU_AIO_WRITE)
 822             len = qemu_pwritev(aiocb->aio_fildes,
 823                                aiocb->aio_iov,
 824                                aiocb->aio_niov,
 825                                aiocb->aio_offset);
 826          else
 827             len = qemu_preadv(aiocb->aio_fildes,
 828                               aiocb->aio_iov,
 829                               aiocb->aio_niov,
 830                               aiocb->aio_offset);
 831     } while (len == -1 && errno == EINTR);
 832
 833     if (len == -1) {
 834         return -errno;
 835     }
 836     return len;
 837 }
 838
 839 /*
 840  * Read/writes the data to/from a given linear buffer.
 841  *
 842  * Returns the number of bytes handles or -errno in case of an error. Short
 843  * reads are only returned if the end of the file is reached.
 844  */
 845 static ssize_t handle_aiocb_rw_linear(RawPosixAIOData *aiocb, char *buf)
 846 {
 847     ssize_t offset = 0;
 848     ssize_t len;
 849
 850     while (offset < aiocb->aio_nbytes) {
 851         if (aiocb->aio_type & QEMU_AIO_WRITE) {
 852             len = pwrite(aiocb->aio_fildes,
 853                          (const char *)buf + offset,
 854                          aiocb->aio_nbytes - offset,
 855                          aiocb->aio_offset + offset);
 856         } else {
 857             len = pread(aiocb->aio_fildes,
 858                         buf + offset,
 859                         aiocb->aio_nbytes - offset,
 860                         aiocb->aio_offset + offset);
 861         }
 862         if (len == -1 && errno == EINTR) {
 863             continue;
 864         } else if (len == -1 && errno == EINVAL &&
 865                    (aiocb->bs->open_flags & BDRV_O_NOCACHE) &&
 866                    !(aiocb->aio_type & QEMU_AIO_WRITE) &&
 867                    offset > 0) {
 868             /* O_DIRECT pread() may fail with EINVAL when offset is unaligned
 869              * after a short read.  Assume that O_DIRECT short reads only occur
 870              * at EOF.  Therefore this is a short read, not an I/O error.
 871              */
 872             break;
 873         } else if (len == -1) {
 874             offset = -errno;
 875             break;
 876         } else if (len == 0) {
 877             break;
 878         }
 879         offset += len;
 880     }
 881
 882     return offset;
 883 }
 884
 885 static ssize_t handle_aiocb_rw(RawPosixAIOData *aiocb)
 886 {
 887     ssize_t nbytes;
 888     char *buf;
 889
 890     if (!(aiocb->aio_type & QEMU_AIO_MISALIGNED)) {
 891         /*
 892          * If there is just a single buffer, and it is properly aligned
 893          * we can just use plain pread/pwrite without any problems.
 894          */
 895         if (aiocb->aio_niov == 1) {
 896              return handle_aiocb_rw_linear(aiocb, aiocb->aio_iov->iov_base);
 897         }
 898         /*
 899          * We have more than one iovec, and all are properly aligned.
 900          *
 901          * Try preadv/pwritev first and fall back to linearizing the
 902          * buffer if it's not supported.
 903          */
 904         if (preadv_present) {
 905             nbytes = handle_aiocb_rw_vector(aiocb);
 906             if (nbytes == aiocb->aio_nbytes ||
 907                 (nbytes < 0 && nbytes != -ENOSYS)) {
 908                 return nbytes;
 909             }
 910             preadv_present = false;
 911         }
 912
 913         /*
 914          * XXX(hch): short read/write.  no easy way to handle the reminder
 915          * using these interfaces.  For now retry using plain
 916          * pread/pwrite?
 917          */
 918     }
 919
 920     /*
 921      * Ok, we have to do it the hard way, copy all segments into
 922      * a single aligned buffer.
 923      */
 924     buf = qemu_try_blockalign(aiocb->bs, aiocb->aio_nbytes);
 925     if (buf == NULL) {
 926         return -ENOMEM;
 927     }
 928
 929     if (aiocb->aio_type & QEMU_AIO_WRITE) {
 930         char *p = buf;
 931         int i;
 932
 933         for (i = 0; i < aiocb->aio_niov; ++i) {
 934             memcpy(p, aiocb->aio_iov[i].iov_base, aiocb->aio_iov[i].iov_len);
 935             p += aiocb->aio_iov[i].iov_len;
 936         }
 937         assert(p - buf == aiocb->aio_nbytes);
 938     }
 939
 940     nbytes = handle_aiocb_rw_linear(aiocb, buf);
 941     if (!(aiocb->aio_type & QEMU_AIO_WRITE)) {
 942         char *p = buf;
 943         size_t count = aiocb->aio_nbytes, copy;
 944         int i;
 945
 946         for (i = 0; i < aiocb->aio_niov && count; ++i) {
 947             copy = count;
 948             if (copy > aiocb->aio_iov[i].iov_len) {
 949                 copy = aiocb->aio_iov[i].iov_len;
 950             }
 951             memcpy(aiocb->aio_iov[i].iov_base, p, copy);
 952             assert(count >= copy);
 953             p     += copy;
 954             count -= copy;
 955         }
 956         assert(count == 0);
 957     }
 958     qemu_vfree(buf);
 959
 960     return nbytes;
 961 }
 962
 963 #ifdef CONFIG_XFS
 964 static int xfs_write_zeroes(BDRVRawState *s, int64_t offset, uint64_t bytes)
 965 {
 966     struct xfs_flock64 fl;
 967     int err;
 968
 969     memset(&fl, 0, sizeof(fl));
 970     fl.l_whence = SEEK_SET;
 971     fl.l_start = offset;
 972     fl.l_len = bytes;
 973
 974     if (xfsctl(NULL, s->fd, XFS_IOC_ZERO_RANGE, &fl) < 0) {
 975         err = errno;
 976         DPRINTF("cannot write zero range (%s)\n", strerror(errno));
 977         return -err;
 978     }
 979
 980     return 0;
 981 }
 982
 983 static int xfs_discard(BDRVRawState *s, int64_t offset, uint64_t bytes)
 984 {
 985     struct xfs_flock64 fl;
 986     int err;
 987
 988     memset(&fl, 0, sizeof(fl));
 989     fl.l_whence = SEEK_SET;
 990     fl.l_start = offset;
 991     fl.l_len = bytes;
 992
 993     if (xfsctl(NULL, s->fd, XFS_IOC_UNRESVSP64, &fl) < 0) {
 994         err = errno;
 995         DPRINTF("cannot punch hole (%s)\n", strerror(errno));
 996         return -err;
 997     }
 998
 999     return 0;
1000 }
1001 #endif
1002
1003 static int translate_err(int err)
1004 {
1005     if (err == -ENODEV || err == -ENOSYS || err == -EOPNOTSUPP ||
1006         err == -ENOTTY) {
1007         err = -ENOTSUP;
1008     }
1009     return err;
1010 }
1011
1012 #ifdef CONFIG_FALLOCATE
1013 static int do_fallocate(int fd, int mode, off_t offset, off_t len)
1014 {
1015     do {
1016         if (fallocate(fd, mode, offset, len) == 0) {
1017             return 0;
1018         }
1019     } while (errno == EINTR);
1020     return translate_err(-errno);
1021 }
1022 #endif
1023
1024 static ssize_t handle_aiocb_write_zeroes_block(RawPosixAIOData *aiocb)
1025 {
1026     int ret = -ENOTSUP;
1027     BDRVRawState *s = aiocb->bs->opaque;
1028
1029     if (!s->has_write_zeroes) {
1030         return -ENOTSUP;
1031     }
1032
1033 #ifdef BLKZEROOUT
1034     do {
1035         uint64_t range[2] = { aiocb->aio_offset, aiocb->aio_nbytes };
1036         if (ioctl(aiocb->aio_fildes, BLKZEROOUT, range) == 0) {
1037             return 0;
1038         }
1039     } while (errno == EINTR);
1040
1041     ret = translate_err(-errno);
1042 #endif
1043
1044     if (ret == -ENOTSUP) {
1045         s->has_write_zeroes = false;
1046     }
1047     return ret;
1048 }
1049
1050 static ssize_t handle_aiocb_write_zeroes(RawPosixAIOData *aiocb)
1051 {
1052 #if defined(CONFIG_FALLOCATE) || defined(CONFIG_XFS)
1053     BDRVRawState *s = aiocb->bs->opaque;
1054 #endif
1055
1056     if (aiocb->aio_type & QEMU_AIO_BLKDEV) {
1057         return handle_aiocb_write_zeroes_block(aiocb);
1058     }
1059
1060 #ifdef CONFIG_XFS
1061     if (s->is_xfs) {
1062         return xfs_write_zeroes(s, aiocb->aio_offset, aiocb->aio_nbytes);
1063     }
1064 #endif
1065
1066 #ifdef CONFIG_FALLOCATE_ZERO_RANGE
1067     if (s->has_write_zeroes) {
1068         int ret = do_fallocate(s->fd, FALLOC_FL_ZERO_RANGE,
1069                                aiocb->aio_offset, aiocb->aio_nbytes);
1070         if (ret == 0 || ret != -ENOTSUP) {
1071             return ret;
1072         }
1073         s->has_write_zeroes = false;
1074     }
1075 #endif
1076
1077 #ifdef CONFIG_FALLOCATE_PUNCH_HOLE
1078     if (s->has_discard && s->has_fallocate) {
1079         int ret = do_fallocate(s->fd,
1080                                FALLOC_FL_PUNCH_HOLE | FALLOC_FL_KEEP_SIZE,
1081                                aiocb->aio_offset, aiocb->aio_nbytes);
1082         if (ret == 0) {
1083             ret = do_fallocate(s->fd, 0, aiocb->aio_offset, aiocb->aio_nbytes);
1084             if (ret == 0 || ret != -ENOTSUP) {
1085                 return ret;
1086             }
1087             s->has_fallocate = false;
1088         } else if (ret != -ENOTSUP) {
1089             return ret;
1090         } else {
1091             s->has_discard = false;
1092         }
1093     }
1094 #endif
1095
1096 #ifdef CONFIG_FALLOCATE
1097     if (s->has_fallocate && aiocb->aio_offset >= bdrv_getlength(aiocb->bs)) {
1098         int ret = do_fallocate(s->fd, 0, aiocb->aio_offset, aiocb->aio_nbytes);
1099         if (ret == 0 || ret != -ENOTSUP) {
1100             return ret;
1101         }
1102         s->has_fallocate = false;
1103     }
1104 #endif
1105
1106     return -ENOTSUP;
1107 }
1108
1109 static ssize_t handle_aiocb_discard(RawPosixAIOData *aiocb)
1110 {
1111     int ret = -EOPNOTSUPP;
1112     BDRVRawState *s = aiocb->bs->opaque;
1113
1114     if (!s->has_discard) {
1115         return -ENOTSUP;
1116     }
1117
1118     if (aiocb->aio_type & QEMU_AIO_BLKDEV) {
1119 #ifdef BLKDISCARD
1120         do {
1121             uint64_t range[2] = { aiocb->aio_offset, aiocb->aio_nbytes };
1122             if (ioctl(aiocb->aio_fildes, BLKDISCARD, range) == 0) {
1123                 return 0;
1124             }
1125         } while (errno == EINTR);
1126
1127         ret = -errno;
1128 #endif
1129     } else {
1130 #ifdef CONFIG_XFS
1131         if (s->is_xfs) {
1132             return xfs_discard(s, aiocb->aio_offset, aiocb->aio_nbytes);
1133         }
1134 #endif
1135
1136 #ifdef CONFIG_FALLOCATE_PUNCH_HOLE
1137         ret = do_fallocate(s->fd, FALLOC_FL_PUNCH_HOLE | FALLOC_FL_KEEP_SIZE,
1138                            aiocb->aio_offset, aiocb->aio_nbytes);
1139 #endif
1140     }
1141
1142     ret = translate_err(ret);
1143     if (ret == -ENOTSUP) {
1144         s->has_discard = false;
1145     }
1146     return ret;
1147 }
1148
1149 static int aio_worker(void *arg)
1150 {
1151     RawPosixAIOData *aiocb = arg;
1152     ssize_t ret = 0;
1153
1154     switch (aiocb->aio_type & QEMU_AIO_TYPE_MASK) {
1155     case QEMU_AIO_READ:
1156         ret = handle_aiocb_rw(aiocb);
1157         if (ret >= 0 && ret < aiocb->aio_nbytes) {
1158             iov_memset(aiocb->aio_iov, aiocb->aio_niov, ret,
1159                       0, aiocb->aio_nbytes - ret);
1160
1161             ret = aiocb->aio_nbytes;
1162         }
1163         if (ret == aiocb->aio_nbytes) {
1164             ret = 0;
1165         } else if (ret >= 0 && ret < aiocb->aio_nbytes) {
1166             ret = -EINVAL;
1167         }
1168         break;
1169     case QEMU_AIO_WRITE:
1170         ret = handle_aiocb_rw(aiocb);
1171         if (ret == aiocb->aio_nbytes) {
1172             ret = 0;
1173         } else if (ret >= 0 && ret < aiocb->aio_nbytes) {
1174             ret = -EINVAL;
1175         }
1176         break;
1177     case QEMU_AIO_FLUSH:
1178         ret = handle_aiocb_flush(aiocb);
1179         break;
1180     case QEMU_AIO_IOCTL:
1181         ret = handle_aiocb_ioctl(aiocb);
1182         break;
1183     case QEMU_AIO_DISCARD:
1184         ret = handle_aiocb_discard(aiocb);
1185         break;
1186     case QEMU_AIO_WRITE_ZEROES:
1187         ret = handle_aiocb_write_zeroes(aiocb);
1188         break;
1189     default:
1190         fprintf(stderr, "invalid aio request (0x%x)\n", aiocb->aio_type);
1191         ret = -EINVAL;
1192         break;
1193     }
1194
1195     g_free(aiocb);
1196     return ret;
1197 }
1198
1199 static int paio_submit_co(BlockDriverState *bs, int fd,
1200                           int64_t offset, QEMUIOVector *qiov,
1201                           int count, int type)
1202 {
1203     RawPosixAIOData *acb = g_new(RawPosixAIOData, 1);
1204     ThreadPool *pool;
1205
1206     acb->bs = bs;
1207     acb->aio_type = type;
1208     acb->aio_fildes = fd;
1209
1210     acb->aio_nbytes = count;
1211     acb->aio_offset = offset;
1212
1213     if (qiov) {
1214         acb->aio_iov = qiov->iov;
1215         acb->aio_niov = qiov->niov;
1216         assert(qiov->size == count);
1217     }
1218
1219     trace_paio_submit_co(offset, count, type);
1220     pool = aio_get_thread_pool(bdrv_get_aio_context(bs));
1221     return thread_pool_submit_co(pool, aio_worker, acb);
1222 }
1223
1224 static BlockAIOCB *paio_submit(BlockDriverState *bs, int fd,
1225         int64_t offset, QEMUIOVector *qiov, int count,
1226         BlockCompletionFunc *cb, void *opaque, int type)
1227 {
1228     RawPosixAIOData *acb = g_new(RawPosixAIOData, 1);
1229     ThreadPool *pool;
1230
1231     acb->bs = bs;
1232     acb->aio_type = type;
1233     acb->aio_fildes = fd;
1234
1235     acb->aio_nbytes = count;
1236     acb->aio_offset = offset;
1237
1238     if (qiov) {
1239         acb->aio_iov = qiov->iov;
1240         acb->aio_niov = qiov->niov;
1241         assert(qiov->size == acb->aio_nbytes);
1242     }
1243
1244     trace_paio_submit(acb, opaque, offset, count, type);
1245     pool = aio_get_thread_pool(bdrv_get_aio_context(bs));
1246     return thread_pool_submit_aio(pool, aio_worker, acb, cb, opaque);
1247 }
1248
1249 static int coroutine_fn raw_co_prw(BlockDriverState *bs, uint64_t offset,
1250                                    uint64_t bytes, QEMUIOVector *qiov, int type)
1251 {
1252     BDRVRawState *s = bs->opaque;
1253
1254     if (fd_open(bs) < 0)
1255         return -EIO;
1256
1257     /*
1258      * Check if the underlying device requires requests to be aligned,
1259      * and if the request we are trying to submit is aligned or not.
1260      * If this is the case tell the low-level driver that it needs
1261      * to copy the buffer.
1262      */
1263     if (s->needs_alignment) {
1264         if (!bdrv_qiov_is_aligned(bs, qiov)) {
1265             type |= QEMU_AIO_MISALIGNED;
1266 #ifdef CONFIG_LINUX_AIO
1267         } else if (s->use_linux_aio) {
1268             LinuxAioState *aio = aio_get_linux_aio(bdrv_get_aio_context(bs));
1269             assert(qiov->size == bytes);
1270             return laio_co_submit(bs, aio, s->fd, offset, qiov, type);
1271 #endif
1272         }
1273     }
1274
1275     return paio_submit_co(bs, s->fd, offset, qiov, bytes, type);
1276 }
1277
1278 static int coroutine_fn raw_co_preadv(BlockDriverState *bs, uint64_t offset,
1279                                       uint64_t bytes, QEMUIOVector *qiov,
1280                                       int flags)
1281 {
1282     return raw_co_prw(bs, offset, bytes, qiov, QEMU_AIO_READ);
1283 }
1284
1285 static int coroutine_fn raw_co_pwritev(BlockDriverState *bs, uint64_t offset,
1286                                        uint64_t bytes, QEMUIOVector *qiov,
1287                                        int flags)
1288 {
1289     assert(flags == 0);
1290     return raw_co_prw(bs, offset, bytes, qiov, QEMU_AIO_WRITE);
1291 }
1292
1293 static void raw_aio_plug(BlockDriverState *bs)
1294 {
1295 #ifdef CONFIG_LINUX_AIO
1296     BDRVRawState *s = bs->opaque;
1297     if (s->use_linux_aio) {
1298         LinuxAioState *aio = aio_get_linux_aio(bdrv_get_aio_context(bs));
1299         laio_io_plug(bs, aio);
1300     }
1301 #endif
1302 }
1303
1304 static void raw_aio_unplug(BlockDriverState *bs)
1305 {
1306 #ifdef CONFIG_LINUX_AIO
1307     BDRVRawState *s = bs->opaque;
1308     if (s->use_linux_aio) {
1309         LinuxAioState *aio = aio_get_linux_aio(bdrv_get_aio_context(bs));
1310         laio_io_unplug(bs, aio);
1311     }
1312 #endif
1313 }
1314
1315 static BlockAIOCB *raw_aio_flush(BlockDriverState *bs,
1316         BlockCompletionFunc *cb, void *opaque)
1317 {
1318     BDRVRawState *s = bs->opaque;
1319
1320     if (fd_open(bs) < 0)
1321         return NULL;
1322
1323     return paio_submit(bs, s->fd, 0, NULL, 0, cb, opaque, QEMU_AIO_FLUSH);
1324 }
1325
1326 static void raw_close(BlockDriverState *bs)
1327 {
1328     BDRVRawState *s = bs->opaque;
1329
1330     if (s->fd >= 0) {
1331         qemu_close(s->fd);
1332         s->fd = -1;
1333     }
1334 }
1335
1336 static int raw_truncate(BlockDriverState *bs, int64_t offset)
1337 {
1338     BDRVRawState *s = bs->opaque;
1339     struct stat st;
1340
1341     if (fstat(s->fd, &st)) {
1342         return -errno;
1343     }
1344
1345     if (S_ISREG(st.st_mode)) {
1346         if (ftruncate(s->fd, offset) < 0) {
1347             return -errno;
1348         }
1349     } else if (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode)) {
1350        if (offset > raw_getlength(bs)) {
1351            return -EINVAL;
1352        }
1353     } else {
1354         return -ENOTSUP;
1355     }
1356
1357     return 0;
1358 }
1359
1360 #ifdef __OpenBSD__
1361 static int64_t raw_getlength(BlockDriverState *bs)
1362 {
1363     BDRVRawState *s = bs->opaque;
1364     int fd = s->fd;
1365     struct stat st;
1366
1367     if (fstat(fd, &st))
1368         return -errno;
1369     if (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode)) {
1370         struct disklabel dl;
1371
1372         if (ioctl(fd, DIOCGDINFO, &dl))
1373             return -errno;
1374         return (uint64_t)dl.d_secsize *
1375             dl.d_partitions[DISKPART(st.st_rdev)].p_size;
1376     } else
1377         return st.st_size;
1378 }
1379 #elif defined(__NetBSD__)
1380 static int64_t raw_getlength(BlockDriverState *bs)
1381 {
1382     BDRVRawState *s = bs->opaque;
1383     int fd = s->fd;
1384     struct stat st;
1385
1386     if (fstat(fd, &st))
1387         return -errno;
1388     if (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode)) {
1389         struct dkwedge_info dkw;
1390
1391         if (ioctl(fd, DIOCGWEDGEINFO, &dkw) != -1) {
1392             return dkw.dkw_size * 512;
1393         } else {
1394             struct disklabel dl;
1395
1396             if (ioctl(fd, DIOCGDINFO, &dl))
1397                 return -errno;
1398             return (uint64_t)dl.d_secsize *
1399                 dl.d_partitions[DISKPART(st.st_rdev)].p_size;
1400         }
1401     } else
1402         return st.st_size;
1403 }
1404 #elif defined(__sun__)
1405 static int64_t raw_getlength(BlockDriverState *bs)
1406 {
1407     BDRVRawState *s = bs->opaque;
1408     struct dk_minfo minfo;
1409     int ret;
1410     int64_t size;
1411
1412     ret = fd_open(bs);
1413     if (ret < 0) {
1414         return ret;
1415     }
1416
1417     /*
1418      * Use the DKIOCGMEDIAINFO ioctl to read the size.
1419      */
1420     ret = ioctl(s->fd, DKIOCGMEDIAINFO, &minfo);
1421     if (ret != -1) {
1422         return minfo.dki_lbsize * minfo.dki_capacity;
1423     }
1424
1425     /*
1426      * There are reports that lseek on some devices fails, but
1427      * irc discussion said that contingency on contingency was overkill.
1428      */
1429     size = lseek(s->fd, 0, SEEK_END);
1430     if (size < 0) {
1431         return -errno;
1432     }
1433     return size;
1434 }
1435 #elif defined(CONFIG_BSD)
1436 static int64_t raw_getlength(BlockDriverState *bs)
1437 {
1438     BDRVRawState *s = bs->opaque;
1439     int fd = s->fd;
1440     int64_t size;
1441     struct stat sb;
1442 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
1443     int reopened = 0;
1444 #endif
1445     int ret;
1446
1447     ret = fd_open(bs);
1448     if (ret < 0)
1449         return ret;
1450
1451 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
1452 again:
1453 #endif
1454     if (!fstat(fd, &sb) && (S_IFCHR & sb.st_mode)) {
1455 #ifdef DIOCGMEDIASIZE
1456         if (ioctl(fd, DIOCGMEDIASIZE, (off_t *)&size))
1457 #elif defined(DIOCGPART)
1458         {
1459                 struct partinfo pi;
1460                 if (ioctl(fd, DIOCGPART, &pi) == 0)
1461                         size = pi.media_size;
1462                 else
1463                         size = 0;
1464         }
1465         if (size == 0)
1466 #endif
1467 #if defined(__APPLE__) && defined(__MACH__)
1468         {
1469             uint64_t sectors = 0;
1470             uint32_t sector_size = 0;
1471
1472             if (ioctl(fd, DKIOCGETBLOCKCOUNT, &sectors) == 0
1473                && ioctl(fd, DKIOCGETBLOCKSIZE, &sector_size) == 0) {
1474                 size = sectors * sector_size;
1475             } else {
1476                 size = lseek(fd, 0LL, SEEK_END);
1477                 if (size < 0) {
1478                     return -errno;
1479                 }
1480             }
1481         }
1482 #else
1483         size = lseek(fd, 0LL, SEEK_END);
1484         if (size < 0) {
1485             return -errno;
1486         }
1487 #endif
1488 #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
1489         switch(s->type) {
1490         case FTYPE_CD:
1491             /* XXX FreeBSD acd returns UINT_MAX sectors for an empty drive */
1492             if (size == 2048LL * (unsigned)-1)
1493                 size = 0;
1494             /* XXX no disc?  maybe we need to reopen... */
1495             if (size <= 0 && !reopened && cdrom_reopen(bs) >= 0) {
1496                 reopened = 1;
1497                 goto again;
1498             }
1499         }
1500 #endif
1501     } else {
1502         size = lseek(fd, 0, SEEK_END);
1503         if (size < 0) {
1504             return -errno;
1505         }
1506     }
1507     return size;
1508 }
1509 #else
1510 static int64_t raw_getlength(BlockDriverState *bs)
1511 {
1512     BDRVRawState *s = bs->opaque;
1513     int ret;
1514     int64_t size;
1515
1516     ret = fd_open(bs);
1517     if (ret < 0) {
1518         return ret;
1519     }
1520
1521     size = lseek(s->fd, 0, SEEK_END);
1522     if (size < 0) {
1523         return -errno;
1524     }
1525     return size;
1526 }
1527 #endif
1528
1529 static int64_t raw_get_allocated_file_size(BlockDriverState *bs)
1530 {
1531     struct stat st;
1532     BDRVRawState *s = bs->opaque;
1533
1534     if (fstat(s->fd, &st) < 0) {
1535         return -errno;
1536     }
1537     return (int64_t)st.st_blocks * 512;
1538 }
1539
1540 static int raw_create(const char *filename, QemuOpts *opts, Error **errp)
1541 {
1542     int fd;
1543     int result = 0;
1544     int64_t total_size = 0;
1545     bool nocow = false;
1546     PreallocMode prealloc;
1547     char *buf = NULL;
1548     Error *local_err = NULL;
1549
1550     strstart(filename, "file:", &filename);
1551
1552     /* Read out options */
1553     total_size = ROUND_UP(qemu_opt_get_size_del(opts, BLOCK_OPT_SIZE, 0),
1554                           BDRV_SECTOR_SIZE);
1555     nocow = qemu_opt_get_bool(opts, BLOCK_OPT_NOCOW, false);
1556     buf = qemu_opt_get_del(opts, BLOCK_OPT_PREALLOC);
1557     prealloc = qapi_enum_parse(PreallocMode_lookup, buf,
1558                                PREALLOC_MODE__MAX, PREALLOC_MODE_OFF,
1559                                &local_err);
1560     g_free(buf);
1561     if (local_err) {
1562         error_propagate(errp, local_err);
1563         result = -EINVAL;
1564         goto out;
1565     }
1566
1567     fd = qemu_open(filename, O_RDWR | O_CREAT | O_TRUNC | O_BINARY,
1568                    0644);
1569     if (fd < 0) {
1570         result = -errno;
1571         error_setg_errno(errp, -result, "Could not create file");
1572         goto out;
1573     }
1574
1575     if (nocow) {
1576 #ifdef __linux__
1577         /* Set NOCOW flag to solve performance issue on fs like btrfs.
1578          * This is an optimisation. The FS_IOC_SETFLAGS ioctl return value
1579          * will be ignored since any failure of this operation should not
1580          * block the left work.
1581          */
1582         int attr;
1583         if (ioctl(fd, FS_IOC_GETFLAGS, &attr) == 0) {
1584             attr |= FS_NOCOW_FL;
1585             ioctl(fd, FS_IOC_SETFLAGS, &attr);
1586         }
1587 #endif
1588     }
1589
1590     if (ftruncate(fd, total_size) != 0) {
1591         result = -errno;
1592         error_setg_errno(errp, -result, "Could not resize file");
1593         goto out_close;
1594     }
1595
1596     switch (prealloc) {
1597 #ifdef CONFIG_POSIX_FALLOCATE
1598     case PREALLOC_MODE_FALLOC:
1599         /* posix_fallocate() doesn't set errno. */
1600         result = -posix_fallocate(fd, 0, total_size);
1601         if (result != 0) {
1602             error_setg_errno(errp, -result,
1603                              "Could not preallocate data for the new file");
1604         }
1605         break;
1606 #endif
1607     case PREALLOC_MODE_FULL:
1608     {
1609         int64_t num = 0, left = total_size;
1610         buf = g_malloc0(65536);
1611
1612         while (left > 0) {
1613             num = MIN(left, 65536);
1614             result = write(fd, buf, num);
1615             if (result < 0) {
1616                 result = -errno;
1617                 error_setg_errno(errp, -result,
1618                                  "Could not write to the new file");
1619                 break;
1620             }
1621             left -= result;
1622         }
1623         if (result >= 0) {
1624             result = fsync(fd);
1625             if (result < 0) {
1626                 result = -errno;
1627                 error_setg_errno(errp, -result,
1628                                  "Could not flush new file to disk");
1629             }
1630         }
1631         g_free(buf);
1632         break;
1633     }
1634     case PREALLOC_MODE_OFF:
1635         break;
1636     default:
1637         result = -EINVAL;
1638         error_setg(errp, "Unsupported preallocation mode: %s",
1639                    PreallocMode_lookup[prealloc]);
1640         break;
1641     }
1642
1643 out_close:
1644     if (qemu_close(fd) != 0 && result == 0) {
1645         result = -errno;
1646         error_setg_errno(errp, -result, "Could not close the new file");
1647     }
1648 out:
1649     return result;
1650 }
1651
1652 /*
1653  * Find allocation range in @bs around offset @start.
1654  * May change underlying file descriptor's file offset.
1655  * If @start is not in a hole, store @start in @data, and the
1656  * beginning of the next hole in @hole, and return 0.
1657  * If @start is in a non-trailing hole, store @start in @hole and the
1658  * beginning of the next non-hole in @data, and return 0.
1659  * If @start is in a trailing hole or beyond EOF, return -ENXIO.
1660  * If we can't find out, return a negative errno other than -ENXIO.
1661  */
1662 static int find_allocation(BlockDriverState *bs, off_t start,
1663                            off_t *data, off_t *hole)
1664 {
1665 #if defined SEEK_HOLE && defined SEEK_DATA
1666     BDRVRawState *s = bs->opaque;
1667     off_t offs;
1668
1669     /*
1670      * SEEK_DATA cases:
1671      * D1. offs == start: start is in data
1672      * D2. offs > start: start is in a hole, next data at offs
1673      * D3. offs < 0, errno = ENXIO: either start is in a trailing hole
1674      *                              or start is beyond EOF
1675      *     If the latter happens, the file has been truncated behind
1676      *     our back since we opened it.  All bets are off then.
1677      *     Treating like a trailing hole is simplest.
1678      * D4. offs < 0, errno != ENXIO: we learned nothing
1679      */
1680     offs = lseek(s->fd, start, SEEK_DATA);
1681     if (offs < 0) {
1682         return -errno;          /* D3 or D4 */
1683     }
1684     assert(offs >= start);
1685
1686     if (offs > start) {
1687         /* D2: in hole, next data at offs */
1688         *hole = start;
1689         *data = offs;
1690         return 0;
1691     }
1692
1693     /* D1: in data, end not yet known */
1694
1695     /*
1696      * SEEK_HOLE cases:
1697      * H1. offs == start: start is in a hole
1698      *     If this happens here, a hole has been dug behind our back
1699      *     since the previous lseek().
1700      * H2. offs > start: either start is in data, next hole at offs,
1701      *                   or start is in trailing hole, EOF at offs
1702      *     Linux treats trailing holes like any other hole: offs ==
1703      *     start.  Solaris seeks to EOF instead: offs > start (blech).
1704      *     If that happens here, a hole has been dug behind our back
1705      *     since the previous lseek().
1706      * H3. offs < 0, errno = ENXIO: start is beyond EOF
1707      *     If this happens, the file has been truncated behind our
1708      *     back since we opened it.  Treat it like a trailing hole.
1709      * H4. offs < 0, errno != ENXIO: we learned nothing
1710      *     Pretend we know nothing at all, i.e. "forget" about D1.
1711      */
1712     offs = lseek(s->fd, start, SEEK_HOLE);
1713     if (offs < 0) {
1714         return -errno;          /* D1 and (H3 or H4) */
1715     }
1716     assert(offs >= start);
1717
1718     if (offs > start) {
1719         /*
1720          * D1 and H2: either in data, next hole at offs, or it was in
1721          * data but is now in a trailing hole.  In the latter case,
1722          * all bets are off.  Treating it as if it there was data all
1723          * the way to EOF is safe, so simply do that.
1724          */
1725         *data = start;
1726         *hole = offs;
1727         return 0;
1728     }
1729
1730     /* D1 and H1 */
1731     return -EBUSY;
1732 #else
1733     return -ENOTSUP;
1734 #endif
1735 }
1736
1737 /*
1738  * Returns the allocation status of the specified sectors.
1739  *
1740  * If 'sector_num' is beyond the end of the disk image the return value is 0
1741  * and 'pnum' is set to 0.
1742  *
1743  * 'pnum' is set to the number of sectors (including and immediately following
1744  * the specified sector) that are known to be in the same
1745  * allocated/unallocated state.
1746  *
1747  * 'nb_sectors' is the max value 'pnum' should be set to.  If nb_sectors goes
1748  * beyond the end of the disk image it will be clamped.
1749  */
1750 static int64_t coroutine_fn raw_co_get_block_status(BlockDriverState *bs,
1751                                                     int64_t sector_num,
1752                                                     int nb_sectors, int *pnum,
1753                                                     BlockDriverState **file)
1754 {
1755     off_t start, data = 0, hole = 0;
1756     int64_t total_size;
1757     int ret;
1758
1759     ret = fd_open(bs);
1760     if (ret < 0) {
1761         return ret;
1762     }
1763
1764     start = sector_num * BDRV_SECTOR_SIZE;
1765     total_size = bdrv_getlength(bs);
1766     if (total_size < 0) {
1767         return total_size;
1768     } else if (start >= total_size) {
1769         *pnum = 0;
1770         return 0;
1771     } else if (start + nb_sectors * BDRV_SECTOR_SIZE > total_size) {
1772         nb_sectors = DIV_ROUND_UP(total_size - start, BDRV_SECTOR_SIZE);
1773     }
1774
1775     ret = find_allocation(bs, start, &data, &hole);
1776     if (ret == -ENXIO) {
1777         /* Trailing hole */
1778         *pnum = nb_sectors;
1779         ret = BDRV_BLOCK_ZERO;
1780     } else if (ret < 0) {
1781         /* No info available, so pretend there are no holes */
1782         *pnum = nb_sectors;
1783         ret = BDRV_BLOCK_DATA;
1784     } else if (data == start) {
1785         /* On a data extent, compute sectors to the end of the extent,
1786          * possibly including a partial sector at EOF. */
1787         *pnum = MIN(nb_sectors, DIV_ROUND_UP(hole - start, BDRV_SECTOR_SIZE));
1788         ret = BDRV_BLOCK_DATA;
1789     } else {
1790         /* On a hole, compute sectors to the beginning of the next extent.  */
1791         assert(hole == start);
1792         *pnum = MIN(nb_sectors, (data - start) / BDRV_SECTOR_SIZE);
1793         ret = BDRV_BLOCK_ZERO;
1794     }
1795     *file = bs;
1796     return ret | BDRV_BLOCK_OFFSET_VALID | start;
1797 }
1798
1799 static coroutine_fn BlockAIOCB *raw_aio_pdiscard(BlockDriverState *bs,
1800     int64_t offset, int count,
1801     BlockCompletionFunc *cb, void *opaque)
1802 {
1803     BDRVRawState *s = bs->opaque;
1804
1805     return paio_submit(bs, s->fd, offset, NULL, count,
1806                        cb, opaque, QEMU_AIO_DISCARD);
1807 }
1808
1809 static int coroutine_fn raw_co_pwrite_zeroes(
1810     BlockDriverState *bs, int64_t offset,
1811     int count, BdrvRequestFlags flags)
1812 {
1813     BDRVRawState *s = bs->opaque;
1814
1815     if (!(flags & BDRV_REQ_MAY_UNMAP)) {
1816         return paio_submit_co(bs, s->fd, offset, NULL, count,
1817                               QEMU_AIO_WRITE_ZEROES);
1818     } else if (s->discard_zeroes) {
1819         return paio_submit_co(bs, s->fd, offset, NULL, count,
1820                               QEMU_AIO_DISCARD);
1821     }
1822     return -ENOTSUP;
1823 }
1824
1825 static int raw_get_info(BlockDriverState *bs, BlockDriverInfo *bdi)
1826 {
1827     BDRVRawState *s = bs->opaque;
1828
1829     bdi->unallocated_blocks_are_zero = s->discard_zeroes;
1830     bdi->can_write_zeroes_with_unmap = s->discard_zeroes;
1831     return 0;
1832 }
1833
1834 static QemuOptsList raw_create_opts = {
1835     .name = "raw-create-opts",
1836     .head = QTAILQ_HEAD_INITIALIZER(raw_create_opts.head),
1837     .desc = {
1838         {
1839             .name = BLOCK_OPT_SIZE,
1840             .type = QEMU_OPT_SIZE,
1841             .help = "Virtual disk size"
1842         },
1843         {
1844             .name = BLOCK_OPT_NOCOW,
1845             .type = QEMU_OPT_BOOL,
1846             .help = "Turn off copy-on-write (valid only on btrfs)"
1847         },
1848         {
1849             .name = BLOCK_OPT_PREALLOC,
1850             .type = QEMU_OPT_STRING,
1851             .help = "Preallocation mode (allowed values: off, falloc, full)"
1852         },
1853         { /* end of list */ }
1854     }
1855 };
1856
1857 BlockDriver bdrv_file = {
1858     .format_name = "file",
1859     .protocol_name = "file",
1860     .instance_size = sizeof(BDRVRawState),
1861     .bdrv_needs_filename = true,
1862     .bdrv_probe = NULL, /* no probe for protocols */
1863     .bdrv_parse_filename = raw_parse_filename,
1864     .bdrv_file_open = raw_open,
1865     .bdrv_reopen_prepare = raw_reopen_prepare,
1866     .bdrv_reopen_commit = raw_reopen_commit,
1867     .bdrv_reopen_abort = raw_reopen_abort,
1868     .bdrv_close = raw_close,
1869     .bdrv_create = raw_create,
1870     .bdrv_has_zero_init = bdrv_has_zero_init_1,
1871     .bdrv_co_get_block_status = raw_co_get_block_status,
1872     .bdrv_co_pwrite_zeroes = raw_co_pwrite_zeroes,
1873
1874     .bdrv_co_preadv         = raw_co_preadv,
1875     .bdrv_co_pwritev        = raw_co_pwritev,
1876     .bdrv_aio_flush = raw_aio_flush,
1877     .bdrv_aio_pdiscard = raw_aio_pdiscard,
1878     .bdrv_refresh_limits = raw_refresh_limits,
1879     .bdrv_io_plug = raw_aio_plug,
1880     .bdrv_io_unplug = raw_aio_unplug,
1881
1882     .bdrv_truncate = raw_truncate,
1883     .bdrv_getlength = raw_getlength,
1884     .bdrv_get_info = raw_get_info,
1885     .bdrv_get_allocated_file_size
1886                         = raw_get_allocated_file_size,
1887
1888     .create_opts = &raw_create_opts,
1889 };
1890
1891 /***********************************************/
1892 /* host device */
1893
1894 #if defined(__APPLE__) && defined(__MACH__)
1895 static kern_return_t GetBSDPath(io_iterator_t mediaIterator, char *bsdPath,
1896                                 CFIndex maxPathSize, int flags);
1897 static char *FindEjectableOpticalMedia(io_iterator_t *mediaIterator)
1898 {
1899     kern_return_t kernResult = KERN_FAILURE;
1900     mach_port_t     masterPort;
1901     CFMutableDictionaryRef  classesToMatch;
1902     const char *matching_array[] = {kIODVDMediaClass, kIOCDMediaClass};
1903     char *mediaType = NULL;
1904
1905     kernResult = IOMasterPort( MACH_PORT_NULL, &masterPort );
1906     if ( KERN_SUCCESS != kernResult ) {
1907         printf( "IOMasterPort returned %d\n", kernResult );
1908     }
1909
1910     int index;
1911     for (index = 0; index < ARRAY_SIZE(matching_array); index++) {
1912         classesToMatch = IOServiceMatching(matching_array[index]);
1913         if (classesToMatch == NULL) {
1914             error_report("IOServiceMatching returned NULL for %s",
1915                          matching_array[index]);
1916             continue;
1917         }
1918         CFDictionarySetValue(classesToMatch, CFSTR(kIOMediaEjectableKey),
1919                              kCFBooleanTrue);
1920         kernResult = IOServiceGetMatchingServices(masterPort, classesToMatch,
1921                                                   mediaIterator);
1922         if (kernResult != KERN_SUCCESS) {
1923             error_report("Note: IOServiceGetMatchingServices returned %d",
1924                          kernResult);
1925             continue;
1926         }
1927
1928         /* If a match was found, leave the loop */
1929         if (*mediaIterator != 0) {
1930             DPRINTF("Matching using %s\n", matching_array[index]);
1931             mediaType = g_strdup(matching_array[index]);
1932             break;
1933         }
1934     }
1935     return mediaType;
1936 }
1937
1938 kern_return_t GetBSDPath(io_iterator_t mediaIterator, char *bsdPath,
1939                          CFIndex maxPathSize, int flags)
1940 {
1941     io_object_t     nextMedia;
1942     kern_return_t   kernResult = KERN_FAILURE;
1943     *bsdPath = '\0';
1944     nextMedia = IOIteratorNext( mediaIterator );
1945     if ( nextMedia )
1946     {
1947         CFTypeRef   bsdPathAsCFString;
1948     bsdPathAsCFString = IORegistryEntryCreateCFProperty( nextMedia, CFSTR( kIOBSDNameKey ), kCFAllocatorDefault, 0 );
1949         if ( bsdPathAsCFString ) {
1950             size_t devPathLength;
1951             strcpy( bsdPath, _PATH_DEV );
1952             if (flags & BDRV_O_NOCACHE) {
1953                 strcat(bsdPath, "r");
1954             }
1955             devPathLength = strlen( bsdPath );
1956             if ( CFStringGetCString( bsdPathAsCFString, bsdPath + devPathLength, maxPathSize - devPathLength, kCFStringEncodingASCII ) ) {
1957                 kernResult = KERN_SUCCESS;
1958             }
1959             CFRelease( bsdPathAsCFString );
1960         }
1961         IOObjectRelease( nextMedia );
1962     }
1963
1964     return kernResult;
1965 }
1966
1967 /* Sets up a real cdrom for use in QEMU */
1968 static bool setup_cdrom(char *bsd_path, Error **errp)
1969 {
1970     int index, num_of_test_partitions = 2, fd;
1971     char test_partition[MAXPATHLEN];
1972     bool partition_found = false;
1973
1974     /* look for a working partition */
1975     for (index = 0; index < num_of_test_partitions; index++) {
1976         snprintf(test_partition, sizeof(test_partition), "%ss%d", bsd_path,
1977                  index);
1978         fd = qemu_open(test_partition, O_RDONLY | O_BINARY | O_LARGEFILE);
1979         if (fd >= 0) {
1980             partition_found = true;
1981             qemu_close(fd);
1982             break;
1983         }
1984     }
1985
1986     /* if a working partition on the device was not found */
1987     if (partition_found == false) {
1988         error_setg(errp, "Failed to find a working partition on disc");
1989     } else {
1990         DPRINTF("Using %s as optical disc\n", test_partition);
1991         pstrcpy(bsd_path, MAXPATHLEN, test_partition);
1992     }
1993     return partition_found;
1994 }
1995
1996 /* Prints directions on mounting and unmounting a device */
1997 static void print_unmounting_directions(const char *file_name)
1998 {
1999     error_report("If device %s is mounted on the desktop, unmount"
2000                  " it first before using it in QEMU", file_name);
2001     error_report("Command to unmount device: diskutil unmountDisk %s",
2002                  file_name);
2003     error_report("Command to mount device: diskutil mountDisk %s", file_name);
2004 }
2005
2006 #endif /* defined(__APPLE__) && defined(__MACH__) */
2007
2008 static int hdev_probe_device(const char *filename)
2009 {
2010     struct stat st;
2011
2012     /* allow a dedicated CD-ROM driver to match with a higher priority */
2013     if (strstart(filename, "/dev/cdrom", NULL))
2014         return 50;
2015
2016     if (stat(filename, &st) >= 0 &&
2017             (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode))) {
2018         return 100;
2019     }
2020
2021     return 0;
2022 }
2023
2024 static int check_hdev_writable(BDRVRawState *s)
2025 {
2026 #if defined(BLKROGET)
2027     /* Linux block devices can be configured "read-only" using blockdev(8).
2028      * This is independent of device node permissions and therefore open(2)
2029      * with O_RDWR succeeds.  Actual writes fail with EPERM.
2030      *
2031      * bdrv_open() is supposed to fail if the disk is read-only.  Explicitly
2032      * check for read-only block devices so that Linux block devices behave
2033      * properly.
2034      */
2035     struct stat st;
2036     int readonly = 0;
2037
2038     if (fstat(s->fd, &st)) {
2039         return -errno;
2040     }
2041
2042     if (!S_ISBLK(st.st_mode)) {
2043         return 0;
2044     }
2045
2046     if (ioctl(s->fd, BLKROGET, &readonly) < 0) {
2047         return -errno;
2048     }
2049
2050     if (readonly) {
2051         return -EACCES;
2052     }
2053 #endif /* defined(BLKROGET) */
2054     return 0;
2055 }
2056
2057 static void hdev_parse_filename(const char *filename, QDict *options,
2058                                 Error **errp)
2059 {
2060     /* The prefix is optional, just as for "file". */
2061     strstart(filename, "host_device:", &filename);
2062
2063     qdict_put_obj(options, "filename", QOBJECT(qstring_from_str(filename)));
2064 }
2065
2066 static bool hdev_is_sg(BlockDriverState *bs)
2067 {
2068
2069 #if defined(__linux__)
2070
2071     struct stat st;
2072     struct sg_scsi_id scsiid;
2073     int sg_version;
2074
2075     if (stat(bs->filename, &st) >= 0 && S_ISCHR(st.st_mode) &&
2076         !bdrv_ioctl(bs, SG_GET_VERSION_NUM, &sg_version) &&
2077         !bdrv_ioctl(bs, SG_GET_SCSI_ID, &scsiid)) {
2078         DPRINTF("SG device found: type=%d, version=%d\n",
2079             scsiid.scsi_type, sg_version);
2080         return true;
2081     }
2082
2083 #endif
2084
2085     return false;
2086 }
2087
2088 static int hdev_open(BlockDriverState *bs, QDict *options, int flags,
2089                      Error **errp)
2090 {
2091     BDRVRawState *s = bs->opaque;
2092     Error *local_err = NULL;
2093     int ret;
2094
2095 #if defined(__APPLE__) && defined(__MACH__)
2096     const char *filename = qdict_get_str(options, "filename");
2097     char bsd_path[MAXPATHLEN] = "";
2098     bool error_occurred = false;
2099
2100     /* If using a real cdrom */
2101     if (strcmp(filename, "/dev/cdrom") == 0) {
2102         char *mediaType = NULL;
2103         kern_return_t ret_val;
2104         io_iterator_t mediaIterator = 0;
2105
2106         mediaType = FindEjectableOpticalMedia(&mediaIterator);
2107         if (mediaType == NULL) {
2108             error_setg(errp, "Please make sure your CD/DVD is in the optical"
2109                        " drive");
2110             error_occurred = true;
2111             goto hdev_open_Mac_error;
2112         }
2113
2114         ret_val = GetBSDPath(mediaIterator, bsd_path, sizeof(bsd_path), flags);
2115         if (ret_val != KERN_SUCCESS) {
2116             error_setg(errp, "Could not get BSD path for optical drive");
2117             error_occurred = true;
2118             goto hdev_open_Mac_error;
2119         }
2120
2121         /* If a real optical drive was not found */
2122         if (bsd_path[0] == '\0') {
2123             error_setg(errp, "Failed to obtain bsd path for optical drive");
2124             error_occurred = true;
2125             goto hdev_open_Mac_error;
2126         }
2127
2128         /* If using a cdrom disc and finding a partition on the disc failed */
2129         if (strncmp(mediaType, kIOCDMediaClass, 9) == 0 &&
2130             setup_cdrom(bsd_path, errp) == false) {
2131             print_unmounting_directions(bsd_path);
2132             error_occurred = true;
2133             goto hdev_open_Mac_error;
2134         }
2135
2136         qdict_put(options, "filename", qstring_from_str(bsd_path));
2137
2138 hdev_open_Mac_error:
2139         g_free(mediaType);
2140         if (mediaIterator) {
2141             IOObjectRelease(mediaIterator);
2142         }
2143         if (error_occurred) {
2144             return -ENOENT;
2145         }
2146     }
2147 #endif /* defined(__APPLE__) && defined(__MACH__) */
2148
2149     s->type = FTYPE_FILE;
2150
2151     ret = raw_open_common(bs, options, flags, 0, &local_err);
2152     if (ret < 0) {
2153         error_propagate(errp, local_err);
2154 #if defined(__APPLE__) && defined(__MACH__)
2155         if (*bsd_path) {
2156             filename = bsd_path;
2157         }
2158         /* if a physical device experienced an error while being opened */
2159         if (strncmp(filename, "/dev/", 5) == 0) {
2160             print_unmounting_directions(filename);
2161         }
2162 #endif /* defined(__APPLE__) && defined(__MACH__) */
2163         return ret;
2164     }
2165
2166     /* Since this does ioctl the device must be already opened */
2167     bs->sg = hdev_is_sg(bs);
2168
2169     if (flags & BDRV_O_RDWR) {
2170         ret = check_hdev_writable(s);
2171         if (ret < 0) {
2172             raw_close(bs);
2173             error_setg_errno(errp, -ret, "The device is not writable");
2174             return ret;
2175         }
2176     }
2177
2178     return ret;
2179 }
2180
2181 #if defined(__linux__)
2182
2183 static BlockAIOCB *hdev_aio_ioctl(BlockDriverState *bs,
2184         unsigned long int req, void *buf,
2185         BlockCompletionFunc *cb, void *opaque)
2186 {
2187     BDRVRawState *s = bs->opaque;
2188     RawPosixAIOData *acb;
2189     ThreadPool *pool;
2190
2191     if (fd_open(bs) < 0)
2192         return NULL;
2193
2194     acb = g_new(RawPosixAIOData, 1);
2195     acb->bs = bs;
2196     acb->aio_type = QEMU_AIO_IOCTL;
2197     acb->aio_fildes = s->fd;
2198     acb->aio_offset = 0;
2199     acb->aio_ioctl_buf = buf;
2200     acb->aio_ioctl_cmd = req;
2201     pool = aio_get_thread_pool(bdrv_get_aio_context(bs));
2202     return thread_pool_submit_aio(pool, aio_worker, acb, cb, opaque);
2203 }
2204 #endif /* linux */
2205
2206 static int fd_open(BlockDriverState *bs)
2207 {
2208     BDRVRawState *s = bs->opaque;
2209
2210     /* this is just to ensure s->fd is sane (its called by io ops) */
2211     if (s->fd >= 0)
2212         return 0;
2213     return -EIO;
2214 }
2215
2216 static coroutine_fn BlockAIOCB *hdev_aio_pdiscard(BlockDriverState *bs,
2217     int64_t offset, int count,
2218     BlockCompletionFunc *cb, void *opaque)
2219 {
2220     BDRVRawState *s = bs->opaque;
2221
2222     if (fd_open(bs) < 0) {
2223         return NULL;
2224     }
2225     return paio_submit(bs, s->fd, offset, NULL, count,
2226                        cb, opaque, QEMU_AIO_DISCARD|QEMU_AIO_BLKDEV);
2227 }
2228
2229 static coroutine_fn int hdev_co_pwrite_zeroes(BlockDriverState *bs,
2230     int64_t offset, int count, BdrvRequestFlags flags)
2231 {
2232     BDRVRawState *s = bs->opaque;
2233     int rc;
2234
2235     rc = fd_open(bs);
2236     if (rc < 0) {
2237         return rc;
2238     }
2239     if (!(flags & BDRV_REQ_MAY_UNMAP)) {
2240         return paio_submit_co(bs, s->fd, offset, NULL, count,
2241                               QEMU_AIO_WRITE_ZEROES|QEMU_AIO_BLKDEV);
2242     } else if (s->discard_zeroes) {
2243         return paio_submit_co(bs, s->fd, offset, NULL, count,
2244                               QEMU_AIO_DISCARD|QEMU_AIO_BLKDEV);
2245     }
2246     return -ENOTSUP;
2247 }
2248
2249 static int hdev_create(const char *filename, QemuOpts *opts,
2250                        Error **errp)
2251 {
2252     int fd;
2253     int ret = 0;
2254     struct stat stat_buf;
2255     int64_t total_size = 0;
2256     bool has_prefix;
2257
2258     /* This function is used by both protocol block drivers and therefore either
2259      * of these prefixes may be given.
2260      * The return value has to be stored somewhere, otherwise this is an error
2261      * due to -Werror=unused-value. */
2262     has_prefix =
2263         strstart(filename, "host_device:", &filename) ||
2264         strstart(filename, "host_cdrom:" , &filename);
2265
2266     (void)has_prefix;
2267
2268     ret = raw_normalize_devicepath(&filename);
2269     if (ret < 0) {
2270         error_setg_errno(errp, -ret, "Could not normalize device path");
2271         return ret;
2272     }
2273
2274     /* Read out options */
2275     total_size = ROUND_UP(qemu_opt_get_size_del(opts, BLOCK_OPT_SIZE, 0),
2276                           BDRV_SECTOR_SIZE);
2277
2278     fd = qemu_open(filename, O_WRONLY | O_BINARY);
2279     if (fd < 0) {
2280         ret = -errno;
2281         error_setg_errno(errp, -ret, "Could not open device");
2282         return ret;
2283     }
2284
2285     if (fstat(fd, &stat_buf) < 0) {
2286         ret = -errno;
2287         error_setg_errno(errp, -ret, "Could not stat device");
2288     } else if (!S_ISBLK(stat_buf.st_mode) && !S_ISCHR(stat_buf.st_mode)) {
2289         error_setg(errp,
2290                    "The given file is neither a block nor a character device");
2291         ret = -ENODEV;
2292     } else if (lseek(fd, 0, SEEK_END) < total_size) {
2293         error_setg(errp, "Device is too small");
2294         ret = -ENOSPC;
2295     }
2296
2297     qemu_close(fd);
2298     return ret;
2299 }
2300
2301 static BlockDriver bdrv_host_device = {
2302     .format_name        = "host_device",
2303     .protocol_name        = "host_device",
2304     .instance_size      = sizeof(BDRVRawState),
2305     .bdrv_needs_filename = true,
2306     .bdrv_probe_device  = hdev_probe_device,
2307     .bdrv_parse_filename = hdev_parse_filename,
2308     .bdrv_file_open     = hdev_open,
2309     .bdrv_close         = raw_close,
2310     .bdrv_reopen_prepare = raw_reopen_prepare,
2311     .bdrv_reopen_commit  = raw_reopen_commit,
2312     .bdrv_reopen_abort   = raw_reopen_abort,
2313     .bdrv_create         = hdev_create,
2314     .create_opts         = &raw_create_opts,
2315     .bdrv_co_pwrite_zeroes = hdev_co_pwrite_zeroes,
2316
2317     .bdrv_co_preadv         = raw_co_preadv,
2318     .bdrv_co_pwritev        = raw_co_pwritev,
2319     .bdrv_aio_flush     = raw_aio_flush,
2320     .bdrv_aio_pdiscard   = hdev_aio_pdiscard,
2321     .bdrv_refresh_limits = raw_refresh_limits,
2322     .bdrv_io_plug = raw_aio_plug,
2323     .bdrv_io_unplug = raw_aio_unplug,
2324
2325     .bdrv_truncate      = raw_truncate,
2326     .bdrv_getlength     = raw_getlength,
2327     .bdrv_get_info = raw_get_info,
2328     .bdrv_get_allocated_file_size
2329                         = raw_get_allocated_file_size,
2330     .bdrv_probe_blocksizes = hdev_probe_blocksizes,
2331     .bdrv_probe_geometry = hdev_probe_geometry,
2332
2333     /* generic scsi device */
2334 #ifdef __linux__
2335     .bdrv_aio_ioctl     = hdev_aio_ioctl,
2336 #endif
2337 };
2338
2339 #if defined(__linux__) || defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
2340 static void cdrom_parse_filename(const char *filename, QDict *options,
2341                                  Error **errp)
2342 {
2343     /* The prefix is optional, just as for "file". */
2344     strstart(filename, "host_cdrom:", &filename);
2345
2346     qdict_put_obj(options, "filename", QOBJECT(qstring_from_str(filename)));
2347 }
2348 #endif
2349
2350 #ifdef __linux__
2351 static int cdrom_open(BlockDriverState *bs, QDict *options, int flags,
2352                       Error **errp)
2353 {
2354     BDRVRawState *s = bs->opaque;
2355
2356     s->type = FTYPE_CD;
2357
2358     /* open will not fail even if no CD is inserted, so add O_NONBLOCK */
2359     return raw_open_common(bs, options, flags, O_NONBLOCK, errp);
2360 }
2361
2362 static int cdrom_probe_device(const char *filename)
2363 {
2364     int fd, ret;
2365     int prio = 0;
2366     struct stat st;
2367
2368     fd = qemu_open(filename, O_RDONLY | O_NONBLOCK);
2369     if (fd < 0) {
2370         goto out;
2371     }
2372     ret = fstat(fd, &st);
2373     if (ret == -1 || !S_ISBLK(st.st_mode)) {
2374         goto outc;
2375     }
2376
2377     /* Attempt to detect via a CDROM specific ioctl */
2378     ret = ioctl(fd, CDROM_DRIVE_STATUS, CDSL_CURRENT);
2379     if (ret >= 0)
2380         prio = 100;
2381
2382 outc:
2383     qemu_close(fd);
2384 out:
2385     return prio;
2386 }
2387
2388 static bool cdrom_is_inserted(BlockDriverState *bs)
2389 {
2390     BDRVRawState *s = bs->opaque;
2391     int ret;
2392
2393     ret = ioctl(s->fd, CDROM_DRIVE_STATUS, CDSL_CURRENT);
2394     return ret == CDS_DISC_OK;
2395 }
2396
2397 static void cdrom_eject(BlockDriverState *bs, bool eject_flag)
2398 {
2399     BDRVRawState *s = bs->opaque;
2400
2401     if (eject_flag) {
2402         if (ioctl(s->fd, CDROMEJECT, NULL) < 0)
2403             perror("CDROMEJECT");
2404     } else {
2405         if (ioctl(s->fd, CDROMCLOSETRAY, NULL) < 0)
2406             perror("CDROMEJECT");
2407     }
2408 }
2409
2410 static void cdrom_lock_medium(BlockDriverState *bs, bool locked)
2411 {
2412     BDRVRawState *s = bs->opaque;
2413
2414     if (ioctl(s->fd, CDROM_LOCKDOOR, locked) < 0) {
2415         /*
2416          * Note: an error can happen if the distribution automatically
2417          * mounts the CD-ROM
2418          */
2419         /* perror("CDROM_LOCKDOOR"); */
2420     }
2421 }
2422
2423 static BlockDriver bdrv_host_cdrom = {
2424     .format_name        = "host_cdrom",
2425     .protocol_name      = "host_cdrom",
2426     .instance_size      = sizeof(BDRVRawState),
2427     .bdrv_needs_filename = true,
2428     .bdrv_probe_device  = cdrom_probe_device,
2429     .bdrv_parse_filename = cdrom_parse_filename,
2430     .bdrv_file_open     = cdrom_open,
2431     .bdrv_close         = raw_close,
2432     .bdrv_reopen_prepare = raw_reopen_prepare,
2433     .bdrv_reopen_commit  = raw_reopen_commit,
2434     .bdrv_reopen_abort   = raw_reopen_abort,
2435     .bdrv_create         = hdev_create,
2436     .create_opts         = &raw_create_opts,
2437
2438
2439     .bdrv_co_preadv         = raw_co_preadv,
2440     .bdrv_co_pwritev        = raw_co_pwritev,
2441     .bdrv_aio_flush     = raw_aio_flush,
2442     .bdrv_refresh_limits = raw_refresh_limits,
2443     .bdrv_io_plug = raw_aio_plug,
2444     .bdrv_io_unplug = raw_aio_unplug,
2445
2446     .bdrv_truncate      = raw_truncate,
2447     .bdrv_getlength      = raw_getlength,
2448     .has_variable_length = true,
2449     .bdrv_get_allocated_file_size
2450                         = raw_get_allocated_file_size,
2451
2452     /* removable device support */
2453     .bdrv_is_inserted   = cdrom_is_inserted,
2454     .bdrv_eject         = cdrom_eject,
2455     .bdrv_lock_medium   = cdrom_lock_medium,
2456
2457     /* generic scsi device */
2458     .bdrv_aio_ioctl     = hdev_aio_ioctl,
2459 };
2460 #endif /* __linux__ */
2461
2462 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
2463 static int cdrom_open(BlockDriverState *bs, QDict *options, int flags,
2464                       Error **errp)
2465 {
2466     BDRVRawState *s = bs->opaque;
2467     Error *local_err = NULL;
2468     int ret;
2469
2470     s->type = FTYPE_CD;
2471
2472     ret = raw_open_common(bs, options, flags, 0, &local_err);
2473     if (ret) {
2474         error_propagate(errp, local_err);
2475         return ret;
2476     }
2477
2478     /* make sure the door isn't locked at this time */
2479     ioctl(s->fd, CDIOCALLOW);
2480     return 0;
2481 }
2482
2483 static int cdrom_probe_device(const char *filename)
2484 {
2485     if (strstart(filename, "/dev/cd", NULL) ||
2486             strstart(filename, "/dev/acd", NULL))
2487         return 100;
2488     return 0;
2489 }
2490
2491 static int cdrom_reopen(BlockDriverState *bs)
2492 {
2493     BDRVRawState *s = bs->opaque;
2494     int fd;
2495
2496     /*
2497      * Force reread of possibly changed/newly loaded disc,
2498      * FreeBSD seems to not notice sometimes...
2499      */
2500     if (s->fd >= 0)
2501         qemu_close(s->fd);
2502     fd = qemu_open(bs->filename, s->open_flags, 0644);
2503     if (fd < 0) {
2504         s->fd = -1;
2505         return -EIO;
2506     }
2507     s->fd = fd;
2508
2509     /* make sure the door isn't locked at this time */
2510     ioctl(s->fd, CDIOCALLOW);
2511     return 0;
2512 }
2513
2514 static bool cdrom_is_inserted(BlockDriverState *bs)
2515 {
2516     return raw_getlength(bs) > 0;
2517 }
2518
2519 static void cdrom_eject(BlockDriverState *bs, bool eject_flag)
2520 {
2521     BDRVRawState *s = bs->opaque;
2522
2523     if (s->fd < 0)
2524         return;
2525
2526     (void) ioctl(s->fd, CDIOCALLOW);
2527
2528     if (eject_flag) {
2529         if (ioctl(s->fd, CDIOCEJECT) < 0)
2530             perror("CDIOCEJECT");
2531     } else {
2532         if (ioctl(s->fd, CDIOCCLOSE) < 0)
2533             perror("CDIOCCLOSE");
2534     }
2535
2536     cdrom_reopen(bs);
2537 }
2538
2539 static void cdrom_lock_medium(BlockDriverState *bs, bool locked)
2540 {
2541     BDRVRawState *s = bs->opaque;
2542
2543     if (s->fd < 0)
2544         return;
2545     if (ioctl(s->fd, (locked ? CDIOCPREVENT : CDIOCALLOW)) < 0) {
2546         /*
2547          * Note: an error can happen if the distribution automatically
2548          * mounts the CD-ROM
2549          */
2550         /* perror("CDROM_LOCKDOOR"); */
2551     }
2552 }
2553
2554 static BlockDriver bdrv_host_cdrom = {
2555     .format_name        = "host_cdrom",
2556     .protocol_name      = "host_cdrom",
2557     .instance_size      = sizeof(BDRVRawState),
2558     .bdrv_needs_filename = true,
2559     .bdrv_probe_device  = cdrom_probe_device,
2560     .bdrv_parse_filename = cdrom_parse_filename,
2561     .bdrv_file_open     = cdrom_open,
2562     .bdrv_close         = raw_close,
2563     .bdrv_reopen_prepare = raw_reopen_prepare,
2564     .bdrv_reopen_commit  = raw_reopen_commit,
2565     .bdrv_reopen_abort   = raw_reopen_abort,
2566     .bdrv_create        = hdev_create,
2567     .create_opts        = &raw_create_opts,
2568
2569     .bdrv_co_preadv         = raw_co_preadv,
2570     .bdrv_co_pwritev        = raw_co_pwritev,
2571     .bdrv_aio_flush     = raw_aio_flush,
2572     .bdrv_refresh_limits = raw_refresh_limits,
2573     .bdrv_io_plug = raw_aio_plug,
2574     .bdrv_io_unplug = raw_aio_unplug,
2575
2576     .bdrv_truncate      = raw_truncate,
2577     .bdrv_getlength      = raw_getlength,
2578     .has_variable_length = true,
2579     .bdrv_get_allocated_file_size
2580                         = raw_get_allocated_file_size,
2581
2582     /* removable device support */
2583     .bdrv_is_inserted   = cdrom_is_inserted,
2584     .bdrv_eject         = cdrom_eject,
2585     .bdrv_lock_medium   = cdrom_lock_medium,
2586 };
2587 #endif /* __FreeBSD__ */
2588
2589 static void bdrv_file_init(void)
2590 {
2591     /*
2592      * Register all the drivers.  Note that order is important, the driver
2593      * registered last will get probed first.
2594      */
2595     bdrv_register(&bdrv_file);
2596     bdrv_register(&bdrv_host_device);
2597 #ifdef __linux__
2598     bdrv_register(&bdrv_host_cdrom);
2599 #endif
2600 #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
2601     bdrv_register(&bdrv_host_cdrom);
2602 #endif
2603 }
2604
2605 block_init(bdrv_file_init);