block/file-posix.c

   1 /*
   2  * Block driver for RAW files (posix)
   3  *
   4  * Copyright (c) 2006 Fabrice Bellard
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a copy
   7  * of this software and associated documentation files (the "Software"), to deal
   8  * in the Software without restriction, including without limitation the rights
   9  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
  10  * copies of the Software, and to permit persons to whom the Software is
  11  * furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in
  14  * all copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
  19  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  22  * THE SOFTWARE.
  23  */
  24
  25 #include "qemu/osdep.h"
  26 #include "qapi/error.h"
  27 #include "qemu/cutils.h"
  28 #include "qemu/error-report.h"
  29 #include "block/block_int.h"
  30 #include "qemu/module.h"
  31 #include "qemu/option.h"
  32 #include "trace.h"
  33 #include "block/thread-pool.h"
  34 #include "qemu/iov.h"
  35 #include "block/raw-aio.h"
  36 #include "qapi/qmp/qdict.h"
  37 #include "qapi/qmp/qstring.h"
  38
  39 #include "scsi/pr-manager.h"
  40 #include "scsi/constants.h"
  41
  42 #if defined(__APPLE__) && (__MACH__)
  43 #include <paths.h>
  44 #include <sys/param.h>
  45 #include <IOKit/IOKitLib.h>
  46 #include <IOKit/IOBSD.h>
  47 #include <IOKit/storage/IOMediaBSDClient.h>
  48 #include <IOKit/storage/IOMedia.h>
  49 #include <IOKit/storage/IOCDMedia.h>
  50 //#include <IOKit/storage/IOCDTypes.h>
  51 #include <IOKit/storage/IODVDMedia.h>
  52 #include <CoreFoundation/CoreFoundation.h>
  53 #endif
  54
  55 #ifdef __sun__
  56 #define _POSIX_PTHREAD_SEMANTICS 1
  57 #include <sys/dkio.h>
  58 #endif
  59 #ifdef __linux__
  60 #include <sys/ioctl.h>
  61 #include <sys/param.h>
  62 #include <linux/cdrom.h>
  63 #include <linux/fd.h>
  64 #include <linux/fs.h>
  65 #include <linux/hdreg.h>
  66 #include <scsi/sg.h>
  67 #ifdef __s390__
  68 #include <asm/dasd.h>
  69 #endif
  70 #ifndef FS_NOCOW_FL
  71 #define FS_NOCOW_FL                     0x00800000 /* Do not cow file */
  72 #endif
  73 #endif
  74 #if defined(CONFIG_FALLOCATE_PUNCH_HOLE) || defined(CONFIG_FALLOCATE_ZERO_RANGE)
  75 #include <linux/falloc.h>
  76 #endif
  77 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
  78 #include <sys/disk.h>
  79 #include <sys/cdio.h>
  80 #endif
  81
  82 #ifdef __OpenBSD__
  83 #include <sys/ioctl.h>
  84 #include <sys/disklabel.h>
  85 #include <sys/dkio.h>
  86 #endif
  87
  88 #ifdef __NetBSD__
  89 #include <sys/ioctl.h>
  90 #include <sys/disklabel.h>
  91 #include <sys/dkio.h>
  92 #include <sys/disk.h>
  93 #endif
  94
  95 #ifdef __DragonFly__
  96 #include <sys/ioctl.h>
  97 #include <sys/diskslice.h>
  98 #endif
  99
 100 #ifdef CONFIG_XFS
 101 #include <xfs/xfs.h>
 102 #endif
 103
 104 //#define DEBUG_BLOCK
 105
 106 #ifdef DEBUG_BLOCK
 107 # define DEBUG_BLOCK_PRINT 1
 108 #else
 109 # define DEBUG_BLOCK_PRINT 0
 110 #endif
 111 #define DPRINTF(fmt, ...) \
 112 do { \
 113     if (DEBUG_BLOCK_PRINT) { \
 114         printf(fmt, ## __VA_ARGS__); \
 115     } \
 116 } while (0)
 117
 118 /* OS X does not have O_DSYNC */
 119 #ifndef O_DSYNC
 120 #ifdef O_SYNC
 121 #define O_DSYNC O_SYNC
 122 #elif defined(O_FSYNC)
 123 #define O_DSYNC O_FSYNC
 124 #endif
 125 #endif
 126
 127 /* Approximate O_DIRECT with O_DSYNC if O_DIRECT isn't available */
 128 #ifndef O_DIRECT
 129 #define O_DIRECT O_DSYNC
 130 #endif
 131
 132 #define FTYPE_FILE   0
 133 #define FTYPE_CD     1
 134
 135 #define MAX_BLOCKSIZE   4096
 136
 137 /* Posix file locking bytes. Libvirt takes byte 0, we start from higher bytes,
 138  * leaving a few more bytes for its future use. */
 139 #define RAW_LOCK_PERM_BASE             100
 140 #define RAW_LOCK_SHARED_BASE           200
 141
 142 typedef struct BDRVRawState {
 143     int fd;
 144     int lock_fd;
 145     bool use_lock;
 146     int type;
 147     int open_flags;
 148     size_t buf_align;
 149
 150     /* The current permissions. */
 151     uint64_t perm;
 152     uint64_t shared_perm;
 153
 154 #ifdef CONFIG_XFS
 155     bool is_xfs:1;
 156 #endif
 157     bool has_discard:1;
 158     bool has_write_zeroes:1;
 159     bool discard_zeroes:1;
 160     bool use_linux_aio:1;
 161     bool page_cache_inconsistent:1;
 162     bool has_fallocate;
 163     bool needs_alignment;
 164
 165     PRManager *pr_mgr;
 166 } BDRVRawState;
 167
 168 typedef struct BDRVRawReopenState {
 169     int fd;
 170     int open_flags;
 171 } BDRVRawReopenState;
 172
 173 static int fd_open(BlockDriverState *bs);
 174 static int64_t raw_getlength(BlockDriverState *bs);
 175
 176 typedef struct RawPosixAIOData {
 177     BlockDriverState *bs;
 178     int aio_fildes;
 179     union {
 180         struct iovec *aio_iov;
 181         void *aio_ioctl_buf;
 182     };
 183     int aio_niov;
 184     uint64_t aio_nbytes;
 185 #define aio_ioctl_cmd   aio_nbytes /* for QEMU_AIO_IOCTL */
 186     off_t aio_offset;
 187     int aio_type;
 188 } RawPosixAIOData;
 189
 190 #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
 191 static int cdrom_reopen(BlockDriverState *bs);
 192 #endif
 193
 194 #if defined(__NetBSD__)
 195 static int raw_normalize_devicepath(const char **filename)
 196 {
 197     static char namebuf[PATH_MAX];
 198     const char *dp, *fname;
 199     struct stat sb;
 200
 201     fname = *filename;
 202     dp = strrchr(fname, '/');
 203     if (lstat(fname, &sb) < 0) {
 204         fprintf(stderr, "%s: stat failed: %s\n",
 205             fname, strerror(errno));
 206         return -errno;
 207     }
 208
 209     if (!S_ISBLK(sb.st_mode)) {
 210         return 0;
 211     }
 212
 213     if (dp == NULL) {
 214         snprintf(namebuf, PATH_MAX, "r%s", fname);
 215     } else {
 216         snprintf(namebuf, PATH_MAX, "%.*s/r%s",
 217             (int)(dp - fname), fname, dp + 1);
 218     }
 219     fprintf(stderr, "%s is a block device", fname);
 220     *filename = namebuf;
 221     fprintf(stderr, ", using %s\n", *filename);
 222
 223     return 0;
 224 }
 225 #else
 226 static int raw_normalize_devicepath(const char **filename)
 227 {
 228     return 0;
 229 }
 230 #endif
 231
 232 /*
 233  * Get logical block size via ioctl. On success store it in @sector_size_p.
 234  */
 235 static int probe_logical_blocksize(int fd, unsigned int *sector_size_p)
 236 {
 237     unsigned int sector_size;
 238     bool success = false;
 239     int i;
 240
 241     errno = ENOTSUP;
 242     static const unsigned long ioctl_list[] = {
 243 #ifdef BLKSSZGET
 244         BLKSSZGET,
 245 #endif
 246 #ifdef DKIOCGETBLOCKSIZE
 247         DKIOCGETBLOCKSIZE,
 248 #endif
 249 #ifdef DIOCGSECTORSIZE
 250         DIOCGSECTORSIZE,
 251 #endif
 252     };
 253
 254     /* Try a few ioctls to get the right size */
 255     for (i = 0; i < (int)ARRAY_SIZE(ioctl_list); i++) {
 256         if (ioctl(fd, ioctl_list[i], &sector_size) >= 0) {
 257             *sector_size_p = sector_size;
 258             success = true;
 259         }
 260     }
 261
 262     return success ? 0 : -errno;
 263 }
 264
 265 /**
 266  * Get physical block size of @fd.
 267  * On success, store it in @blk_size and return 0.
 268  * On failure, return -errno.
 269  */
 270 static int probe_physical_blocksize(int fd, unsigned int *blk_size)
 271 {
 272 #ifdef BLKPBSZGET
 273     if (ioctl(fd, BLKPBSZGET, blk_size) < 0) {
 274         return -errno;
 275     }
 276     return 0;
 277 #else
 278     return -ENOTSUP;
 279 #endif
 280 }
 281
 282 /* Check if read is allowed with given memory buffer and length.
 283  *
 284  * This function is used to check O_DIRECT memory buffer and request alignment.
 285  */
 286 static bool raw_is_io_aligned(int fd, void *buf, size_t len)
 287 {
 288     ssize_t ret = pread(fd, buf, len, 0);
 289
 290     if (ret >= 0) {
 291         return true;
 292     }
 293
 294 #ifdef __linux__
 295     /* The Linux kernel returns EINVAL for misaligned O_DIRECT reads.  Ignore
 296      * other errors (e.g. real I/O error), which could happen on a failed
 297      * drive, since we only care about probing alignment.
 298      */
 299     if (errno != EINVAL) {
 300         return true;
 301     }
 302 #endif
 303
 304     return false;
 305 }
 306
 307 static void raw_probe_alignment(BlockDriverState *bs, int fd, Error **errp)
 308 {
 309     BDRVRawState *s = bs->opaque;
 310     char *buf;
 311     size_t max_align = MAX(MAX_BLOCKSIZE, getpagesize());
 312
 313     /* For SCSI generic devices the alignment is not really used.
 314        With buffered I/O, we don't have any restrictions. */
 315     if (bdrv_is_sg(bs) || !s->needs_alignment) {
 316         bs->bl.request_alignment = 1;
 317         s->buf_align = 1;
 318         return;
 319     }
 320
 321     bs->bl.request_alignment = 0;
 322     s->buf_align = 0;
 323     /* Let's try to use the logical blocksize for the alignment. */
 324     if (probe_logical_blocksize(fd, &bs->bl.request_alignment) < 0) {
 325         bs->bl.request_alignment = 0;
 326     }
 327 #ifdef CONFIG_XFS
 328     if (s->is_xfs) {
 329         struct dioattr da;
 330         if (xfsctl(NULL, fd, XFS_IOC_DIOINFO, &da) >= 0) {
 331             bs->bl.request_alignment = da.d_miniosz;
 332             /* The kernel returns wrong information for d_mem */
 333             /* s->buf_align = da.d_mem; */
 334         }
 335     }
 336 #endif
 337
 338     /* If we could not get the sizes so far, we can only guess them */
 339     if (!s->buf_align) {
 340         size_t align;
 341         buf = qemu_memalign(max_align, 2 * max_align);
 342         for (align = 512; align <= max_align; align <<= 1) {
 343             if (raw_is_io_aligned(fd, buf + align, max_align)) {
 344                 s->buf_align = align;
 345                 break;
 346             }
 347         }
 348         qemu_vfree(buf);
 349     }
 350
 351     if (!bs->bl.request_alignment) {
 352         size_t align;
 353         buf = qemu_memalign(s->buf_align, max_align);
 354         for (align = 512; align <= max_align; align <<= 1) {
 355             if (raw_is_io_aligned(fd, buf, align)) {
 356                 bs->bl.request_alignment = align;
 357                 break;
 358             }
 359         }
 360         qemu_vfree(buf);
 361     }
 362
 363     if (!s->buf_align || !bs->bl.request_alignment) {
 364         error_setg(errp, "Could not find working O_DIRECT alignment");
 365         error_append_hint(errp, "Try cache.direct=off\n");
 366     }
 367 }
 368
 369 static void raw_parse_flags(int bdrv_flags, int *open_flags)
 370 {
 371     assert(open_flags != NULL);
 372
 373     *open_flags |= O_BINARY;
 374     *open_flags &= ~O_ACCMODE;
 375     if (bdrv_flags & BDRV_O_RDWR) {
 376         *open_flags |= O_RDWR;
 377     } else {
 378         *open_flags |= O_RDONLY;
 379     }
 380
 381     /* Use O_DSYNC for write-through caching, no flags for write-back caching,
 382      * and O_DIRECT for no caching. */
 383     if ((bdrv_flags & BDRV_O_NOCACHE)) {
 384         *open_flags |= O_DIRECT;
 385     }
 386 }
 387
 388 static void raw_parse_filename(const char *filename, QDict *options,
 389                                Error **errp)
 390 {
 391     bdrv_parse_filename_strip_prefix(filename, "file:", options);
 392 }
 393
 394 static QemuOptsList raw_runtime_opts = {
 395     .name = "raw",
 396     .head = QTAILQ_HEAD_INITIALIZER(raw_runtime_opts.head),
 397     .desc = {
 398         {
 399             .name = "filename",
 400             .type = QEMU_OPT_STRING,
 401             .help = "File name of the image",
 402         },
 403         {
 404             .name = "aio",
 405             .type = QEMU_OPT_STRING,
 406             .help = "host AIO implementation (threads, native)",
 407         },
 408         {
 409             .name = "locking",
 410             .type = QEMU_OPT_STRING,
 411             .help = "file locking mode (on/off/auto, default: auto)",
 412         },
 413         {
 414             .name = "pr-manager",
 415             .type = QEMU_OPT_STRING,
 416             .help = "id of persistent reservation manager object (default: none)",
 417         },
 418         { /* end of list */ }
 419     },
 420 };
 421
 422 static int raw_open_common(BlockDriverState *bs, QDict *options,
 423                            int bdrv_flags, int open_flags, Error **errp)
 424 {
 425     BDRVRawState *s = bs->opaque;
 426     QemuOpts *opts;
 427     Error *local_err = NULL;
 428     const char *filename = NULL;
 429     const char *str;
 430     BlockdevAioOptions aio, aio_default;
 431     int fd, ret;
 432     struct stat st;
 433     OnOffAuto locking;
 434
 435     opts = qemu_opts_create(&raw_runtime_opts, NULL, 0, &error_abort);
 436     qemu_opts_absorb_qdict(opts, options, &local_err);
 437     if (local_err) {
 438         error_propagate(errp, local_err);
 439         ret = -EINVAL;
 440         goto fail;
 441     }
 442
 443     filename = qemu_opt_get(opts, "filename");
 444
 445     ret = raw_normalize_devicepath(&filename);
 446     if (ret != 0) {
 447         error_setg_errno(errp, -ret, "Could not normalize device path");
 448         goto fail;
 449     }
 450
 451     aio_default = (bdrv_flags & BDRV_O_NATIVE_AIO)
 452                   ? BLOCKDEV_AIO_OPTIONS_NATIVE
 453                   : BLOCKDEV_AIO_OPTIONS_THREADS;
 454     aio = qapi_enum_parse(&BlockdevAioOptions_lookup,
 455                           qemu_opt_get(opts, "aio"),
 456                           aio_default, &local_err);
 457     if (local_err) {
 458         error_propagate(errp, local_err);
 459         ret = -EINVAL;
 460         goto fail;
 461     }
 462     s->use_linux_aio = (aio == BLOCKDEV_AIO_OPTIONS_NATIVE);
 463
 464     locking = qapi_enum_parse(&OnOffAuto_lookup,
 465                               qemu_opt_get(opts, "locking"),
 466                               ON_OFF_AUTO_AUTO, &local_err);
 467     if (local_err) {
 468         error_propagate(errp, local_err);
 469         ret = -EINVAL;
 470         goto fail;
 471     }
 472     switch (locking) {
 473     case ON_OFF_AUTO_ON:
 474         s->use_lock = true;
 475         if (!qemu_has_ofd_lock()) {
 476             fprintf(stderr,
 477                     "File lock requested but OFD locking syscall is "
 478                     "unavailable, falling back to POSIX file locks.\n"
 479                     "Due to the implementation, locks can be lost "
 480                     "unexpectedly.\n");
 481         }
 482         break;
 483     case ON_OFF_AUTO_OFF:
 484         s->use_lock = false;
 485         break;
 486     case ON_OFF_AUTO_AUTO:
 487         s->use_lock = qemu_has_ofd_lock();
 488         break;
 489     default:
 490         abort();
 491     }
 492
 493     str = qemu_opt_get(opts, "pr-manager");
 494     if (str) {
 495         s->pr_mgr = pr_manager_lookup(str, &local_err);
 496         if (local_err) {
 497             error_propagate(errp, local_err);
 498             ret = -EINVAL;
 499             goto fail;
 500         }
 501     }
 502
 503     s->open_flags = open_flags;
 504     raw_parse_flags(bdrv_flags, &s->open_flags);
 505
 506     s->fd = -1;
 507     fd = qemu_open(filename, s->open_flags, 0644);
 508     if (fd < 0) {
 509         ret = -errno;
 510         error_setg_errno(errp, errno, "Could not open '%s'", filename);
 511         if (ret == -EROFS) {
 512             ret = -EACCES;
 513         }
 514         goto fail;
 515     }
 516     s->fd = fd;
 517
 518     s->lock_fd = -1;
 519     if (s->use_lock) {
 520         fd = qemu_open(filename, s->open_flags);
 521         if (fd < 0) {
 522             ret = -errno;
 523             error_setg_errno(errp, errno, "Could not open '%s' for locking",
 524                              filename);
 525             qemu_close(s->fd);
 526             goto fail;
 527         }
 528         s->lock_fd = fd;
 529     }
 530     s->perm = 0;
 531     s->shared_perm = BLK_PERM_ALL;
 532
 533 #ifdef CONFIG_LINUX_AIO
 534      /* Currently Linux does AIO only for files opened with O_DIRECT */
 535     if (s->use_linux_aio && !(s->open_flags & O_DIRECT)) {
 536         error_setg(errp, "aio=native was specified, but it requires "
 537                          "cache.direct=on, which was not specified.");
 538         ret = -EINVAL;
 539         goto fail;
 540     }
 541 #else
 542     if (s->use_linux_aio) {
 543         error_setg(errp, "aio=native was specified, but is not supported "
 544                          "in this build.");
 545         ret = -EINVAL;
 546         goto fail;
 547     }
 548 #endif /* !defined(CONFIG_LINUX_AIO) */
 549
 550     s->has_discard = true;
 551     s->has_write_zeroes = true;
 552     if ((bs->open_flags & BDRV_O_NOCACHE) != 0) {
 553         s->needs_alignment = true;
 554     }
 555
 556     if (fstat(s->fd, &st) < 0) {
 557         ret = -errno;
 558         error_setg_errno(errp, errno, "Could not stat file");
 559         goto fail;
 560     }
 561     if (S_ISREG(st.st_mode)) {
 562         s->discard_zeroes = true;
 563         s->has_fallocate = true;
 564     }
 565     if (S_ISBLK(st.st_mode)) {
 566 #ifdef BLKDISCARDZEROES
 567         unsigned int arg;
 568         if (ioctl(s->fd, BLKDISCARDZEROES, &arg) == 0 && arg) {
 569             s->discard_zeroes = true;
 570         }
 571 #endif
 572 #ifdef __linux__
 573         /* On Linux 3.10, BLKDISCARD leaves stale data in the page cache.  Do
 574          * not rely on the contents of discarded blocks unless using O_DIRECT.
 575          * Same for BLKZEROOUT.
 576          */
 577         if (!(bs->open_flags & BDRV_O_NOCACHE)) {
 578             s->discard_zeroes = false;
 579             s->has_write_zeroes = false;
 580         }
 581 #endif
 582     }
 583 #ifdef __FreeBSD__
 584     if (S_ISCHR(st.st_mode)) {
 585         /*
 586          * The file is a char device (disk), which on FreeBSD isn't behind
 587          * a pager, so force all requests to be aligned. This is needed
 588          * so QEMU makes sure all IO operations on the device are aligned
 589          * to sector size, or else FreeBSD will reject them with EINVAL.
 590          */
 591         s->needs_alignment = true;
 592     }
 593 #endif
 594
 595 #ifdef CONFIG_XFS
 596     if (platform_test_xfs_fd(s->fd)) {
 597         s->is_xfs = true;
 598     }
 599 #endif
 600
 601     bs->supported_zero_flags = s->discard_zeroes ? BDRV_REQ_MAY_UNMAP : 0;
 602     ret = 0;
 603 fail:
 604     if (filename && (bdrv_flags & BDRV_O_TEMPORARY)) {
 605         unlink(filename);
 606     }
 607     qemu_opts_del(opts);
 608     return ret;
 609 }
 610
 611 static int raw_open(BlockDriverState *bs, QDict *options, int flags,
 612                     Error **errp)
 613 {
 614     BDRVRawState *s = bs->opaque;
 615
 616     s->type = FTYPE_FILE;
 617     return raw_open_common(bs, options, flags, 0, errp);
 618 }
 619
 620 typedef enum {
 621     RAW_PL_PREPARE,
 622     RAW_PL_COMMIT,
 623     RAW_PL_ABORT,
 624 } RawPermLockOp;
 625
 626 #define PERM_FOREACH(i) \
 627     for ((i) = 0; (1ULL << (i)) <= BLK_PERM_ALL; i++)
 628
 629 /* Lock bytes indicated by @perm_lock_bits and @shared_perm_lock_bits in the
 630  * file; if @unlock == true, also unlock the unneeded bytes.
 631  * @shared_perm_lock_bits is the mask of all permissions that are NOT shared.
 632  */
 633 static int raw_apply_lock_bytes(BDRVRawState *s,
 634                                 uint64_t perm_lock_bits,
 635                                 uint64_t shared_perm_lock_bits,
 636                                 bool unlock, Error **errp)
 637 {
 638     int ret;
 639     int i;
 640
 641     PERM_FOREACH(i) {
 642         int off = RAW_LOCK_PERM_BASE + i;
 643         if (perm_lock_bits & (1ULL << i)) {
 644             ret = qemu_lock_fd(s->lock_fd, off, 1, false);
 645             if (ret) {
 646                 error_setg(errp, "Failed to lock byte %d", off);
 647                 return ret;
 648             }
 649         } else if (unlock) {
 650             ret = qemu_unlock_fd(s->lock_fd, off, 1);
 651             if (ret) {
 652                 error_setg(errp, "Failed to unlock byte %d", off);
 653                 return ret;
 654             }
 655         }
 656     }
 657     PERM_FOREACH(i) {
 658         int off = RAW_LOCK_SHARED_BASE + i;
 659         if (shared_perm_lock_bits & (1ULL << i)) {
 660             ret = qemu_lock_fd(s->lock_fd, off, 1, false);
 661             if (ret) {
 662                 error_setg(errp, "Failed to lock byte %d", off);
 663                 return ret;
 664             }
 665         } else if (unlock) {
 666             ret = qemu_unlock_fd(s->lock_fd, off, 1);
 667             if (ret) {
 668                 error_setg(errp, "Failed to unlock byte %d", off);
 669                 return ret;
 670             }
 671         }
 672     }
 673     return 0;
 674 }
 675
 676 /* Check "unshared" bytes implied by @perm and ~@shared_perm in the file. */
 677 static int raw_check_lock_bytes(BDRVRawState *s,
 678                                 uint64_t perm, uint64_t shared_perm,
 679                                 Error **errp)
 680 {
 681     int ret;
 682     int i;
 683
 684     PERM_FOREACH(i) {
 685         int off = RAW_LOCK_SHARED_BASE + i;
 686         uint64_t p = 1ULL << i;
 687         if (perm & p) {
 688             ret = qemu_lock_fd_test(s->lock_fd, off, 1, true);
 689             if (ret) {
 690                 char *perm_name = bdrv_perm_names(p);
 691                 error_setg(errp,
 692                            "Failed to get \"%s\" lock",
 693                            perm_name);
 694                 g_free(perm_name);
 695                 error_append_hint(errp,
 696                                   "Is another process using the image?\n");
 697                 return ret;
 698             }
 699         }
 700     }
 701     PERM_FOREACH(i) {
 702         int off = RAW_LOCK_PERM_BASE + i;
 703         uint64_t p = 1ULL << i;
 704         if (!(shared_perm & p)) {
 705             ret = qemu_lock_fd_test(s->lock_fd, off, 1, true);
 706             if (ret) {
 707                 char *perm_name = bdrv_perm_names(p);
 708                 error_setg(errp,
 709                            "Failed to get shared \"%s\" lock",
 710                            perm_name);
 711                 g_free(perm_name);
 712                 error_append_hint(errp,
 713                                   "Is another process using the image?\n");
 714                 return ret;
 715             }
 716         }
 717     }
 718     return 0;
 719 }
 720
 721 static int raw_handle_perm_lock(BlockDriverState *bs,
 722                                 RawPermLockOp op,
 723                                 uint64_t new_perm, uint64_t new_shared,
 724                                 Error **errp)
 725 {
 726     BDRVRawState *s = bs->opaque;
 727     int ret = 0;
 728     Error *local_err = NULL;
 729
 730     if (!s->use_lock) {
 731         return 0;
 732     }
 733
 734     if (bdrv_get_flags(bs) & BDRV_O_INACTIVE) {
 735         return 0;
 736     }
 737
 738     assert(s->lock_fd > 0);
 739
 740     switch (op) {
 741     case RAW_PL_PREPARE:
 742         ret = raw_apply_lock_bytes(s, s->perm | new_perm,
 743                                    ~s->shared_perm | ~new_shared,
 744                                    false, errp);
 745         if (!ret) {
 746             ret = raw_check_lock_bytes(s, new_perm, new_shared, errp);
 747             if (!ret) {
 748                 return 0;
 749             }
 750         }
 751         op = RAW_PL_ABORT;
 752         /* fall through to unlock bytes. */
 753     case RAW_PL_ABORT:
 754         raw_apply_lock_bytes(s, s->perm, ~s->shared_perm, true, &local_err);
 755         if (local_err) {
 756             /* Theoretically the above call only unlocks bytes and it cannot
 757              * fail. Something weird happened, report it.
 758              */
 759             error_report_err(local_err);
 760         }
 761         break;
 762     case RAW_PL_COMMIT:
 763         raw_apply_lock_bytes(s, new_perm, ~new_shared, true, &local_err);
 764         if (local_err) {
 765             /* Theoretically the above call only unlocks bytes and it cannot
 766              * fail. Something weird happened, report it.
 767              */
 768             error_report_err(local_err);
 769         }
 770         break;
 771     }
 772     return ret;
 773 }
 774
 775 static int raw_reopen_prepare(BDRVReopenState *state,
 776                               BlockReopenQueue *queue, Error **errp)
 777 {
 778     BDRVRawState *s;
 779     BDRVRawReopenState *rs;
 780     int ret = 0;
 781     Error *local_err = NULL;
 782
 783     assert(state != NULL);
 784     assert(state->bs != NULL);
 785
 786     s = state->bs->opaque;
 787
 788     state->opaque = g_new0(BDRVRawReopenState, 1);
 789     rs = state->opaque;
 790
 791     if (s->type == FTYPE_CD) {
 792         rs->open_flags |= O_NONBLOCK;
 793     }
 794
 795     raw_parse_flags(state->flags, &rs->open_flags);
 796
 797     rs->fd = -1;
 798
 799     int fcntl_flags = O_APPEND | O_NONBLOCK;
 800 #ifdef O_NOATIME
 801     fcntl_flags |= O_NOATIME;
 802 #endif
 803
 804 #ifdef O_ASYNC
 805     /* Not all operating systems have O_ASYNC, and those that don't
 806      * will not let us track the state into rs->open_flags (typically
 807      * you achieve the same effect with an ioctl, for example I_SETSIG
 808      * on Solaris). But we do not use O_ASYNC, so that's fine.
 809      */
 810     assert((s->open_flags & O_ASYNC) == 0);
 811 #endif
 812
 813     if ((rs->open_flags & ~fcntl_flags) == (s->open_flags & ~fcntl_flags)) {
 814         /* dup the original fd */
 815         rs->fd = qemu_dup(s->fd);
 816         if (rs->fd >= 0) {
 817             ret = fcntl_setfl(rs->fd, rs->open_flags);
 818             if (ret) {
 819                 qemu_close(rs->fd);
 820                 rs->fd = -1;
 821             }
 822         }
 823     }
 824
 825     /* If we cannot use fcntl, or fcntl failed, fall back to qemu_open() */
 826     if (rs->fd == -1) {
 827         const char *normalized_filename = state->bs->filename;
 828         ret = raw_normalize_devicepath(&normalized_filename);
 829         if (ret < 0) {
 830             error_setg_errno(errp, -ret, "Could not normalize device path");
 831         } else {
 832             assert(!(rs->open_flags & O_CREAT));
 833             rs->fd = qemu_open(normalized_filename, rs->open_flags);
 834             if (rs->fd == -1) {
 835                 error_setg_errno(errp, errno, "Could not reopen file");
 836                 ret = -1;
 837             }
 838         }
 839     }
 840
 841     /* Fail already reopen_prepare() if we can't get a working O_DIRECT
 842      * alignment with the new fd. */
 843     if (rs->fd != -1) {
 844         raw_probe_alignment(state->bs, rs->fd, &local_err);
 845         if (local_err) {
 846             qemu_close(rs->fd);
 847             rs->fd = -1;
 848             error_propagate(errp, local_err);
 849             ret = -EINVAL;
 850         }
 851     }
 852
 853     return ret;
 854 }
 855
 856 static void raw_reopen_commit(BDRVReopenState *state)
 857 {
 858     BDRVRawReopenState *rs = state->opaque;
 859     BDRVRawState *s = state->bs->opaque;
 860
 861     s->open_flags = rs->open_flags;
 862
 863     qemu_close(s->fd);
 864     s->fd = rs->fd;
 865
 866     g_free(state->opaque);
 867     state->opaque = NULL;
 868 }
 869
 870
 871 static void raw_reopen_abort(BDRVReopenState *state)
 872 {
 873     BDRVRawReopenState *rs = state->opaque;
 874
 875      /* nothing to do if NULL, we didn't get far enough */
 876     if (rs == NULL) {
 877         return;
 878     }
 879
 880     if (rs->fd >= 0) {
 881         qemu_close(rs->fd);
 882         rs->fd = -1;
 883     }
 884     g_free(state->opaque);
 885     state->opaque = NULL;
 886 }
 887
 888 static int hdev_get_max_transfer_length(BlockDriverState *bs, int fd)
 889 {
 890 #ifdef BLKSECTGET
 891     int max_bytes = 0;
 892     short max_sectors = 0;
 893     if (bs->sg && ioctl(fd, BLKSECTGET, &max_bytes) == 0) {
 894         return max_bytes;
 895     } else if (!bs->sg && ioctl(fd, BLKSECTGET, &max_sectors) == 0) {
 896         return max_sectors << BDRV_SECTOR_BITS;
 897     } else {
 898         return -errno;
 899     }
 900 #else
 901     return -ENOSYS;
 902 #endif
 903 }
 904
 905 static int hdev_get_max_segments(const struct stat *st)
 906 {
 907 #ifdef CONFIG_LINUX
 908     char buf[32];
 909     const char *end;
 910     char *sysfspath;
 911     int ret;
 912     int fd = -1;
 913     long max_segments;
 914
 915     sysfspath = g_strdup_printf("/sys/dev/block/%u:%u/queue/max_segments",
 916                                 major(st->st_rdev), minor(st->st_rdev));
 917     fd = open(sysfspath, O_RDONLY);
 918     if (fd == -1) {
 919         ret = -errno;
 920         goto out;
 921     }
 922     do {
 923         ret = read(fd, buf, sizeof(buf) - 1);
 924     } while (ret == -1 && errno == EINTR);
 925     if (ret < 0) {
 926         ret = -errno;
 927         goto out;
 928     } else if (ret == 0) {
 929         ret = -EIO;
 930         goto out;
 931     }
 932     buf[ret] = 0;
 933     /* The file is ended with '\n', pass 'end' to accept that. */
 934     ret = qemu_strtol(buf, &end, 10, &max_segments);
 935     if (ret == 0 && end && *end == '\n') {
 936         ret = max_segments;
 937     }
 938
 939 out:
 940     if (fd != -1) {
 941         close(fd);
 942     }
 943     g_free(sysfspath);
 944     return ret;
 945 #else
 946     return -ENOTSUP;
 947 #endif
 948 }
 949
 950 static void raw_refresh_limits(BlockDriverState *bs, Error **errp)
 951 {
 952     BDRVRawState *s = bs->opaque;
 953     struct stat st;
 954
 955     if (!fstat(s->fd, &st)) {
 956         if (S_ISBLK(st.st_mode) || S_ISCHR(st.st_mode)) {
 957             int ret = hdev_get_max_transfer_length(bs, s->fd);
 958             if (ret > 0 && ret <= BDRV_REQUEST_MAX_BYTES) {
 959                 bs->bl.max_transfer = pow2floor(ret);
 960             }
 961             ret = hdev_get_max_segments(&st);
 962             if (ret > 0) {
 963                 bs->bl.max_transfer = MIN(bs->bl.max_transfer,
 964                                           ret * getpagesize());
 965             }
 966         }
 967     }
 968
 969     raw_probe_alignment(bs, s->fd, errp);
 970     bs->bl.min_mem_alignment = s->buf_align;
 971     bs->bl.opt_mem_alignment = MAX(s->buf_align, getpagesize());
 972 }
 973
 974 static int check_for_dasd(int fd)
 975 {
 976 #ifdef BIODASDINFO2
 977     struct dasd_information2_t info = {0};
 978
 979     return ioctl(fd, BIODASDINFO2, &info);
 980 #else
 981     return -1;
 982 #endif
 983 }
 984
 985 /**
 986  * Try to get @bs's logical and physical block size.
 987  * On success, store them in @bsz and return zero.
 988  * On failure, return negative errno.
 989  */
 990 static int hdev_probe_blocksizes(BlockDriverState *bs, BlockSizes *bsz)
 991 {
 992     BDRVRawState *s = bs->opaque;
 993     int ret;
 994
 995     /* If DASD, get blocksizes */
 996     if (check_for_dasd(s->fd) < 0) {
 997         return -ENOTSUP;
 998     }
 999     ret = probe_logical_blocksize(s->fd, &bsz->log);
1000     if (ret < 0) {
1001         return ret;
1002     }
1003     return probe_physical_blocksize(s->fd, &bsz->phys);
1004 }
1005
1006 /**
1007  * Try to get @bs's geometry: cyls, heads, sectors.
1008  * On success, store them in @geo and return 0.
1009  * On failure return -errno.
1010  * (Allows block driver to assign default geometry values that guest sees)
1011  */
1012 #ifdef __linux__
1013 static int hdev_probe_geometry(BlockDriverState *bs, HDGeometry *geo)
1014 {
1015     BDRVRawState *s = bs->opaque;
1016     struct hd_geometry ioctl_geo = {0};
1017
1018     /* If DASD, get its geometry */
1019     if (check_for_dasd(s->fd) < 0) {
1020         return -ENOTSUP;
1021     }
1022     if (ioctl(s->fd, HDIO_GETGEO, &ioctl_geo) < 0) {
1023         return -errno;
1024     }
1025     /* HDIO_GETGEO may return success even though geo contains zeros
1026        (e.g. certain multipath setups) */
1027     if (!ioctl_geo.heads || !ioctl_geo.sectors || !ioctl_geo.cylinders) {
1028         return -ENOTSUP;
1029     }
1030     /* Do not return a geometry for partition */
1031     if (ioctl_geo.start != 0) {
1032         return -ENOTSUP;
1033     }
1034     geo->heads = ioctl_geo.heads;
1035     geo->sectors = ioctl_geo.sectors;
1036     geo->cylinders = ioctl_geo.cylinders;
1037
1038     return 0;
1039 }
1040 #else /* __linux__ */
1041 static int hdev_probe_geometry(BlockDriverState *bs, HDGeometry *geo)
1042 {
1043     return -ENOTSUP;
1044 }
1045 #endif
1046
1047 static ssize_t handle_aiocb_ioctl(RawPosixAIOData *aiocb)
1048 {
1049     int ret;
1050
1051     ret = ioctl(aiocb->aio_fildes, aiocb->aio_ioctl_cmd, aiocb->aio_ioctl_buf);
1052     if (ret == -1) {
1053         return -errno;
1054     }
1055
1056     return 0;
1057 }
1058
1059 static ssize_t handle_aiocb_flush(RawPosixAIOData *aiocb)
1060 {
1061     BDRVRawState *s = aiocb->bs->opaque;
1062     int ret;
1063
1064     if (s->page_cache_inconsistent) {
1065         return -EIO;
1066     }
1067
1068     ret = qemu_fdatasync(aiocb->aio_fildes);
1069     if (ret == -1) {
1070         /* There is no clear definition of the semantics of a failing fsync(),
1071          * so we may have to assume the worst. The sad truth is that this
1072          * assumption is correct for Linux. Some pages are now probably marked
1073          * clean in the page cache even though they are inconsistent with the
1074          * on-disk contents. The next fdatasync() call would succeed, but no
1075          * further writeback attempt will be made. We can't get back to a state
1076          * in which we know what is on disk (we would have to rewrite
1077          * everything that was touched since the last fdatasync() at least), so
1078          * make bdrv_flush() fail permanently. Given that the behaviour isn't
1079          * really defined, I have little hope that other OSes are doing better.
1080          *
1081          * Obviously, this doesn't affect O_DIRECT, which bypasses the page
1082          * cache. */
1083         if ((s->open_flags & O_DIRECT) == 0) {
1084             s->page_cache_inconsistent = true;
1085         }
1086         return -errno;
1087     }
1088     return 0;
1089 }
1090
1091 #ifdef CONFIG_PREADV
1092
1093 static bool preadv_present = true;
1094
1095 static ssize_t
1096 qemu_preadv(int fd, const struct iovec *iov, int nr_iov, off_t offset)
1097 {
1098     return preadv(fd, iov, nr_iov, offset);
1099 }
1100
1101 static ssize_t
1102 qemu_pwritev(int fd, const struct iovec *iov, int nr_iov, off_t offset)
1103 {
1104     return pwritev(fd, iov, nr_iov, offset);
1105 }
1106
1107 #else
1108
1109 static bool preadv_present = false;
1110
1111 static ssize_t
1112 qemu_preadv(int fd, const struct iovec *iov, int nr_iov, off_t offset)
1113 {
1114     return -ENOSYS;
1115 }
1116
1117 static ssize_t
1118 qemu_pwritev(int fd, const struct iovec *iov, int nr_iov, off_t offset)
1119 {
1120     return -ENOSYS;
1121 }
1122
1123 #endif
1124
1125 static ssize_t handle_aiocb_rw_vector(RawPosixAIOData *aiocb)
1126 {
1127     ssize_t len;
1128
1129     do {
1130         if (aiocb->aio_type & QEMU_AIO_WRITE)
1131             len = qemu_pwritev(aiocb->aio_fildes,
1132                                aiocb->aio_iov,
1133                                aiocb->aio_niov,
1134                                aiocb->aio_offset);
1135          else
1136             len = qemu_preadv(aiocb->aio_fildes,
1137                               aiocb->aio_iov,
1138                               aiocb->aio_niov,
1139                               aiocb->aio_offset);
1140     } while (len == -1 && errno == EINTR);
1141
1142     if (len == -1) {
1143         return -errno;
1144     }
1145     return len;
1146 }
1147
1148 /*
1149  * Read/writes the data to/from a given linear buffer.
1150  *
1151  * Returns the number of bytes handles or -errno in case of an error. Short
1152  * reads are only returned if the end of the file is reached.
1153  */
1154 static ssize_t handle_aiocb_rw_linear(RawPosixAIOData *aiocb, char *buf)
1155 {
1156     ssize_t offset = 0;
1157     ssize_t len;
1158
1159     while (offset < aiocb->aio_nbytes) {
1160         if (aiocb->aio_type & QEMU_AIO_WRITE) {
1161             len = pwrite(aiocb->aio_fildes,
1162                          (const char *)buf + offset,
1163                          aiocb->aio_nbytes - offset,
1164                          aiocb->aio_offset + offset);
1165         } else {
1166             len = pread(aiocb->aio_fildes,
1167                         buf + offset,
1168                         aiocb->aio_nbytes - offset,
1169                         aiocb->aio_offset + offset);
1170         }
1171         if (len == -1 && errno == EINTR) {
1172             continue;
1173         } else if (len == -1 && errno == EINVAL &&
1174                    (aiocb->bs->open_flags & BDRV_O_NOCACHE) &&
1175                    !(aiocb->aio_type & QEMU_AIO_WRITE) &&
1176                    offset > 0) {
1177             /* O_DIRECT pread() may fail with EINVAL when offset is unaligned
1178              * after a short read.  Assume that O_DIRECT short reads only occur
1179              * at EOF.  Therefore this is a short read, not an I/O error.
1180              */
1181             break;
1182         } else if (len == -1) {
1183             offset = -errno;
1184             break;
1185         } else if (len == 0) {
1186             break;
1187         }
1188         offset += len;
1189     }
1190
1191     return offset;
1192 }
1193
1194 static ssize_t handle_aiocb_rw(RawPosixAIOData *aiocb)
1195 {
1196     ssize_t nbytes;
1197     char *buf;
1198
1199     if (!(aiocb->aio_type & QEMU_AIO_MISALIGNED)) {
1200         /*
1201          * If there is just a single buffer, and it is properly aligned
1202          * we can just use plain pread/pwrite without any problems.
1203          */
1204         if (aiocb->aio_niov == 1) {
1205              return handle_aiocb_rw_linear(aiocb, aiocb->aio_iov->iov_base);
1206         }
1207         /*
1208          * We have more than one iovec, and all are properly aligned.
1209          *
1210          * Try preadv/pwritev first and fall back to linearizing the
1211          * buffer if it's not supported.
1212          */
1213         if (preadv_present) {
1214             nbytes = handle_aiocb_rw_vector(aiocb);
1215             if (nbytes == aiocb->aio_nbytes ||
1216                 (nbytes < 0 && nbytes != -ENOSYS)) {
1217                 return nbytes;
1218             }
1219             preadv_present = false;
1220         }
1221
1222         /*
1223          * XXX(hch): short read/write.  no easy way to handle the reminder
1224          * using these interfaces.  For now retry using plain
1225          * pread/pwrite?
1226          */
1227     }
1228
1229     /*
1230      * Ok, we have to do it the hard way, copy all segments into
1231      * a single aligned buffer.
1232      */
1233     buf = qemu_try_blockalign(aiocb->bs, aiocb->aio_nbytes);
1234     if (buf == NULL) {
1235         return -ENOMEM;
1236     }
1237
1238     if (aiocb->aio_type & QEMU_AIO_WRITE) {
1239         char *p = buf;
1240         int i;
1241
1242         for (i = 0; i < aiocb->aio_niov; ++i) {
1243             memcpy(p, aiocb->aio_iov[i].iov_base, aiocb->aio_iov[i].iov_len);
1244             p += aiocb->aio_iov[i].iov_len;
1245         }
1246         assert(p - buf == aiocb->aio_nbytes);
1247     }
1248
1249     nbytes = handle_aiocb_rw_linear(aiocb, buf);
1250     if (!(aiocb->aio_type & QEMU_AIO_WRITE)) {
1251         char *p = buf;
1252         size_t count = aiocb->aio_nbytes, copy;
1253         int i;
1254
1255         for (i = 0; i < aiocb->aio_niov && count; ++i) {
1256             copy = count;
1257             if (copy > aiocb->aio_iov[i].iov_len) {
1258                 copy = aiocb->aio_iov[i].iov_len;
1259             }
1260             memcpy(aiocb->aio_iov[i].iov_base, p, copy);
1261             assert(count >= copy);
1262             p     += copy;
1263             count -= copy;
1264         }
1265         assert(count == 0);
1266     }
1267     qemu_vfree(buf);
1268
1269     return nbytes;
1270 }
1271
1272 #ifdef CONFIG_XFS
1273 static int xfs_write_zeroes(BDRVRawState *s, int64_t offset, uint64_t bytes)
1274 {
1275     struct xfs_flock64 fl;
1276     int err;
1277
1278     memset(&fl, 0, sizeof(fl));
1279     fl.l_whence = SEEK_SET;
1280     fl.l_start = offset;
1281     fl.l_len = bytes;
1282
1283     if (xfsctl(NULL, s->fd, XFS_IOC_ZERO_RANGE, &fl) < 0) {
1284         err = errno;
1285         DPRINTF("cannot write zero range (%s)\n", strerror(errno));
1286         return -err;
1287     }
1288
1289     return 0;
1290 }
1291
1292 static int xfs_discard(BDRVRawState *s, int64_t offset, uint64_t bytes)
1293 {
1294     struct xfs_flock64 fl;
1295     int err;
1296
1297     memset(&fl, 0, sizeof(fl));
1298     fl.l_whence = SEEK_SET;
1299     fl.l_start = offset;
1300     fl.l_len = bytes;
1301
1302     if (xfsctl(NULL, s->fd, XFS_IOC_UNRESVSP64, &fl) < 0) {
1303         err = errno;
1304         DPRINTF("cannot punch hole (%s)\n", strerror(errno));
1305         return -err;
1306     }
1307
1308     return 0;
1309 }
1310 #endif
1311
1312 static int translate_err(int err)
1313 {
1314     if (err == -ENODEV || err == -ENOSYS || err == -EOPNOTSUPP ||
1315         err == -ENOTTY) {
1316         err = -ENOTSUP;
1317     }
1318     return err;
1319 }
1320
1321 #ifdef CONFIG_FALLOCATE
1322 static int do_fallocate(int fd, int mode, off_t offset, off_t len)
1323 {
1324     do {
1325         if (fallocate(fd, mode, offset, len) == 0) {
1326             return 0;
1327         }
1328     } while (errno == EINTR);
1329     return translate_err(-errno);
1330 }
1331 #endif
1332
1333 static ssize_t handle_aiocb_write_zeroes_block(RawPosixAIOData *aiocb)
1334 {
1335     int ret = -ENOTSUP;
1336     BDRVRawState *s = aiocb->bs->opaque;
1337
1338     if (!s->has_write_zeroes) {
1339         return -ENOTSUP;
1340     }
1341
1342 #ifdef BLKZEROOUT
1343     do {
1344         uint64_t range[2] = { aiocb->aio_offset, aiocb->aio_nbytes };
1345         if (ioctl(aiocb->aio_fildes, BLKZEROOUT, range) == 0) {
1346             return 0;
1347         }
1348     } while (errno == EINTR);
1349
1350     ret = translate_err(-errno);
1351 #endif
1352
1353     if (ret == -ENOTSUP) {
1354         s->has_write_zeroes = false;
1355     }
1356     return ret;
1357 }
1358
1359 static ssize_t handle_aiocb_write_zeroes(RawPosixAIOData *aiocb)
1360 {
1361 #if defined(CONFIG_FALLOCATE) || defined(CONFIG_XFS)
1362     BDRVRawState *s = aiocb->bs->opaque;
1363 #endif
1364 #ifdef CONFIG_FALLOCATE
1365     int64_t len;
1366 #endif
1367
1368     if (aiocb->aio_type & QEMU_AIO_BLKDEV) {
1369         return handle_aiocb_write_zeroes_block(aiocb);
1370     }
1371
1372 #ifdef CONFIG_XFS
1373     if (s->is_xfs) {
1374         return xfs_write_zeroes(s, aiocb->aio_offset, aiocb->aio_nbytes);
1375     }
1376 #endif
1377
1378 #ifdef CONFIG_FALLOCATE_ZERO_RANGE
1379     if (s->has_write_zeroes) {
1380         int ret = do_fallocate(s->fd, FALLOC_FL_ZERO_RANGE,
1381                                aiocb->aio_offset, aiocb->aio_nbytes);
1382         if (ret == 0 || ret != -ENOTSUP) {
1383             return ret;
1384         }
1385         s->has_write_zeroes = false;
1386     }
1387 #endif
1388
1389 #ifdef CONFIG_FALLOCATE_PUNCH_HOLE
1390     if (s->has_discard && s->has_fallocate) {
1391         int ret = do_fallocate(s->fd,
1392                                FALLOC_FL_PUNCH_HOLE | FALLOC_FL_KEEP_SIZE,
1393                                aiocb->aio_offset, aiocb->aio_nbytes);
1394         if (ret == 0) {
1395             ret = do_fallocate(s->fd, 0, aiocb->aio_offset, aiocb->aio_nbytes);
1396             if (ret == 0 || ret != -ENOTSUP) {
1397                 return ret;
1398             }
1399             s->has_fallocate = false;
1400         } else if (ret != -ENOTSUP) {
1401             return ret;
1402         } else {
1403             s->has_discard = false;
1404         }
1405     }
1406 #endif
1407
1408 #ifdef CONFIG_FALLOCATE
1409     /* Last resort: we are trying to extend the file with zeroed data. This
1410      * can be done via fallocate(fd, 0) */
1411     len = bdrv_getlength(aiocb->bs);
1412     if (s->has_fallocate && len >= 0 && aiocb->aio_offset >= len) {
1413         int ret = do_fallocate(s->fd, 0, aiocb->aio_offset, aiocb->aio_nbytes);
1414         if (ret == 0 || ret != -ENOTSUP) {
1415             return ret;
1416         }
1417         s->has_fallocate = false;
1418     }
1419 #endif
1420
1421     return -ENOTSUP;
1422 }
1423
1424 static ssize_t handle_aiocb_discard(RawPosixAIOData *aiocb)
1425 {
1426     int ret = -EOPNOTSUPP;
1427     BDRVRawState *s = aiocb->bs->opaque;
1428
1429     if (!s->has_discard) {
1430         return -ENOTSUP;
1431     }
1432
1433     if (aiocb->aio_type & QEMU_AIO_BLKDEV) {
1434 #ifdef BLKDISCARD
1435         do {
1436             uint64_t range[2] = { aiocb->aio_offset, aiocb->aio_nbytes };
1437             if (ioctl(aiocb->aio_fildes, BLKDISCARD, range) == 0) {
1438                 return 0;
1439             }
1440         } while (errno == EINTR);
1441
1442         ret = -errno;
1443 #endif
1444     } else {
1445 #ifdef CONFIG_XFS
1446         if (s->is_xfs) {
1447             return xfs_discard(s, aiocb->aio_offset, aiocb->aio_nbytes);
1448         }
1449 #endif
1450
1451 #ifdef CONFIG_FALLOCATE_PUNCH_HOLE
1452         ret = do_fallocate(s->fd, FALLOC_FL_PUNCH_HOLE | FALLOC_FL_KEEP_SIZE,
1453                            aiocb->aio_offset, aiocb->aio_nbytes);
1454 #endif
1455     }
1456
1457     ret = translate_err(ret);
1458     if (ret == -ENOTSUP) {
1459         s->has_discard = false;
1460     }
1461     return ret;
1462 }
1463
1464 static int aio_worker(void *arg)
1465 {
1466     RawPosixAIOData *aiocb = arg;
1467     ssize_t ret = 0;
1468
1469     switch (aiocb->aio_type & QEMU_AIO_TYPE_MASK) {
1470     case QEMU_AIO_READ:
1471         ret = handle_aiocb_rw(aiocb);
1472         if (ret >= 0 && ret < aiocb->aio_nbytes) {
1473             iov_memset(aiocb->aio_iov, aiocb->aio_niov, ret,
1474                       0, aiocb->aio_nbytes - ret);
1475
1476             ret = aiocb->aio_nbytes;
1477         }
1478         if (ret == aiocb->aio_nbytes) {
1479             ret = 0;
1480         } else if (ret >= 0 && ret < aiocb->aio_nbytes) {
1481             ret = -EINVAL;
1482         }
1483         break;
1484     case QEMU_AIO_WRITE:
1485         ret = handle_aiocb_rw(aiocb);
1486         if (ret == aiocb->aio_nbytes) {
1487             ret = 0;
1488         } else if (ret >= 0 && ret < aiocb->aio_nbytes) {
1489             ret = -EINVAL;
1490         }
1491         break;
1492     case QEMU_AIO_FLUSH:
1493         ret = handle_aiocb_flush(aiocb);
1494         break;
1495     case QEMU_AIO_IOCTL:
1496         ret = handle_aiocb_ioctl(aiocb);
1497         break;
1498     case QEMU_AIO_DISCARD:
1499         ret = handle_aiocb_discard(aiocb);
1500         break;
1501     case QEMU_AIO_WRITE_ZEROES:
1502         ret = handle_aiocb_write_zeroes(aiocb);
1503         break;
1504     default:
1505         fprintf(stderr, "invalid aio request (0x%x)\n", aiocb->aio_type);
1506         ret = -EINVAL;
1507         break;
1508     }
1509
1510     g_free(aiocb);
1511     return ret;
1512 }
1513
1514 static int paio_submit_co(BlockDriverState *bs, int fd,
1515                           int64_t offset, QEMUIOVector *qiov,
1516                           int bytes, int type)
1517 {
1518     RawPosixAIOData *acb = g_new(RawPosixAIOData, 1);
1519     ThreadPool *pool;
1520
1521     acb->bs = bs;
1522     acb->aio_type = type;
1523     acb->aio_fildes = fd;
1524
1525     acb->aio_nbytes = bytes;
1526     acb->aio_offset = offset;
1527
1528     if (qiov) {
1529         acb->aio_iov = qiov->iov;
1530         acb->aio_niov = qiov->niov;
1531         assert(qiov->size == bytes);
1532     }
1533
1534     trace_paio_submit_co(offset, bytes, type);
1535     pool = aio_get_thread_pool(bdrv_get_aio_context(bs));
1536     return thread_pool_submit_co(pool, aio_worker, acb);
1537 }
1538
1539 static BlockAIOCB *paio_submit(BlockDriverState *bs, int fd,
1540         int64_t offset, QEMUIOVector *qiov, int bytes,
1541         BlockCompletionFunc *cb, void *opaque, int type)
1542 {
1543     RawPosixAIOData *acb = g_new(RawPosixAIOData, 1);
1544     ThreadPool *pool;
1545
1546     acb->bs = bs;
1547     acb->aio_type = type;
1548     acb->aio_fildes = fd;
1549
1550     acb->aio_nbytes = bytes;
1551     acb->aio_offset = offset;
1552
1553     if (qiov) {
1554         acb->aio_iov = qiov->iov;
1555         acb->aio_niov = qiov->niov;
1556         assert(qiov->size == acb->aio_nbytes);
1557     }
1558
1559     trace_paio_submit(acb, opaque, offset, bytes, type);
1560     pool = aio_get_thread_pool(bdrv_get_aio_context(bs));
1561     return thread_pool_submit_aio(pool, aio_worker, acb, cb, opaque);
1562 }
1563
1564 static int coroutine_fn raw_co_prw(BlockDriverState *bs, uint64_t offset,
1565                                    uint64_t bytes, QEMUIOVector *qiov, int type)
1566 {
1567     BDRVRawState *s = bs->opaque;
1568
1569     if (fd_open(bs) < 0)
1570         return -EIO;
1571
1572     /*
1573      * Check if the underlying device requires requests to be aligned,
1574      * and if the request we are trying to submit is aligned or not.
1575      * If this is the case tell the low-level driver that it needs
1576      * to copy the buffer.
1577      */
1578     if (s->needs_alignment) {
1579         if (!bdrv_qiov_is_aligned(bs, qiov)) {
1580             type |= QEMU_AIO_MISALIGNED;
1581 #ifdef CONFIG_LINUX_AIO
1582         } else if (s->use_linux_aio) {
1583             LinuxAioState *aio = aio_get_linux_aio(bdrv_get_aio_context(bs));
1584             assert(qiov->size == bytes);
1585             return laio_co_submit(bs, aio, s->fd, offset, qiov, type);
1586 #endif
1587         }
1588     }
1589
1590     return paio_submit_co(bs, s->fd, offset, qiov, bytes, type);
1591 }
1592
1593 static int coroutine_fn raw_co_preadv(BlockDriverState *bs, uint64_t offset,
1594                                       uint64_t bytes, QEMUIOVector *qiov,
1595                                       int flags)
1596 {
1597     return raw_co_prw(bs, offset, bytes, qiov, QEMU_AIO_READ);
1598 }
1599
1600 static int coroutine_fn raw_co_pwritev(BlockDriverState *bs, uint64_t offset,
1601                                        uint64_t bytes, QEMUIOVector *qiov,
1602                                        int flags)
1603 {
1604     assert(flags == 0);
1605     return raw_co_prw(bs, offset, bytes, qiov, QEMU_AIO_WRITE);
1606 }
1607
1608 static void raw_aio_plug(BlockDriverState *bs)
1609 {
1610 #ifdef CONFIG_LINUX_AIO
1611     BDRVRawState *s = bs->opaque;
1612     if (s->use_linux_aio) {
1613         LinuxAioState *aio = aio_get_linux_aio(bdrv_get_aio_context(bs));
1614         laio_io_plug(bs, aio);
1615     }
1616 #endif
1617 }
1618
1619 static void raw_aio_unplug(BlockDriverState *bs)
1620 {
1621 #ifdef CONFIG_LINUX_AIO
1622     BDRVRawState *s = bs->opaque;
1623     if (s->use_linux_aio) {
1624         LinuxAioState *aio = aio_get_linux_aio(bdrv_get_aio_context(bs));
1625         laio_io_unplug(bs, aio);
1626     }
1627 #endif
1628 }
1629
1630 static BlockAIOCB *raw_aio_flush(BlockDriverState *bs,
1631         BlockCompletionFunc *cb, void *opaque)
1632 {
1633     BDRVRawState *s = bs->opaque;
1634
1635     if (fd_open(bs) < 0)
1636         return NULL;
1637
1638     return paio_submit(bs, s->fd, 0, NULL, 0, cb, opaque, QEMU_AIO_FLUSH);
1639 }
1640
1641 static void raw_close(BlockDriverState *bs)
1642 {
1643     BDRVRawState *s = bs->opaque;
1644
1645     if (s->fd >= 0) {
1646         qemu_close(s->fd);
1647         s->fd = -1;
1648     }
1649     if (s->lock_fd >= 0) {
1650         qemu_close(s->lock_fd);
1651         s->lock_fd = -1;
1652     }
1653 }
1654
1655 /**
1656  * Truncates the given regular file @fd to @offset and, when growing, fills the
1657  * new space according to @prealloc.
1658  *
1659  * Returns: 0 on success, -errno on failure.
1660  */
1661 static int raw_regular_truncate(int fd, int64_t offset, PreallocMode prealloc,
1662                                 Error **errp)
1663 {
1664     int result = 0;
1665     int64_t current_length = 0;
1666     char *buf = NULL;
1667     struct stat st;
1668
1669     if (fstat(fd, &st) < 0) {
1670         result = -errno;
1671         error_setg_errno(errp, -result, "Could not stat file");
1672         return result;
1673     }
1674
1675     current_length = st.st_size;
1676     if (current_length > offset && prealloc != PREALLOC_MODE_OFF) {
1677         error_setg(errp, "Cannot use preallocation for shrinking files");
1678         return -ENOTSUP;
1679     }
1680
1681     switch (prealloc) {
1682 #ifdef CONFIG_POSIX_FALLOCATE
1683     case PREALLOC_MODE_FALLOC:
1684         /*
1685          * Truncating before posix_fallocate() makes it about twice slower on
1686          * file systems that do not support fallocate(), trying to check if a
1687          * block is allocated before allocating it, so don't do that here.
1688          */
1689         if (offset != current_length) {
1690             result = -posix_fallocate(fd, current_length, offset - current_length);
1691             if (result != 0) {
1692                 /* posix_fallocate() doesn't set errno. */
1693                 error_setg_errno(errp, -result,
1694                                  "Could not preallocate new data");
1695             }
1696         } else {
1697             result = 0;
1698         }
1699         goto out;
1700 #endif
1701     case PREALLOC_MODE_FULL:
1702     {
1703         int64_t num = 0, left = offset - current_length;
1704
1705         /*
1706          * Knowing the final size from the beginning could allow the file
1707          * system driver to do less allocations and possibly avoid
1708          * fragmentation of the file.
1709          */
1710         if (ftruncate(fd, offset) != 0) {
1711             result = -errno;
1712             error_setg_errno(errp, -result, "Could not resize file");
1713             goto out;
1714         }
1715
1716         buf = g_malloc0(65536);
1717
1718         result = lseek(fd, current_length, SEEK_SET);
1719         if (result < 0) {
1720             result = -errno;
1721             error_setg_errno(errp, -result,
1722                              "Failed to seek to the old end of file");
1723             goto out;
1724         }
1725
1726         while (left > 0) {
1727             num = MIN(left, 65536);
1728             result = write(fd, buf, num);
1729             if (result < 0) {
1730                 result = -errno;
1731                 error_setg_errno(errp, -result,
1732                                  "Could not write zeros for preallocation");
1733                 goto out;
1734             }
1735             left -= result;
1736         }
1737         if (result >= 0) {
1738             result = fsync(fd);
1739             if (result < 0) {
1740                 result = -errno;
1741                 error_setg_errno(errp, -result,
1742                                  "Could not flush file to disk");
1743                 goto out;
1744             }
1745         }
1746         goto out;
1747     }
1748     case PREALLOC_MODE_OFF:
1749         if (ftruncate(fd, offset) != 0) {
1750             result = -errno;
1751             error_setg_errno(errp, -result, "Could not resize file");
1752         }
1753         return result;
1754     default:
1755         result = -ENOTSUP;
1756         error_setg(errp, "Unsupported preallocation mode: %s",
1757                    PreallocMode_str(prealloc));
1758         return result;
1759     }
1760
1761 out:
1762     if (result < 0) {
1763         if (ftruncate(fd, current_length) < 0) {
1764             error_report("Failed to restore old file length: %s",
1765                          strerror(errno));
1766         }
1767     }
1768
1769     g_free(buf);
1770     return result;
1771 }
1772
1773 static int raw_truncate(BlockDriverState *bs, int64_t offset,
1774                         PreallocMode prealloc, Error **errp)
1775 {
1776     BDRVRawState *s = bs->opaque;
1777     struct stat st;
1778     int ret;
1779
1780     if (fstat(s->fd, &st)) {
1781         ret = -errno;
1782         error_setg_errno(errp, -ret, "Failed to fstat() the file");
1783         return ret;
1784     }
1785
1786     if (S_ISREG(st.st_mode)) {
1787         return raw_regular_truncate(s->fd, offset, prealloc, errp);
1788     }
1789
1790     if (prealloc != PREALLOC_MODE_OFF) {
1791         error_setg(errp, "Preallocation mode '%s' unsupported for this "
1792                    "non-regular file", PreallocMode_str(prealloc));
1793         return -ENOTSUP;
1794     }
1795
1796     if (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode)) {
1797         if (offset > raw_getlength(bs)) {
1798             error_setg(errp, "Cannot grow device files");
1799             return -EINVAL;
1800         }
1801     } else {
1802         error_setg(errp, "Resizing this file is not supported");
1803         return -ENOTSUP;
1804     }
1805
1806     return 0;
1807 }
1808
1809 #ifdef __OpenBSD__
1810 static int64_t raw_getlength(BlockDriverState *bs)
1811 {
1812     BDRVRawState *s = bs->opaque;
1813     int fd = s->fd;
1814     struct stat st;
1815
1816     if (fstat(fd, &st))
1817         return -errno;
1818     if (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode)) {
1819         struct disklabel dl;
1820
1821         if (ioctl(fd, DIOCGDINFO, &dl))
1822             return -errno;
1823         return (uint64_t)dl.d_secsize *
1824             dl.d_partitions[DISKPART(st.st_rdev)].p_size;
1825     } else
1826         return st.st_size;
1827 }
1828 #elif defined(__NetBSD__)
1829 static int64_t raw_getlength(BlockDriverState *bs)
1830 {
1831     BDRVRawState *s = bs->opaque;
1832     int fd = s->fd;
1833     struct stat st;
1834
1835     if (fstat(fd, &st))
1836         return -errno;
1837     if (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode)) {
1838         struct dkwedge_info dkw;
1839
1840         if (ioctl(fd, DIOCGWEDGEINFO, &dkw) != -1) {
1841             return dkw.dkw_size * 512;
1842         } else {
1843             struct disklabel dl;
1844
1845             if (ioctl(fd, DIOCGDINFO, &dl))
1846                 return -errno;
1847             return (uint64_t)dl.d_secsize *
1848                 dl.d_partitions[DISKPART(st.st_rdev)].p_size;
1849         }
1850     } else
1851         return st.st_size;
1852 }
1853 #elif defined(__sun__)
1854 static int64_t raw_getlength(BlockDriverState *bs)
1855 {
1856     BDRVRawState *s = bs->opaque;
1857     struct dk_minfo minfo;
1858     int ret;
1859     int64_t size;
1860
1861     ret = fd_open(bs);
1862     if (ret < 0) {
1863         return ret;
1864     }
1865
1866     /*
1867      * Use the DKIOCGMEDIAINFO ioctl to read the size.
1868      */
1869     ret = ioctl(s->fd, DKIOCGMEDIAINFO, &minfo);
1870     if (ret != -1) {
1871         return minfo.dki_lbsize * minfo.dki_capacity;
1872     }
1873
1874     /*
1875      * There are reports that lseek on some devices fails, but
1876      * irc discussion said that contingency on contingency was overkill.
1877      */
1878     size = lseek(s->fd, 0, SEEK_END);
1879     if (size < 0) {
1880         return -errno;
1881     }
1882     return size;
1883 }
1884 #elif defined(CONFIG_BSD)
1885 static int64_t raw_getlength(BlockDriverState *bs)
1886 {
1887     BDRVRawState *s = bs->opaque;
1888     int fd = s->fd;
1889     int64_t size;
1890     struct stat sb;
1891 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
1892     int reopened = 0;
1893 #endif
1894     int ret;
1895
1896     ret = fd_open(bs);
1897     if (ret < 0)
1898         return ret;
1899
1900 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
1901 again:
1902 #endif
1903     if (!fstat(fd, &sb) && (S_IFCHR & sb.st_mode)) {
1904 #ifdef DIOCGMEDIASIZE
1905         if (ioctl(fd, DIOCGMEDIASIZE, (off_t *)&size))
1906 #elif defined(DIOCGPART)
1907         {
1908                 struct partinfo pi;
1909                 if (ioctl(fd, DIOCGPART, &pi) == 0)
1910                         size = pi.media_size;
1911                 else
1912                         size = 0;
1913         }
1914         if (size == 0)
1915 #endif
1916 #if defined(__APPLE__) && defined(__MACH__)
1917         {
1918             uint64_t sectors = 0;
1919             uint32_t sector_size = 0;
1920
1921             if (ioctl(fd, DKIOCGETBLOCKCOUNT, &sectors) == 0
1922                && ioctl(fd, DKIOCGETBLOCKSIZE, &sector_size) == 0) {
1923                 size = sectors * sector_size;
1924             } else {
1925                 size = lseek(fd, 0LL, SEEK_END);
1926                 if (size < 0) {
1927                     return -errno;
1928                 }
1929             }
1930         }
1931 #else
1932         size = lseek(fd, 0LL, SEEK_END);
1933         if (size < 0) {
1934             return -errno;
1935         }
1936 #endif
1937 #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
1938         switch(s->type) {
1939         case FTYPE_CD:
1940             /* XXX FreeBSD acd returns UINT_MAX sectors for an empty drive */
1941             if (size == 2048LL * (unsigned)-1)
1942                 size = 0;
1943             /* XXX no disc?  maybe we need to reopen... */
1944             if (size <= 0 && !reopened && cdrom_reopen(bs) >= 0) {
1945                 reopened = 1;
1946                 goto again;
1947             }
1948         }
1949 #endif
1950     } else {
1951         size = lseek(fd, 0, SEEK_END);
1952         if (size < 0) {
1953             return -errno;
1954         }
1955     }
1956     return size;
1957 }
1958 #else
1959 static int64_t raw_getlength(BlockDriverState *bs)
1960 {
1961     BDRVRawState *s = bs->opaque;
1962     int ret;
1963     int64_t size;
1964
1965     ret = fd_open(bs);
1966     if (ret < 0) {
1967         return ret;
1968     }
1969
1970     size = lseek(s->fd, 0, SEEK_END);
1971     if (size < 0) {
1972         return -errno;
1973     }
1974     return size;
1975 }
1976 #endif
1977
1978 static int64_t raw_get_allocated_file_size(BlockDriverState *bs)
1979 {
1980     struct stat st;
1981     BDRVRawState *s = bs->opaque;
1982
1983     if (fstat(s->fd, &st) < 0) {
1984         return -errno;
1985     }
1986     return (int64_t)st.st_blocks * 512;
1987 }
1988
1989 static int raw_co_create(BlockdevCreateOptions *options, Error **errp)
1990 {
1991     BlockdevCreateOptionsFile *file_opts;
1992     int fd;
1993     int result = 0;
1994
1995     /* Validate options and set default values */
1996     assert(options->driver == BLOCKDEV_DRIVER_FILE);
1997     file_opts = &options->u.file;
1998
1999     if (!file_opts->has_nocow) {
2000         file_opts->nocow = false;
2001     }
2002     if (!file_opts->has_preallocation) {
2003         file_opts->preallocation = PREALLOC_MODE_OFF;
2004     }
2005
2006     /* Create file */
2007     fd = qemu_open(file_opts->filename, O_RDWR | O_CREAT | O_TRUNC | O_BINARY,
2008                    0644);
2009     if (fd < 0) {
2010         result = -errno;
2011         error_setg_errno(errp, -result, "Could not create file");
2012         goto out;
2013     }
2014
2015     if (file_opts->nocow) {
2016 #ifdef __linux__
2017         /* Set NOCOW flag to solve performance issue on fs like btrfs.
2018          * This is an optimisation. The FS_IOC_SETFLAGS ioctl return value
2019          * will be ignored since any failure of this operation should not
2020          * block the left work.
2021          */
2022         int attr;
2023         if (ioctl(fd, FS_IOC_GETFLAGS, &attr) == 0) {
2024             attr |= FS_NOCOW_FL;
2025             ioctl(fd, FS_IOC_SETFLAGS, &attr);
2026         }
2027 #endif
2028     }
2029
2030     result = raw_regular_truncate(fd, file_opts->size, file_opts->preallocation,
2031                                   errp);
2032     if (result < 0) {
2033         goto out_close;
2034     }
2035
2036 out_close:
2037     if (qemu_close(fd) != 0 && result == 0) {
2038         result = -errno;
2039         error_setg_errno(errp, -result, "Could not close the new file");
2040     }
2041 out:
2042     return result;
2043 }
2044
2045 static int coroutine_fn raw_co_create_opts(const char *filename, QemuOpts *opts,
2046                                            Error **errp)
2047 {
2048     BlockdevCreateOptions options;
2049     int64_t total_size = 0;
2050     bool nocow = false;
2051     PreallocMode prealloc;
2052     char *buf = NULL;
2053     Error *local_err = NULL;
2054
2055     /* Skip file: protocol prefix */
2056     strstart(filename, "file:", &filename);
2057
2058     /* Read out options */
2059     total_size = ROUND_UP(qemu_opt_get_size_del(opts, BLOCK_OPT_SIZE, 0),
2060                           BDRV_SECTOR_SIZE);
2061     nocow = qemu_opt_get_bool(opts, BLOCK_OPT_NOCOW, false);
2062     buf = qemu_opt_get_del(opts, BLOCK_OPT_PREALLOC);
2063     prealloc = qapi_enum_parse(&PreallocMode_lookup, buf,
2064                                PREALLOC_MODE_OFF, &local_err);
2065     g_free(buf);
2066     if (local_err) {
2067         error_propagate(errp, local_err);
2068         return -EINVAL;
2069     }
2070
2071     options = (BlockdevCreateOptions) {
2072         .driver     = BLOCKDEV_DRIVER_FILE,
2073         .u.file     = {
2074             .filename           = (char *) filename,
2075             .size               = total_size,
2076             .has_preallocation  = true,
2077             .preallocation      = prealloc,
2078             .has_nocow          = true,
2079             .nocow              = nocow,
2080         },
2081     };
2082     return raw_co_create(&options, errp);
2083 }
2084
2085 /*
2086  * Find allocation range in @bs around offset @start.
2087  * May change underlying file descriptor's file offset.
2088  * If @start is not in a hole, store @start in @data, and the
2089  * beginning of the next hole in @hole, and return 0.
2090  * If @start is in a non-trailing hole, store @start in @hole and the
2091  * beginning of the next non-hole in @data, and return 0.
2092  * If @start is in a trailing hole or beyond EOF, return -ENXIO.
2093  * If we can't find out, return a negative errno other than -ENXIO.
2094  */
2095 static int find_allocation(BlockDriverState *bs, off_t start,
2096                            off_t *data, off_t *hole)
2097 {
2098 #if defined SEEK_HOLE && defined SEEK_DATA
2099     BDRVRawState *s = bs->opaque;
2100     off_t offs;
2101
2102     /*
2103      * SEEK_DATA cases:
2104      * D1. offs == start: start is in data
2105      * D2. offs > start: start is in a hole, next data at offs
2106      * D3. offs < 0, errno = ENXIO: either start is in a trailing hole
2107      *                              or start is beyond EOF
2108      *     If the latter happens, the file has been truncated behind
2109      *     our back since we opened it.  All bets are off then.
2110      *     Treating like a trailing hole is simplest.
2111      * D4. offs < 0, errno != ENXIO: we learned nothing
2112      */
2113     offs = lseek(s->fd, start, SEEK_DATA);
2114     if (offs < 0) {
2115         return -errno;          /* D3 or D4 */
2116     }
2117     assert(offs >= start);
2118
2119     if (offs > start) {
2120         /* D2: in hole, next data at offs */
2121         *hole = start;
2122         *data = offs;
2123         return 0;
2124     }
2125
2126     /* D1: in data, end not yet known */
2127
2128     /*
2129      * SEEK_HOLE cases:
2130      * H1. offs == start: start is in a hole
2131      *     If this happens here, a hole has been dug behind our back
2132      *     since the previous lseek().
2133      * H2. offs > start: either start is in data, next hole at offs,
2134      *                   or start is in trailing hole, EOF at offs
2135      *     Linux treats trailing holes like any other hole: offs ==
2136      *     start.  Solaris seeks to EOF instead: offs > start (blech).
2137      *     If that happens here, a hole has been dug behind our back
2138      *     since the previous lseek().
2139      * H3. offs < 0, errno = ENXIO: start is beyond EOF
2140      *     If this happens, the file has been truncated behind our
2141      *     back since we opened it.  Treat it like a trailing hole.
2142      * H4. offs < 0, errno != ENXIO: we learned nothing
2143      *     Pretend we know nothing at all, i.e. "forget" about D1.
2144      */
2145     offs = lseek(s->fd, start, SEEK_HOLE);
2146     if (offs < 0) {
2147         return -errno;          /* D1 and (H3 or H4) */
2148     }
2149     assert(offs >= start);
2150
2151     if (offs > start) {
2152         /*
2153          * D1 and H2: either in data, next hole at offs, or it was in
2154          * data but is now in a trailing hole.  In the latter case,
2155          * all bets are off.  Treating it as if it there was data all
2156          * the way to EOF is safe, so simply do that.
2157          */
2158         *data = start;
2159         *hole = offs;
2160         return 0;
2161     }
2162
2163     /* D1 and H1 */
2164     return -EBUSY;
2165 #else
2166     return -ENOTSUP;
2167 #endif
2168 }
2169
2170 /*
2171  * Returns the allocation status of the specified offset.
2172  *
2173  * The block layer guarantees 'offset' and 'bytes' are within bounds.
2174  *
2175  * 'pnum' is set to the number of bytes (including and immediately following
2176  * the specified offset) that are known to be in the same
2177  * allocated/unallocated state.
2178  *
2179  * 'bytes' is the max value 'pnum' should be set to.
2180  */
2181 static int coroutine_fn raw_co_block_status(BlockDriverState *bs,
2182                                             bool want_zero,
2183                                             int64_t offset,
2184                                             int64_t bytes, int64_t *pnum,
2185                                             int64_t *map,
2186                                             BlockDriverState **file)
2187 {
2188     off_t data = 0, hole = 0;
2189     int ret;
2190
2191     ret = fd_open(bs);
2192     if (ret < 0) {
2193         return ret;
2194     }
2195
2196     if (!want_zero) {
2197         *pnum = bytes;
2198         *map = offset;
2199         *file = bs;
2200         return BDRV_BLOCK_DATA | BDRV_BLOCK_OFFSET_VALID;
2201     }
2202
2203     ret = find_allocation(bs, offset, &data, &hole);
2204     if (ret == -ENXIO) {
2205         /* Trailing hole */
2206         *pnum = bytes;
2207         ret = BDRV_BLOCK_ZERO;
2208     } else if (ret < 0) {
2209         /* No info available, so pretend there are no holes */
2210         *pnum = bytes;
2211         ret = BDRV_BLOCK_DATA;
2212     } else if (data == offset) {
2213         /* On a data extent, compute bytes to the end of the extent,
2214          * possibly including a partial sector at EOF. */
2215         *pnum = MIN(bytes, hole - offset);
2216         ret = BDRV_BLOCK_DATA;
2217     } else {
2218         /* On a hole, compute bytes to the beginning of the next extent.  */
2219         assert(hole == offset);
2220         *pnum = MIN(bytes, data - offset);
2221         ret = BDRV_BLOCK_ZERO;
2222     }
2223     *map = offset;
2224     *file = bs;
2225     return ret | BDRV_BLOCK_OFFSET_VALID;
2226 }
2227
2228 static coroutine_fn BlockAIOCB *raw_aio_pdiscard(BlockDriverState *bs,
2229     int64_t offset, int bytes,
2230     BlockCompletionFunc *cb, void *opaque)
2231 {
2232     BDRVRawState *s = bs->opaque;
2233
2234     return paio_submit(bs, s->fd, offset, NULL, bytes,
2235                        cb, opaque, QEMU_AIO_DISCARD);
2236 }
2237
2238 static int coroutine_fn raw_co_pwrite_zeroes(
2239     BlockDriverState *bs, int64_t offset,
2240     int bytes, BdrvRequestFlags flags)
2241 {
2242     BDRVRawState *s = bs->opaque;
2243
2244     if (!(flags & BDRV_REQ_MAY_UNMAP)) {
2245         return paio_submit_co(bs, s->fd, offset, NULL, bytes,
2246                               QEMU_AIO_WRITE_ZEROES);
2247     } else if (s->discard_zeroes) {
2248         return paio_submit_co(bs, s->fd, offset, NULL, bytes,
2249                               QEMU_AIO_DISCARD);
2250     }
2251     return -ENOTSUP;
2252 }
2253
2254 static int raw_get_info(BlockDriverState *bs, BlockDriverInfo *bdi)
2255 {
2256     BDRVRawState *s = bs->opaque;
2257
2258     bdi->unallocated_blocks_are_zero = s->discard_zeroes;
2259     return 0;
2260 }
2261
2262 static QemuOptsList raw_create_opts = {
2263     .name = "raw-create-opts",
2264     .head = QTAILQ_HEAD_INITIALIZER(raw_create_opts.head),
2265     .desc = {
2266         {
2267             .name = BLOCK_OPT_SIZE,
2268             .type = QEMU_OPT_SIZE,
2269             .help = "Virtual disk size"
2270         },
2271         {
2272             .name = BLOCK_OPT_NOCOW,
2273             .type = QEMU_OPT_BOOL,
2274             .help = "Turn off copy-on-write (valid only on btrfs)"
2275         },
2276         {
2277             .name = BLOCK_OPT_PREALLOC,
2278             .type = QEMU_OPT_STRING,
2279             .help = "Preallocation mode (allowed values: off, falloc, full)"
2280         },
2281         { /* end of list */ }
2282     }
2283 };
2284
2285 static int raw_check_perm(BlockDriverState *bs, uint64_t perm, uint64_t shared,
2286                           Error **errp)
2287 {
2288     return raw_handle_perm_lock(bs, RAW_PL_PREPARE, perm, shared, errp);
2289 }
2290
2291 static void raw_set_perm(BlockDriverState *bs, uint64_t perm, uint64_t shared)
2292 {
2293     BDRVRawState *s = bs->opaque;
2294     raw_handle_perm_lock(bs, RAW_PL_COMMIT, perm, shared, NULL);
2295     s->perm = perm;
2296     s->shared_perm = shared;
2297 }
2298
2299 static void raw_abort_perm_update(BlockDriverState *bs)
2300 {
2301     raw_handle_perm_lock(bs, RAW_PL_ABORT, 0, 0, NULL);
2302 }
2303
2304 BlockDriver bdrv_file = {
2305     .format_name = "file",
2306     .protocol_name = "file",
2307     .instance_size = sizeof(BDRVRawState),
2308     .bdrv_needs_filename = true,
2309     .bdrv_probe = NULL, /* no probe for protocols */
2310     .bdrv_parse_filename = raw_parse_filename,
2311     .bdrv_file_open = raw_open,
2312     .bdrv_reopen_prepare = raw_reopen_prepare,
2313     .bdrv_reopen_commit = raw_reopen_commit,
2314     .bdrv_reopen_abort = raw_reopen_abort,
2315     .bdrv_close = raw_close,
2316     .bdrv_co_create = raw_co_create,
2317     .bdrv_co_create_opts = raw_co_create_opts,
2318     .bdrv_has_zero_init = bdrv_has_zero_init_1,
2319     .bdrv_co_block_status = raw_co_block_status,
2320     .bdrv_co_pwrite_zeroes = raw_co_pwrite_zeroes,
2321
2322     .bdrv_co_preadv         = raw_co_preadv,
2323     .bdrv_co_pwritev        = raw_co_pwritev,
2324     .bdrv_aio_flush = raw_aio_flush,
2325     .bdrv_aio_pdiscard = raw_aio_pdiscard,
2326     .bdrv_refresh_limits = raw_refresh_limits,
2327     .bdrv_io_plug = raw_aio_plug,
2328     .bdrv_io_unplug = raw_aio_unplug,
2329
2330     .bdrv_truncate = raw_truncate,
2331     .bdrv_getlength = raw_getlength,
2332     .bdrv_get_info = raw_get_info,
2333     .bdrv_get_allocated_file_size
2334                         = raw_get_allocated_file_size,
2335     .bdrv_check_perm = raw_check_perm,
2336     .bdrv_set_perm   = raw_set_perm,
2337     .bdrv_abort_perm_update = raw_abort_perm_update,
2338     .create_opts = &raw_create_opts,
2339 };
2340
2341 /***********************************************/
2342 /* host device */
2343
2344 #if defined(__APPLE__) && defined(__MACH__)
2345 static kern_return_t GetBSDPath(io_iterator_t mediaIterator, char *bsdPath,
2346                                 CFIndex maxPathSize, int flags);
2347 static char *FindEjectableOpticalMedia(io_iterator_t *mediaIterator)
2348 {
2349     kern_return_t kernResult = KERN_FAILURE;
2350     mach_port_t     masterPort;
2351     CFMutableDictionaryRef  classesToMatch;
2352     const char *matching_array[] = {kIODVDMediaClass, kIOCDMediaClass};
2353     char *mediaType = NULL;
2354
2355     kernResult = IOMasterPort( MACH_PORT_NULL, &masterPort );
2356     if ( KERN_SUCCESS != kernResult ) {
2357         printf( "IOMasterPort returned %d\n", kernResult );
2358     }
2359
2360     int index;
2361     for (index = 0; index < ARRAY_SIZE(matching_array); index++) {
2362         classesToMatch = IOServiceMatching(matching_array[index]);
2363         if (classesToMatch == NULL) {
2364             error_report("IOServiceMatching returned NULL for %s",
2365                          matching_array[index]);
2366             continue;
2367         }
2368         CFDictionarySetValue(classesToMatch, CFSTR(kIOMediaEjectableKey),
2369                              kCFBooleanTrue);
2370         kernResult = IOServiceGetMatchingServices(masterPort, classesToMatch,
2371                                                   mediaIterator);
2372         if (kernResult != KERN_SUCCESS) {
2373             error_report("Note: IOServiceGetMatchingServices returned %d",
2374                          kernResult);
2375             continue;
2376         }
2377
2378         /* If a match was found, leave the loop */
2379         if (*mediaIterator != 0) {
2380             DPRINTF("Matching using %s\n", matching_array[index]);
2381             mediaType = g_strdup(matching_array[index]);
2382             break;
2383         }
2384     }
2385     return mediaType;
2386 }
2387
2388 kern_return_t GetBSDPath(io_iterator_t mediaIterator, char *bsdPath,
2389                          CFIndex maxPathSize, int flags)
2390 {
2391     io_object_t     nextMedia;
2392     kern_return_t   kernResult = KERN_FAILURE;
2393     *bsdPath = '\0';
2394     nextMedia = IOIteratorNext( mediaIterator );
2395     if ( nextMedia )
2396     {
2397         CFTypeRef   bsdPathAsCFString;
2398     bsdPathAsCFString = IORegistryEntryCreateCFProperty( nextMedia, CFSTR( kIOBSDNameKey ), kCFAllocatorDefault, 0 );
2399         if ( bsdPathAsCFString ) {
2400             size_t devPathLength;
2401             strcpy( bsdPath, _PATH_DEV );
2402             if (flags & BDRV_O_NOCACHE) {
2403                 strcat(bsdPath, "r");
2404             }
2405             devPathLength = strlen( bsdPath );
2406             if ( CFStringGetCString( bsdPathAsCFString, bsdPath + devPathLength, maxPathSize - devPathLength, kCFStringEncodingASCII ) ) {
2407                 kernResult = KERN_SUCCESS;
2408             }
2409             CFRelease( bsdPathAsCFString );
2410         }
2411         IOObjectRelease( nextMedia );
2412     }
2413
2414     return kernResult;
2415 }
2416
2417 /* Sets up a real cdrom for use in QEMU */
2418 static bool setup_cdrom(char *bsd_path, Error **errp)
2419 {
2420     int index, num_of_test_partitions = 2, fd;
2421     char test_partition[MAXPATHLEN];
2422     bool partition_found = false;
2423
2424     /* look for a working partition */
2425     for (index = 0; index < num_of_test_partitions; index++) {
2426         snprintf(test_partition, sizeof(test_partition), "%ss%d", bsd_path,
2427                  index);
2428         fd = qemu_open(test_partition, O_RDONLY | O_BINARY | O_LARGEFILE);
2429         if (fd >= 0) {
2430             partition_found = true;
2431             qemu_close(fd);
2432             break;
2433         }
2434     }
2435
2436     /* if a working partition on the device was not found */
2437     if (partition_found == false) {
2438         error_setg(errp, "Failed to find a working partition on disc");
2439     } else {
2440         DPRINTF("Using %s as optical disc\n", test_partition);
2441         pstrcpy(bsd_path, MAXPATHLEN, test_partition);
2442     }
2443     return partition_found;
2444 }
2445
2446 /* Prints directions on mounting and unmounting a device */
2447 static void print_unmounting_directions(const char *file_name)
2448 {
2449     error_report("If device %s is mounted on the desktop, unmount"
2450                  " it first before using it in QEMU", file_name);
2451     error_report("Command to unmount device: diskutil unmountDisk %s",
2452                  file_name);
2453     error_report("Command to mount device: diskutil mountDisk %s", file_name);
2454 }
2455
2456 #endif /* defined(__APPLE__) && defined(__MACH__) */
2457
2458 static int hdev_probe_device(const char *filename)
2459 {
2460     struct stat st;
2461
2462     /* allow a dedicated CD-ROM driver to match with a higher priority */
2463     if (strstart(filename, "/dev/cdrom", NULL))
2464         return 50;
2465
2466     if (stat(filename, &st) >= 0 &&
2467             (S_ISCHR(st.st_mode) || S_ISBLK(st.st_mode))) {
2468         return 100;
2469     }
2470
2471     return 0;
2472 }
2473
2474 static int check_hdev_writable(BDRVRawState *s)
2475 {
2476 #if defined(BLKROGET)
2477     /* Linux block devices can be configured "read-only" using blockdev(8).
2478      * This is independent of device node permissions and therefore open(2)
2479      * with O_RDWR succeeds.  Actual writes fail with EPERM.
2480      *
2481      * bdrv_open() is supposed to fail if the disk is read-only.  Explicitly
2482      * check for read-only block devices so that Linux block devices behave
2483      * properly.
2484      */
2485     struct stat st;
2486     int readonly = 0;
2487
2488     if (fstat(s->fd, &st)) {
2489         return -errno;
2490     }
2491
2492     if (!S_ISBLK(st.st_mode)) {
2493         return 0;
2494     }
2495
2496     if (ioctl(s->fd, BLKROGET, &readonly) < 0) {
2497         return -errno;
2498     }
2499
2500     if (readonly) {
2501         return -EACCES;
2502     }
2503 #endif /* defined(BLKROGET) */
2504     return 0;
2505 }
2506
2507 static void hdev_parse_filename(const char *filename, QDict *options,
2508                                 Error **errp)
2509 {
2510     bdrv_parse_filename_strip_prefix(filename, "host_device:", options);
2511 }
2512
2513 static bool hdev_is_sg(BlockDriverState *bs)
2514 {
2515
2516 #if defined(__linux__)
2517
2518     BDRVRawState *s = bs->opaque;
2519     struct stat st;
2520     struct sg_scsi_id scsiid;
2521     int sg_version;
2522     int ret;
2523
2524     if (stat(bs->filename, &st) < 0 || !S_ISCHR(st.st_mode)) {
2525         return false;
2526     }
2527
2528     ret = ioctl(s->fd, SG_GET_VERSION_NUM, &sg_version);
2529     if (ret < 0) {
2530         return false;
2531     }
2532
2533     ret = ioctl(s->fd, SG_GET_SCSI_ID, &scsiid);
2534     if (ret >= 0) {
2535         DPRINTF("SG device found: type=%d, version=%d\n",
2536             scsiid.scsi_type, sg_version);
2537         return true;
2538     }
2539
2540 #endif
2541
2542     return false;
2543 }
2544
2545 static int hdev_open(BlockDriverState *bs, QDict *options, int flags,
2546                      Error **errp)
2547 {
2548     BDRVRawState *s = bs->opaque;
2549     Error *local_err = NULL;
2550     int ret;
2551
2552 #if defined(__APPLE__) && defined(__MACH__)
2553     /*
2554      * Caution: while qdict_get_str() is fine, getting non-string types
2555      * would require more care.  When @options come from -blockdev or
2556      * blockdev_add, its members are typed according to the QAPI
2557      * schema, but when they come from -drive, they're all QString.
2558      */
2559     const char *filename = qdict_get_str(options, "filename");
2560     char bsd_path[MAXPATHLEN] = "";
2561     bool error_occurred = false;
2562
2563     /* If using a real cdrom */
2564     if (strcmp(filename, "/dev/cdrom") == 0) {
2565         char *mediaType = NULL;
2566         kern_return_t ret_val;
2567         io_iterator_t mediaIterator = 0;
2568
2569         mediaType = FindEjectableOpticalMedia(&mediaIterator);
2570         if (mediaType == NULL) {
2571             error_setg(errp, "Please make sure your CD/DVD is in the optical"
2572                        " drive");
2573             error_occurred = true;
2574             goto hdev_open_Mac_error;
2575         }
2576
2577         ret_val = GetBSDPath(mediaIterator, bsd_path, sizeof(bsd_path), flags);
2578         if (ret_val != KERN_SUCCESS) {
2579             error_setg(errp, "Could not get BSD path for optical drive");
2580             error_occurred = true;
2581             goto hdev_open_Mac_error;
2582         }
2583
2584         /* If a real optical drive was not found */
2585         if (bsd_path[0] == '\0') {
2586             error_setg(errp, "Failed to obtain bsd path for optical drive");
2587             error_occurred = true;
2588             goto hdev_open_Mac_error;
2589         }
2590
2591         /* If using a cdrom disc and finding a partition on the disc failed */
2592         if (strncmp(mediaType, kIOCDMediaClass, 9) == 0 &&
2593             setup_cdrom(bsd_path, errp) == false) {
2594             print_unmounting_directions(bsd_path);
2595             error_occurred = true;
2596             goto hdev_open_Mac_error;
2597         }
2598
2599         qdict_put_str(options, "filename", bsd_path);
2600
2601 hdev_open_Mac_error:
2602         g_free(mediaType);
2603         if (mediaIterator) {
2604             IOObjectRelease(mediaIterator);
2605         }
2606         if (error_occurred) {
2607             return -ENOENT;
2608         }
2609     }
2610 #endif /* defined(__APPLE__) && defined(__MACH__) */
2611
2612     s->type = FTYPE_FILE;
2613
2614     ret = raw_open_common(bs, options, flags, 0, &local_err);
2615     if (ret < 0) {
2616         error_propagate(errp, local_err);
2617 #if defined(__APPLE__) && defined(__MACH__)
2618         if (*bsd_path) {
2619             filename = bsd_path;
2620         }
2621         /* if a physical device experienced an error while being opened */
2622         if (strncmp(filename, "/dev/", 5) == 0) {
2623             print_unmounting_directions(filename);
2624         }
2625 #endif /* defined(__APPLE__) && defined(__MACH__) */
2626         return ret;
2627     }
2628
2629     /* Since this does ioctl the device must be already opened */
2630     bs->sg = hdev_is_sg(bs);
2631
2632     if (flags & BDRV_O_RDWR) {
2633         ret = check_hdev_writable(s);
2634         if (ret < 0) {
2635             raw_close(bs);
2636             error_setg_errno(errp, -ret, "The device is not writable");
2637             return ret;
2638         }
2639     }
2640
2641     return ret;
2642 }
2643
2644 #if defined(__linux__)
2645
2646 static BlockAIOCB *hdev_aio_ioctl(BlockDriverState *bs,
2647         unsigned long int req, void *buf,
2648         BlockCompletionFunc *cb, void *opaque)
2649 {
2650     BDRVRawState *s = bs->opaque;
2651     RawPosixAIOData *acb;
2652     ThreadPool *pool;
2653
2654     if (fd_open(bs) < 0)
2655         return NULL;
2656
2657     if (req == SG_IO && s->pr_mgr) {
2658         struct sg_io_hdr *io_hdr = buf;
2659         if (io_hdr->cmdp[0] == PERSISTENT_RESERVE_OUT ||
2660             io_hdr->cmdp[0] == PERSISTENT_RESERVE_IN) {
2661             return pr_manager_execute(s->pr_mgr, bdrv_get_aio_context(bs),
2662                                       s->fd, io_hdr, cb, opaque);
2663         }
2664     }
2665
2666     acb = g_new(RawPosixAIOData, 1);
2667     acb->bs = bs;
2668     acb->aio_type = QEMU_AIO_IOCTL;
2669     acb->aio_fildes = s->fd;
2670     acb->aio_offset = 0;
2671     acb->aio_ioctl_buf = buf;
2672     acb->aio_ioctl_cmd = req;
2673     pool = aio_get_thread_pool(bdrv_get_aio_context(bs));
2674     return thread_pool_submit_aio(pool, aio_worker, acb, cb, opaque);
2675 }
2676 #endif /* linux */
2677
2678 static int fd_open(BlockDriverState *bs)
2679 {
2680     BDRVRawState *s = bs->opaque;
2681
2682     /* this is just to ensure s->fd is sane (its called by io ops) */
2683     if (s->fd >= 0)
2684         return 0;
2685     return -EIO;
2686 }
2687
2688 static coroutine_fn BlockAIOCB *hdev_aio_pdiscard(BlockDriverState *bs,
2689     int64_t offset, int bytes,
2690     BlockCompletionFunc *cb, void *opaque)
2691 {
2692     BDRVRawState *s = bs->opaque;
2693
2694     if (fd_open(bs) < 0) {
2695         return NULL;
2696     }
2697     return paio_submit(bs, s->fd, offset, NULL, bytes,
2698                        cb, opaque, QEMU_AIO_DISCARD|QEMU_AIO_BLKDEV);
2699 }
2700
2701 static coroutine_fn int hdev_co_pwrite_zeroes(BlockDriverState *bs,
2702     int64_t offset, int bytes, BdrvRequestFlags flags)
2703 {
2704     BDRVRawState *s = bs->opaque;
2705     int rc;
2706
2707     rc = fd_open(bs);
2708     if (rc < 0) {
2709         return rc;
2710     }
2711     if (!(flags & BDRV_REQ_MAY_UNMAP)) {
2712         return paio_submit_co(bs, s->fd, offset, NULL, bytes,
2713                               QEMU_AIO_WRITE_ZEROES|QEMU_AIO_BLKDEV);
2714     } else if (s->discard_zeroes) {
2715         return paio_submit_co(bs, s->fd, offset, NULL, bytes,
2716                               QEMU_AIO_DISCARD|QEMU_AIO_BLKDEV);
2717     }
2718     return -ENOTSUP;
2719 }
2720
2721 static int coroutine_fn hdev_co_create_opts(const char *filename, QemuOpts *opts,
2722                                             Error **errp)
2723 {
2724     int fd;
2725     int ret = 0;
2726     struct stat stat_buf;
2727     int64_t total_size = 0;
2728     bool has_prefix;
2729
2730     /* This function is used by both protocol block drivers and therefore either
2731      * of these prefixes may be given.
2732      * The return value has to be stored somewhere, otherwise this is an error
2733      * due to -Werror=unused-value. */
2734     has_prefix =
2735         strstart(filename, "host_device:", &filename) ||
2736         strstart(filename, "host_cdrom:" , &filename);
2737
2738     (void)has_prefix;
2739
2740     ret = raw_normalize_devicepath(&filename);
2741     if (ret < 0) {
2742         error_setg_errno(errp, -ret, "Could not normalize device path");
2743         return ret;
2744     }
2745
2746     /* Read out options */
2747     total_size = ROUND_UP(qemu_opt_get_size_del(opts, BLOCK_OPT_SIZE, 0),
2748                           BDRV_SECTOR_SIZE);
2749
2750     fd = qemu_open(filename, O_WRONLY | O_BINARY);
2751     if (fd < 0) {
2752         ret = -errno;
2753         error_setg_errno(errp, -ret, "Could not open device");
2754         return ret;
2755     }
2756
2757     if (fstat(fd, &stat_buf) < 0) {
2758         ret = -errno;
2759         error_setg_errno(errp, -ret, "Could not stat device");
2760     } else if (!S_ISBLK(stat_buf.st_mode) && !S_ISCHR(stat_buf.st_mode)) {
2761         error_setg(errp,
2762                    "The given file is neither a block nor a character device");
2763         ret = -ENODEV;
2764     } else if (lseek(fd, 0, SEEK_END) < total_size) {
2765         error_setg(errp, "Device is too small");
2766         ret = -ENOSPC;
2767     }
2768
2769     if (!ret && total_size) {
2770         uint8_t buf[BDRV_SECTOR_SIZE] = { 0 };
2771         int64_t zero_size = MIN(BDRV_SECTOR_SIZE, total_size);
2772         if (lseek(fd, 0, SEEK_SET) == -1) {
2773             ret = -errno;
2774         } else {
2775             ret = qemu_write_full(fd, buf, zero_size);
2776             ret = ret == zero_size ? 0 : -errno;
2777         }
2778     }
2779     qemu_close(fd);
2780     return ret;
2781 }
2782
2783 static BlockDriver bdrv_host_device = {
2784     .format_name        = "host_device",
2785     .protocol_name        = "host_device",
2786     .instance_size      = sizeof(BDRVRawState),
2787     .bdrv_needs_filename = true,
2788     .bdrv_probe_device  = hdev_probe_device,
2789     .bdrv_parse_filename = hdev_parse_filename,
2790     .bdrv_file_open     = hdev_open,
2791     .bdrv_close         = raw_close,
2792     .bdrv_reopen_prepare = raw_reopen_prepare,
2793     .bdrv_reopen_commit  = raw_reopen_commit,
2794     .bdrv_reopen_abort   = raw_reopen_abort,
2795     .bdrv_co_create_opts = hdev_co_create_opts,
2796     .create_opts         = &raw_create_opts,
2797     .bdrv_co_pwrite_zeroes = hdev_co_pwrite_zeroes,
2798
2799     .bdrv_co_preadv         = raw_co_preadv,
2800     .bdrv_co_pwritev        = raw_co_pwritev,
2801     .bdrv_aio_flush     = raw_aio_flush,
2802     .bdrv_aio_pdiscard   = hdev_aio_pdiscard,
2803     .bdrv_refresh_limits = raw_refresh_limits,
2804     .bdrv_io_plug = raw_aio_plug,
2805     .bdrv_io_unplug = raw_aio_unplug,
2806
2807     .bdrv_truncate      = raw_truncate,
2808     .bdrv_getlength     = raw_getlength,
2809     .bdrv_get_info = raw_get_info,
2810     .bdrv_get_allocated_file_size
2811                         = raw_get_allocated_file_size,
2812     .bdrv_check_perm = raw_check_perm,
2813     .bdrv_set_perm   = raw_set_perm,
2814     .bdrv_abort_perm_update = raw_abort_perm_update,
2815     .bdrv_probe_blocksizes = hdev_probe_blocksizes,
2816     .bdrv_probe_geometry = hdev_probe_geometry,
2817
2818     /* generic scsi device */
2819 #ifdef __linux__
2820     .bdrv_aio_ioctl     = hdev_aio_ioctl,
2821 #endif
2822 };
2823
2824 #if defined(__linux__) || defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
2825 static void cdrom_parse_filename(const char *filename, QDict *options,
2826                                  Error **errp)
2827 {
2828     bdrv_parse_filename_strip_prefix(filename, "host_cdrom:", options);
2829 }
2830 #endif
2831
2832 #ifdef __linux__
2833 static int cdrom_open(BlockDriverState *bs, QDict *options, int flags,
2834                       Error **errp)
2835 {
2836     BDRVRawState *s = bs->opaque;
2837
2838     s->type = FTYPE_CD;
2839
2840     /* open will not fail even if no CD is inserted, so add O_NONBLOCK */
2841     return raw_open_common(bs, options, flags, O_NONBLOCK, errp);
2842 }
2843
2844 static int cdrom_probe_device(const char *filename)
2845 {
2846     int fd, ret;
2847     int prio = 0;
2848     struct stat st;
2849
2850     fd = qemu_open(filename, O_RDONLY | O_NONBLOCK);
2851     if (fd < 0) {
2852         goto out;
2853     }
2854     ret = fstat(fd, &st);
2855     if (ret == -1 || !S_ISBLK(st.st_mode)) {
2856         goto outc;
2857     }
2858
2859     /* Attempt to detect via a CDROM specific ioctl */
2860     ret = ioctl(fd, CDROM_DRIVE_STATUS, CDSL_CURRENT);
2861     if (ret >= 0)
2862         prio = 100;
2863
2864 outc:
2865     qemu_close(fd);
2866 out:
2867     return prio;
2868 }
2869
2870 static bool cdrom_is_inserted(BlockDriverState *bs)
2871 {
2872     BDRVRawState *s = bs->opaque;
2873     int ret;
2874
2875     ret = ioctl(s->fd, CDROM_DRIVE_STATUS, CDSL_CURRENT);
2876     return ret == CDS_DISC_OK;
2877 }
2878
2879 static void cdrom_eject(BlockDriverState *bs, bool eject_flag)
2880 {
2881     BDRVRawState *s = bs->opaque;
2882
2883     if (eject_flag) {
2884         if (ioctl(s->fd, CDROMEJECT, NULL) < 0)
2885             perror("CDROMEJECT");
2886     } else {
2887         if (ioctl(s->fd, CDROMCLOSETRAY, NULL) < 0)
2888             perror("CDROMEJECT");
2889     }
2890 }
2891
2892 static void cdrom_lock_medium(BlockDriverState *bs, bool locked)
2893 {
2894     BDRVRawState *s = bs->opaque;
2895
2896     if (ioctl(s->fd, CDROM_LOCKDOOR, locked) < 0) {
2897         /*
2898          * Note: an error can happen if the distribution automatically
2899          * mounts the CD-ROM
2900          */
2901         /* perror("CDROM_LOCKDOOR"); */
2902     }
2903 }
2904
2905 static BlockDriver bdrv_host_cdrom = {
2906     .format_name        = "host_cdrom",
2907     .protocol_name      = "host_cdrom",
2908     .instance_size      = sizeof(BDRVRawState),
2909     .bdrv_needs_filename = true,
2910     .bdrv_probe_device  = cdrom_probe_device,
2911     .bdrv_parse_filename = cdrom_parse_filename,
2912     .bdrv_file_open     = cdrom_open,
2913     .bdrv_close         = raw_close,
2914     .bdrv_reopen_prepare = raw_reopen_prepare,
2915     .bdrv_reopen_commit  = raw_reopen_commit,
2916     .bdrv_reopen_abort   = raw_reopen_abort,
2917     .bdrv_co_create_opts = hdev_co_create_opts,
2918     .create_opts         = &raw_create_opts,
2919
2920
2921     .bdrv_co_preadv         = raw_co_preadv,
2922     .bdrv_co_pwritev        = raw_co_pwritev,
2923     .bdrv_aio_flush     = raw_aio_flush,
2924     .bdrv_refresh_limits = raw_refresh_limits,
2925     .bdrv_io_plug = raw_aio_plug,
2926     .bdrv_io_unplug = raw_aio_unplug,
2927
2928     .bdrv_truncate      = raw_truncate,
2929     .bdrv_getlength      = raw_getlength,
2930     .has_variable_length = true,
2931     .bdrv_get_allocated_file_size
2932                         = raw_get_allocated_file_size,
2933
2934     /* removable device support */
2935     .bdrv_is_inserted   = cdrom_is_inserted,
2936     .bdrv_eject         = cdrom_eject,
2937     .bdrv_lock_medium   = cdrom_lock_medium,
2938
2939     /* generic scsi device */
2940     .bdrv_aio_ioctl     = hdev_aio_ioctl,
2941 };
2942 #endif /* __linux__ */
2943
2944 #if defined (__FreeBSD__) || defined(__FreeBSD_kernel__)
2945 static int cdrom_open(BlockDriverState *bs, QDict *options, int flags,
2946                       Error **errp)
2947 {
2948     BDRVRawState *s = bs->opaque;
2949     Error *local_err = NULL;
2950     int ret;
2951
2952     s->type = FTYPE_CD;
2953
2954     ret = raw_open_common(bs, options, flags, 0, &local_err);
2955     if (ret) {
2956         error_propagate(errp, local_err);
2957         return ret;
2958     }
2959
2960     /* make sure the door isn't locked at this time */
2961     ioctl(s->fd, CDIOCALLOW);
2962     return 0;
2963 }
2964
2965 static int cdrom_probe_device(const char *filename)
2966 {
2967     if (strstart(filename, "/dev/cd", NULL) ||
2968             strstart(filename, "/dev/acd", NULL))
2969         return 100;
2970     return 0;
2971 }
2972
2973 static int cdrom_reopen(BlockDriverState *bs)
2974 {
2975     BDRVRawState *s = bs->opaque;
2976     int fd;
2977
2978     /*
2979      * Force reread of possibly changed/newly loaded disc,
2980      * FreeBSD seems to not notice sometimes...
2981      */
2982     if (s->fd >= 0)
2983         qemu_close(s->fd);
2984     fd = qemu_open(bs->filename, s->open_flags, 0644);
2985     if (fd < 0) {
2986         s->fd = -1;
2987         return -EIO;
2988     }
2989     s->fd = fd;
2990
2991     /* make sure the door isn't locked at this time */
2992     ioctl(s->fd, CDIOCALLOW);
2993     return 0;
2994 }
2995
2996 static bool cdrom_is_inserted(BlockDriverState *bs)
2997 {
2998     return raw_getlength(bs) > 0;
2999 }
3000
3001 static void cdrom_eject(BlockDriverState *bs, bool eject_flag)
3002 {
3003     BDRVRawState *s = bs->opaque;
3004
3005     if (s->fd < 0)
3006         return;
3007
3008     (void) ioctl(s->fd, CDIOCALLOW);
3009
3010     if (eject_flag) {
3011         if (ioctl(s->fd, CDIOCEJECT) < 0)
3012             perror("CDIOCEJECT");
3013     } else {
3014         if (ioctl(s->fd, CDIOCCLOSE) < 0)
3015             perror("CDIOCCLOSE");
3016     }
3017
3018     cdrom_reopen(bs);
3019 }
3020
3021 static void cdrom_lock_medium(BlockDriverState *bs, bool locked)
3022 {
3023     BDRVRawState *s = bs->opaque;
3024
3025     if (s->fd < 0)
3026         return;
3027     if (ioctl(s->fd, (locked ? CDIOCPREVENT : CDIOCALLOW)) < 0) {
3028         /*
3029          * Note: an error can happen if the distribution automatically
3030          * mounts the CD-ROM
3031          */
3032         /* perror("CDROM_LOCKDOOR"); */
3033     }
3034 }
3035
3036 static BlockDriver bdrv_host_cdrom = {
3037     .format_name        = "host_cdrom",
3038     .protocol_name      = "host_cdrom",
3039     .instance_size      = sizeof(BDRVRawState),
3040     .bdrv_needs_filename = true,
3041     .bdrv_probe_device  = cdrom_probe_device,
3042     .bdrv_parse_filename = cdrom_parse_filename,
3043     .bdrv_file_open     = cdrom_open,
3044     .bdrv_close         = raw_close,
3045     .bdrv_reopen_prepare = raw_reopen_prepare,
3046     .bdrv_reopen_commit  = raw_reopen_commit,
3047     .bdrv_reopen_abort   = raw_reopen_abort,
3048     .bdrv_co_create_opts = hdev_co_create_opts,
3049     .create_opts        = &raw_create_opts,
3050
3051     .bdrv_co_preadv         = raw_co_preadv,
3052     .bdrv_co_pwritev        = raw_co_pwritev,
3053     .bdrv_aio_flush     = raw_aio_flush,
3054     .bdrv_refresh_limits = raw_refresh_limits,
3055     .bdrv_io_plug = raw_aio_plug,
3056     .bdrv_io_unplug = raw_aio_unplug,
3057
3058     .bdrv_truncate      = raw_truncate,
3059     .bdrv_getlength      = raw_getlength,
3060     .has_variable_length = true,
3061     .bdrv_get_allocated_file_size
3062                         = raw_get_allocated_file_size,
3063
3064     /* removable device support */
3065     .bdrv_is_inserted   = cdrom_is_inserted,
3066     .bdrv_eject         = cdrom_eject,
3067     .bdrv_lock_medium   = cdrom_lock_medium,
3068 };
3069 #endif /* __FreeBSD__ */
3070
3071 static void bdrv_file_init(void)
3072 {
3073     /*
3074      * Register all the drivers.  Note that order is important, the driver
3075      * registered last will get probed first.
3076      */
3077     bdrv_register(&bdrv_file);
3078     bdrv_register(&bdrv_host_device);
3079 #ifdef __linux__
3080     bdrv_register(&bdrv_host_cdrom);
3081 #endif
3082 #if defined(__FreeBSD__) || defined(__FreeBSD_kernel__)
3083     bdrv_register(&bdrv_host_cdrom);
3084 #endif
3085 }
3086
3087 block_init(bdrv_file_init);