block/vmdk.c

   1 /*
   2  * Block driver for the VMDK format
   3  *
   4  * Copyright (c) 2004 Fabrice Bellard
   5  * Copyright (c) 2005 Filip Navara
   6  *
   7  * Permission is hereby granted, free of charge, to any person obtaining a copy
   8  * of this software and associated documentation files (the "Software"), to deal
   9  * in the Software without restriction, including without limitation the rights
  10  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
  11  * copies of the Software, and to permit persons to whom the Software is
  12  * furnished to do so, subject to the following conditions:
  13  *
  14  * The above copyright notice and this permission notice shall be included in
  15  * all copies or substantial portions of the Software.
  16  *
  17  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  18  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  19  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
  20  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  21  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  22  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  23  * THE SOFTWARE.
  24  */
  25
  26 #include "qemu-common.h"
  27 #include "block/block_int.h"
  28 #include "qemu/module.h"
  29 #include "migration/migration.h"
  30 #include <zlib.h>
  31
  32 #define VMDK3_MAGIC (('C' << 24) | ('O' << 16) | ('W' << 8) | 'D')
  33 #define VMDK4_MAGIC (('K' << 24) | ('D' << 16) | ('M' << 8) | 'V')
  34 #define VMDK4_COMPRESSION_DEFLATE 1
  35 #define VMDK4_FLAG_NL_DETECT (1 << 0)
  36 #define VMDK4_FLAG_RGD (1 << 1)
  37 /* Zeroed-grain enable bit */
  38 #define VMDK4_FLAG_ZERO_GRAIN   (1 << 2)
  39 #define VMDK4_FLAG_COMPRESS (1 << 16)
  40 #define VMDK4_FLAG_MARKER (1 << 17)
  41 #define VMDK4_GD_AT_END 0xffffffffffffffffULL
  42
  43 #define VMDK_GTE_ZEROED 0x1
  44
  45 /* VMDK internal error codes */
  46 #define VMDK_OK      0
  47 #define VMDK_ERROR   (-1)
  48 /* Cluster not allocated */
  49 #define VMDK_UNALLOC (-2)
  50 #define VMDK_ZEROED  (-3)
  51
  52 #define BLOCK_OPT_ZEROED_GRAIN "zeroed_grain"
  53
  54 typedef struct {
  55     uint32_t version;
  56     uint32_t flags;
  57     uint32_t disk_sectors;
  58     uint32_t granularity;
  59     uint32_t l1dir_offset;
  60     uint32_t l1dir_size;
  61     uint32_t file_sectors;
  62     uint32_t cylinders;
  63     uint32_t heads;
  64     uint32_t sectors_per_track;
  65 } VMDK3Header;
  66
  67 typedef struct {
  68     uint32_t version;
  69     uint32_t flags;
  70     int64_t capacity;
  71     int64_t granularity;
  72     int64_t desc_offset;
  73     int64_t desc_size;
  74     int32_t num_gtes_per_gte;
  75     int64_t rgd_offset;
  76     int64_t gd_offset;
  77     int64_t grain_offset;
  78     char filler[1];
  79     char check_bytes[4];
  80     uint16_t compressAlgorithm;
  81 } QEMU_PACKED VMDK4Header;
  82
  83 #define L2_CACHE_SIZE 16
  84
  85 typedef struct VmdkExtent {
  86     BlockDriverState *file;
  87     bool flat;
  88     bool compressed;
  89     bool has_marker;
  90     bool has_zero_grain;
  91     int version;
  92     int64_t sectors;
  93     int64_t end_sector;
  94     int64_t flat_start_offset;
  95     int64_t l1_table_offset;
  96     int64_t l1_backup_table_offset;
  97     uint32_t *l1_table;
  98     uint32_t *l1_backup_table;
  99     unsigned int l1_size;
 100     uint32_t l1_entry_sectors;
 101
 102     unsigned int l2_size;
 103     uint32_t *l2_cache;
 104     uint32_t l2_cache_offsets[L2_CACHE_SIZE];
 105     uint32_t l2_cache_counts[L2_CACHE_SIZE];
 106
 107     unsigned int cluster_sectors;
 108 } VmdkExtent;
 109
 110 typedef struct BDRVVmdkState {
 111     CoMutex lock;
 112     int desc_offset;
 113     bool cid_updated;
 114     uint32_t parent_cid;
 115     int num_extents;
 116     /* Extent array with num_extents entries, ascend ordered by address */
 117     VmdkExtent *extents;
 118     Error *migration_blocker;
 119 } BDRVVmdkState;
 120
 121 typedef struct VmdkMetaData {
 122     uint32_t offset;
 123     unsigned int l1_index;
 124     unsigned int l2_index;
 125     unsigned int l2_offset;
 126     int valid;
 127     uint32_t *l2_cache_entry;
 128 } VmdkMetaData;
 129
 130 typedef struct VmdkGrainMarker {
 131     uint64_t lba;
 132     uint32_t size;
 133     uint8_t  data[0];
 134 } VmdkGrainMarker;
 135
 136 enum {
 137     MARKER_END_OF_STREAM    = 0,
 138     MARKER_GRAIN_TABLE      = 1,
 139     MARKER_GRAIN_DIRECTORY  = 2,
 140     MARKER_FOOTER           = 3,
 141 };
 142
 143 static int vmdk_probe(const uint8_t *buf, int buf_size, const char *filename)
 144 {
 145     uint32_t magic;
 146
 147     if (buf_size < 4) {
 148         return 0;
 149     }
 150     magic = be32_to_cpu(*(uint32_t *)buf);
 151     if (magic == VMDK3_MAGIC ||
 152         magic == VMDK4_MAGIC) {
 153         return 100;
 154     } else {
 155         const char *p = (const char *)buf;
 156         const char *end = p + buf_size;
 157         while (p < end) {
 158             if (*p == '#') {
 159                 /* skip comment line */
 160                 while (p < end && *p != '\n') {
 161                     p++;
 162                 }
 163                 p++;
 164                 continue;
 165             }
 166             if (*p == ' ') {
 167                 while (p < end && *p == ' ') {
 168                     p++;
 169                 }
 170                 /* skip '\r' if windows line endings used. */
 171                 if (p < end && *p == '\r') {
 172                     p++;
 173                 }
 174                 /* only accept blank lines before 'version=' line */
 175                 if (p == end || *p != '\n') {
 176                     return 0;
 177                 }
 178                 p++;
 179                 continue;
 180             }
 181             if (end - p >= strlen("version=X\n")) {
 182                 if (strncmp("version=1\n", p, strlen("version=1\n")) == 0 ||
 183                     strncmp("version=2\n", p, strlen("version=2\n")) == 0) {
 184                     return 100;
 185                 }
 186             }
 187             if (end - p >= strlen("version=X\r\n")) {
 188                 if (strncmp("version=1\r\n", p, strlen("version=1\r\n")) == 0 ||
 189                     strncmp("version=2\r\n", p, strlen("version=2\r\n")) == 0) {
 190                     return 100;
 191                 }
 192             }
 193             return 0;
 194         }
 195         return 0;
 196     }
 197 }
 198
 199 #define CHECK_CID 1
 200
 201 #define SECTOR_SIZE 512
 202 #define DESC_SIZE (20 * SECTOR_SIZE)    /* 20 sectors of 512 bytes each */
 203 #define BUF_SIZE 4096
 204 #define HEADER_SIZE 512                 /* first sector of 512 bytes */
 205
 206 static void vmdk_free_extents(BlockDriverState *bs)
 207 {
 208     int i;
 209     BDRVVmdkState *s = bs->opaque;
 210     VmdkExtent *e;
 211
 212     for (i = 0; i < s->num_extents; i++) {
 213         e = &s->extents[i];
 214         g_free(e->l1_table);
 215         g_free(e->l2_cache);
 216         g_free(e->l1_backup_table);
 217         if (e->file != bs->file) {
 218             bdrv_delete(e->file);
 219         }
 220     }
 221     g_free(s->extents);
 222 }
 223
 224 static void vmdk_free_last_extent(BlockDriverState *bs)
 225 {
 226     BDRVVmdkState *s = bs->opaque;
 227
 228     if (s->num_extents == 0) {
 229         return;
 230     }
 231     s->num_extents--;
 232     s->extents = g_realloc(s->extents, s->num_extents * sizeof(VmdkExtent));
 233 }
 234
 235 static uint32_t vmdk_read_cid(BlockDriverState *bs, int parent)
 236 {
 237     char desc[DESC_SIZE];
 238     uint32_t cid = 0xffffffff;
 239     const char *p_name, *cid_str;
 240     size_t cid_str_size;
 241     BDRVVmdkState *s = bs->opaque;
 242     int ret;
 243
 244     ret = bdrv_pread(bs->file, s->desc_offset, desc, DESC_SIZE);
 245     if (ret < 0) {
 246         return 0;
 247     }
 248
 249     if (parent) {
 250         cid_str = "parentCID";
 251         cid_str_size = sizeof("parentCID");
 252     } else {
 253         cid_str = "CID";
 254         cid_str_size = sizeof("CID");
 255     }
 256
 257     desc[DESC_SIZE - 1] = '\0';
 258     p_name = strstr(desc, cid_str);
 259     if (p_name != NULL) {
 260         p_name += cid_str_size;
 261         sscanf(p_name, "%x", &cid);
 262     }
 263
 264     return cid;
 265 }
 266
 267 static int vmdk_write_cid(BlockDriverState *bs, uint32_t cid)
 268 {
 269     char desc[DESC_SIZE], tmp_desc[DESC_SIZE];
 270     char *p_name, *tmp_str;
 271     BDRVVmdkState *s = bs->opaque;
 272     int ret;
 273
 274     ret = bdrv_pread(bs->file, s->desc_offset, desc, DESC_SIZE);
 275     if (ret < 0) {
 276         return ret;
 277     }
 278
 279     desc[DESC_SIZE - 1] = '\0';
 280     tmp_str = strstr(desc, "parentCID");
 281     if (tmp_str == NULL) {
 282         return -EINVAL;
 283     }
 284
 285     pstrcpy(tmp_desc, sizeof(tmp_desc), tmp_str);
 286     p_name = strstr(desc, "CID");
 287     if (p_name != NULL) {
 288         p_name += sizeof("CID");
 289         snprintf(p_name, sizeof(desc) - (p_name - desc), "%x\n", cid);
 290         pstrcat(desc, sizeof(desc), tmp_desc);
 291     }
 292
 293     ret = bdrv_pwrite_sync(bs->file, s->desc_offset, desc, DESC_SIZE);
 294     if (ret < 0) {
 295         return ret;
 296     }
 297
 298     return 0;
 299 }
 300
 301 static int vmdk_is_cid_valid(BlockDriverState *bs)
 302 {
 303 #ifdef CHECK_CID
 304     BDRVVmdkState *s = bs->opaque;
 305     BlockDriverState *p_bs = bs->backing_hd;
 306     uint32_t cur_pcid;
 307
 308     if (p_bs) {
 309         cur_pcid = vmdk_read_cid(p_bs, 0);
 310         if (s->parent_cid != cur_pcid) {
 311             /* CID not valid */
 312             return 0;
 313         }
 314     }
 315 #endif
 316     /* CID valid */
 317     return 1;
 318 }
 319
 320 /* Queue extents, if any, for reopen() */
 321 static int vmdk_reopen_prepare(BDRVReopenState *state,
 322                                BlockReopenQueue *queue, Error **errp)
 323 {
 324     BDRVVmdkState *s;
 325     int ret = -1;
 326     int i;
 327     VmdkExtent *e;
 328
 329     assert(state != NULL);
 330     assert(state->bs != NULL);
 331
 332     if (queue == NULL) {
 333         error_set(errp, ERROR_CLASS_GENERIC_ERROR,
 334                  "No reopen queue for VMDK extents");
 335         goto exit;
 336     }
 337
 338     s = state->bs->opaque;
 339
 340     assert(s != NULL);
 341
 342     for (i = 0; i < s->num_extents; i++) {
 343         e = &s->extents[i];
 344         if (e->file != state->bs->file) {
 345             bdrv_reopen_queue(queue, e->file, state->flags);
 346         }
 347     }
 348     ret = 0;
 349
 350 exit:
 351     return ret;
 352 }
 353
 354 static int vmdk_parent_open(BlockDriverState *bs)
 355 {
 356     char *p_name;
 357     char desc[DESC_SIZE + 1];
 358     BDRVVmdkState *s = bs->opaque;
 359     int ret;
 360
 361     desc[DESC_SIZE] = '\0';
 362     ret = bdrv_pread(bs->file, s->desc_offset, desc, DESC_SIZE);
 363     if (ret < 0) {
 364         return ret;
 365     }
 366
 367     p_name = strstr(desc, "parentFileNameHint");
 368     if (p_name != NULL) {
 369         char *end_name;
 370
 371         p_name += sizeof("parentFileNameHint") + 1;
 372         end_name = strchr(p_name, '\"');
 373         if (end_name == NULL) {
 374             return -EINVAL;
 375         }
 376         if ((end_name - p_name) > sizeof(bs->backing_file) - 1) {
 377             return -EINVAL;
 378         }
 379
 380         pstrcpy(bs->backing_file, end_name - p_name + 1, p_name);
 381     }
 382
 383     return 0;
 384 }
 385
 386 /* Create and append extent to the extent array. Return the added VmdkExtent
 387  * address. return NULL if allocation failed. */
 388 static VmdkExtent *vmdk_add_extent(BlockDriverState *bs,
 389                            BlockDriverState *file, bool flat, int64_t sectors,
 390                            int64_t l1_offset, int64_t l1_backup_offset,
 391                            uint32_t l1_size,
 392                            int l2_size, unsigned int cluster_sectors)
 393 {
 394     VmdkExtent *extent;
 395     BDRVVmdkState *s = bs->opaque;
 396
 397     s->extents = g_realloc(s->extents,
 398                               (s->num_extents + 1) * sizeof(VmdkExtent));
 399     extent = &s->extents[s->num_extents];
 400     s->num_extents++;
 401
 402     memset(extent, 0, sizeof(VmdkExtent));
 403     extent->file = file;
 404     extent->flat = flat;
 405     extent->sectors = sectors;
 406     extent->l1_table_offset = l1_offset;
 407     extent->l1_backup_table_offset = l1_backup_offset;
 408     extent->l1_size = l1_size;
 409     extent->l1_entry_sectors = l2_size * cluster_sectors;
 410     extent->l2_size = l2_size;
 411     extent->cluster_sectors = cluster_sectors;
 412
 413     if (s->num_extents > 1) {
 414         extent->end_sector = (*(extent - 1)).end_sector + extent->sectors;
 415     } else {
 416         extent->end_sector = extent->sectors;
 417     }
 418     bs->total_sectors = extent->end_sector;
 419     return extent;
 420 }
 421
 422 static int vmdk_init_tables(BlockDriverState *bs, VmdkExtent *extent)
 423 {
 424     int ret;
 425     int l1_size, i;
 426
 427     /* read the L1 table */
 428     l1_size = extent->l1_size * sizeof(uint32_t);
 429     extent->l1_table = g_malloc(l1_size);
 430     ret = bdrv_pread(extent->file,
 431                     extent->l1_table_offset,
 432                     extent->l1_table,
 433                     l1_size);
 434     if (ret < 0) {
 435         goto fail_l1;
 436     }
 437     for (i = 0; i < extent->l1_size; i++) {
 438         le32_to_cpus(&extent->l1_table[i]);
 439     }
 440
 441     if (extent->l1_backup_table_offset) {
 442         extent->l1_backup_table = g_malloc(l1_size);
 443         ret = bdrv_pread(extent->file,
 444                         extent->l1_backup_table_offset,
 445                         extent->l1_backup_table,
 446                         l1_size);
 447         if (ret < 0) {
 448             goto fail_l1b;
 449         }
 450         for (i = 0; i < extent->l1_size; i++) {
 451             le32_to_cpus(&extent->l1_backup_table[i]);
 452         }
 453     }
 454
 455     extent->l2_cache =
 456         g_malloc(extent->l2_size * L2_CACHE_SIZE * sizeof(uint32_t));
 457     return 0;
 458  fail_l1b:
 459     g_free(extent->l1_backup_table);
 460  fail_l1:
 461     g_free(extent->l1_table);
 462     return ret;
 463 }
 464
 465 static int vmdk_open_vmdk3(BlockDriverState *bs,
 466                            BlockDriverState *file,
 467                            int flags)
 468 {
 469     int ret;
 470     uint32_t magic;
 471     VMDK3Header header;
 472     VmdkExtent *extent;
 473
 474     ret = bdrv_pread(file, sizeof(magic), &header, sizeof(header));
 475     if (ret < 0) {
 476         return ret;
 477     }
 478     extent = vmdk_add_extent(bs,
 479                              bs->file, false,
 480                              le32_to_cpu(header.disk_sectors),
 481                              le32_to_cpu(header.l1dir_offset) << 9,
 482                              0, 1 << 6, 1 << 9,
 483                              le32_to_cpu(header.granularity));
 484     ret = vmdk_init_tables(bs, extent);
 485     if (ret) {
 486         /* free extent allocated by vmdk_add_extent */
 487         vmdk_free_last_extent(bs);
 488     }
 489     return ret;
 490 }
 491
 492 static int vmdk_open_desc_file(BlockDriverState *bs, int flags,
 493                                int64_t desc_offset);
 494
 495 static int vmdk_open_vmdk4(BlockDriverState *bs,
 496                            BlockDriverState *file,
 497                            int flags)
 498 {
 499     int ret;
 500     uint32_t magic;
 501     uint32_t l1_size, l1_entry_sectors;
 502     VMDK4Header header;
 503     VmdkExtent *extent;
 504     int64_t l1_backup_offset = 0;
 505
 506     ret = bdrv_pread(file, sizeof(magic), &header, sizeof(header));
 507     if (ret < 0) {
 508         return ret;
 509     }
 510     if (header.capacity == 0) {
 511         int64_t desc_offset = le64_to_cpu(header.desc_offset);
 512         if (desc_offset) {
 513             return vmdk_open_desc_file(bs, flags, desc_offset << 9);
 514         }
 515     }
 516
 517     if (le64_to_cpu(header.gd_offset) == VMDK4_GD_AT_END) {
 518         /*
 519          * The footer takes precedence over the header, so read it in. The
 520          * footer starts at offset -1024 from the end: One sector for the
 521          * footer, and another one for the end-of-stream marker.
 522          */
 523         struct {
 524             struct {
 525                 uint64_t val;
 526                 uint32_t size;
 527                 uint32_t type;
 528                 uint8_t pad[512 - 16];
 529             } QEMU_PACKED footer_marker;
 530
 531             uint32_t magic;
 532             VMDK4Header header;
 533             uint8_t pad[512 - 4 - sizeof(VMDK4Header)];
 534
 535             struct {
 536                 uint64_t val;
 537                 uint32_t size;
 538                 uint32_t type;
 539                 uint8_t pad[512 - 16];
 540             } QEMU_PACKED eos_marker;
 541         } QEMU_PACKED footer;
 542
 543         ret = bdrv_pread(file,
 544             bs->file->total_sectors * 512 - 1536,
 545             &footer, sizeof(footer));
 546         if (ret < 0) {
 547             return ret;
 548         }
 549
 550         /* Some sanity checks for the footer */
 551         if (be32_to_cpu(footer.magic) != VMDK4_MAGIC ||
 552             le32_to_cpu(footer.footer_marker.size) != 0  ||
 553             le32_to_cpu(footer.footer_marker.type) != MARKER_FOOTER ||
 554             le64_to_cpu(footer.eos_marker.val) != 0  ||
 555             le32_to_cpu(footer.eos_marker.size) != 0  ||
 556             le32_to_cpu(footer.eos_marker.type) != MARKER_END_OF_STREAM)
 557         {
 558             return -EINVAL;
 559         }
 560
 561         header = footer.header;
 562     }
 563
 564     if (le32_to_cpu(header.version) >= 3) {
 565         char buf[64];
 566         snprintf(buf, sizeof(buf), "VMDK version %d",
 567                  le32_to_cpu(header.version));
 568         qerror_report(QERR_UNKNOWN_BLOCK_FORMAT_FEATURE,
 569                 bs->device_name, "vmdk", buf);
 570         return -ENOTSUP;
 571     }
 572
 573     l1_entry_sectors = le32_to_cpu(header.num_gtes_per_gte)
 574                         * le64_to_cpu(header.granularity);
 575     if (l1_entry_sectors == 0) {
 576         return -EINVAL;
 577     }
 578     l1_size = (le64_to_cpu(header.capacity) + l1_entry_sectors - 1)
 579                 / l1_entry_sectors;
 580     if (le32_to_cpu(header.flags) & VMDK4_FLAG_RGD) {
 581         l1_backup_offset = le64_to_cpu(header.rgd_offset) << 9;
 582     }
 583     extent = vmdk_add_extent(bs, file, false,
 584                           le64_to_cpu(header.capacity),
 585                           le64_to_cpu(header.gd_offset) << 9,
 586                           l1_backup_offset,
 587                           l1_size,
 588                           le32_to_cpu(header.num_gtes_per_gte),
 589                           le64_to_cpu(header.granularity));
 590     extent->compressed =
 591         le16_to_cpu(header.compressAlgorithm) == VMDK4_COMPRESSION_DEFLATE;
 592     extent->has_marker = le32_to_cpu(header.flags) & VMDK4_FLAG_MARKER;
 593     extent->version = le32_to_cpu(header.version);
 594     extent->has_zero_grain = le32_to_cpu(header.flags) & VMDK4_FLAG_ZERO_GRAIN;
 595     ret = vmdk_init_tables(bs, extent);
 596     if (ret) {
 597         /* free extent allocated by vmdk_add_extent */
 598         vmdk_free_last_extent(bs);
 599     }
 600     return ret;
 601 }
 602
 603 /* find an option value out of descriptor file */
 604 static int vmdk_parse_description(const char *desc, const char *opt_name,
 605         char *buf, int buf_size)
 606 {
 607     char *opt_pos, *opt_end;
 608     const char *end = desc + strlen(desc);
 609
 610     opt_pos = strstr(desc, opt_name);
 611     if (!opt_pos) {
 612         return VMDK_ERROR;
 613     }
 614     /* Skip "=\"" following opt_name */
 615     opt_pos += strlen(opt_name) + 2;
 616     if (opt_pos >= end) {
 617         return VMDK_ERROR;
 618     }
 619     opt_end = opt_pos;
 620     while (opt_end < end && *opt_end != '"') {
 621         opt_end++;
 622     }
 623     if (opt_end == end || buf_size < opt_end - opt_pos + 1) {
 624         return VMDK_ERROR;
 625     }
 626     pstrcpy(buf, opt_end - opt_pos + 1, opt_pos);
 627     return VMDK_OK;
 628 }
 629
 630 /* Open an extent file and append to bs array */
 631 static int vmdk_open_sparse(BlockDriverState *bs,
 632                             BlockDriverState *file,
 633                             int flags)
 634 {
 635     uint32_t magic;
 636
 637     if (bdrv_pread(file, 0, &magic, sizeof(magic)) != sizeof(magic)) {
 638         return -EIO;
 639     }
 640
 641     magic = be32_to_cpu(magic);
 642     switch (magic) {
 643         case VMDK3_MAGIC:
 644             return vmdk_open_vmdk3(bs, file, flags);
 645             break;
 646         case VMDK4_MAGIC:
 647             return vmdk_open_vmdk4(bs, file, flags);
 648             break;
 649         default:
 650             return -EMEDIUMTYPE;
 651             break;
 652     }
 653 }
 654
 655 static int vmdk_parse_extents(const char *desc, BlockDriverState *bs,
 656         const char *desc_file_path)
 657 {
 658     int ret;
 659     char access[11];
 660     char type[11];
 661     char fname[512];
 662     const char *p = desc;
 663     int64_t sectors = 0;
 664     int64_t flat_offset;
 665     char extent_path[PATH_MAX];
 666     BlockDriverState *extent_file;
 667
 668     while (*p) {
 669         /* parse extent line:
 670          * RW [size in sectors] FLAT "file-name.vmdk" OFFSET
 671          * or
 672          * RW [size in sectors] SPARSE "file-name.vmdk"
 673          */
 674         flat_offset = -1;
 675         ret = sscanf(p, "%10s %" SCNd64 " %10s \"%511[^\n\r\"]\" %" SCNd64,
 676                 access, &sectors, type, fname, &flat_offset);
 677         if (ret < 4 || strcmp(access, "RW")) {
 678             goto next_line;
 679         } else if (!strcmp(type, "FLAT")) {
 680             if (ret != 5 || flat_offset < 0) {
 681                 return -EINVAL;
 682             }
 683         } else if (ret != 4) {
 684             return -EINVAL;
 685         }
 686
 687         if (sectors <= 0 ||
 688             (strcmp(type, "FLAT") && strcmp(type, "SPARSE")) ||
 689             (strcmp(access, "RW"))) {
 690             goto next_line;
 691         }
 692
 693         path_combine(extent_path, sizeof(extent_path),
 694                 desc_file_path, fname);
 695         ret = bdrv_file_open(&extent_file, extent_path, NULL, bs->open_flags);
 696         if (ret) {
 697             return ret;
 698         }
 699
 700         /* save to extents array */
 701         if (!strcmp(type, "FLAT")) {
 702             /* FLAT extent */
 703             VmdkExtent *extent;
 704
 705             extent = vmdk_add_extent(bs, extent_file, true, sectors,
 706                             0, 0, 0, 0, sectors);
 707             extent->flat_start_offset = flat_offset << 9;
 708         } else if (!strcmp(type, "SPARSE")) {
 709             /* SPARSE extent */
 710             ret = vmdk_open_sparse(bs, extent_file, bs->open_flags);
 711             if (ret) {
 712                 bdrv_delete(extent_file);
 713                 return ret;
 714             }
 715         } else {
 716             fprintf(stderr,
 717                 "VMDK: Not supported extent type \"%s\""".\n", type);
 718             return -ENOTSUP;
 719         }
 720 next_line:
 721         /* move to next line */
 722         while (*p && *p != '\n') {
 723             p++;
 724         }
 725         p++;
 726     }
 727     return 0;
 728 }
 729
 730 static int vmdk_open_desc_file(BlockDriverState *bs, int flags,
 731                                int64_t desc_offset)
 732 {
 733     int ret;
 734     char *buf = NULL;
 735     char ct[128];
 736     BDRVVmdkState *s = bs->opaque;
 737     int64_t size;
 738
 739     size = bdrv_getlength(bs->file);
 740     if (size < 0) {
 741         return -EINVAL;
 742     }
 743
 744     size = MIN(size, 1 << 20);  /* avoid unbounded allocation */
 745     buf = g_malloc0(size + 1);
 746
 747     ret = bdrv_pread(bs->file, desc_offset, buf, size);
 748     if (ret < 0) {
 749         goto exit;
 750     }
 751     if (vmdk_parse_description(buf, "createType", ct, sizeof(ct))) {
 752         ret = -EMEDIUMTYPE;
 753         goto exit;
 754     }
 755     if (strcmp(ct, "monolithicFlat") &&
 756         strcmp(ct, "twoGbMaxExtentSparse") &&
 757         strcmp(ct, "twoGbMaxExtentFlat")) {
 758         fprintf(stderr,
 759                 "VMDK: Not supported image type \"%s\""".\n", ct);
 760         ret = -ENOTSUP;
 761         goto exit;
 762     }
 763     s->desc_offset = 0;
 764     ret = vmdk_parse_extents(buf, bs, bs->file->filename);
 765 exit:
 766     g_free(buf);
 767     return ret;
 768 }
 769
 770 static int vmdk_open(BlockDriverState *bs, QDict *options, int flags)
 771 {
 772     int ret;
 773     BDRVVmdkState *s = bs->opaque;
 774
 775     if (vmdk_open_sparse(bs, bs->file, flags) == 0) {
 776         s->desc_offset = 0x200;
 777     } else {
 778         ret = vmdk_open_desc_file(bs, flags, 0);
 779         if (ret) {
 780             goto fail;
 781         }
 782     }
 783     /* try to open parent images, if exist */
 784     ret = vmdk_parent_open(bs);
 785     if (ret) {
 786         goto fail;
 787     }
 788     s->parent_cid = vmdk_read_cid(bs, 1);
 789     qemu_co_mutex_init(&s->lock);
 790
 791     /* Disable migration when VMDK images are used */
 792     error_set(&s->migration_blocker,
 793               QERR_BLOCK_FORMAT_FEATURE_NOT_SUPPORTED,
 794               "vmdk", bs->device_name, "live migration");
 795     migrate_add_blocker(s->migration_blocker);
 796
 797     return 0;
 798
 799 fail:
 800     vmdk_free_extents(bs);
 801     return ret;
 802 }
 803
 804 static int get_whole_cluster(BlockDriverState *bs,
 805                 VmdkExtent *extent,
 806                 uint64_t cluster_offset,
 807                 uint64_t offset,
 808                 bool allocate)
 809 {
 810     /* 128 sectors * 512 bytes each = grain size 64KB */
 811     uint8_t  whole_grain[extent->cluster_sectors * 512];
 812
 813     /* we will be here if it's first write on non-exist grain(cluster).
 814      * try to read from parent image, if exist */
 815     if (bs->backing_hd) {
 816         int ret;
 817
 818         if (!vmdk_is_cid_valid(bs)) {
 819             return VMDK_ERROR;
 820         }
 821
 822         /* floor offset to cluster */
 823         offset -= offset % (extent->cluster_sectors * 512);
 824         ret = bdrv_read(bs->backing_hd, offset >> 9, whole_grain,
 825                 extent->cluster_sectors);
 826         if (ret < 0) {
 827             return VMDK_ERROR;
 828         }
 829
 830         /* Write grain only into the active image */
 831         ret = bdrv_write(extent->file, cluster_offset, whole_grain,
 832                 extent->cluster_sectors);
 833         if (ret < 0) {
 834             return VMDK_ERROR;
 835         }
 836     }
 837     return VMDK_OK;
 838 }
 839
 840 static int vmdk_L2update(VmdkExtent *extent, VmdkMetaData *m_data)
 841 {
 842     uint32_t offset;
 843     QEMU_BUILD_BUG_ON(sizeof(offset) != sizeof(m_data->offset));
 844     offset = cpu_to_le32(m_data->offset);
 845     /* update L2 table */
 846     if (bdrv_pwrite_sync(
 847                 extent->file,
 848                 ((int64_t)m_data->l2_offset * 512)
 849                     + (m_data->l2_index * sizeof(m_data->offset)),
 850                 &offset, sizeof(offset)) < 0) {
 851         return VMDK_ERROR;
 852     }
 853     /* update backup L2 table */
 854     if (extent->l1_backup_table_offset != 0) {
 855         m_data->l2_offset = extent->l1_backup_table[m_data->l1_index];
 856         if (bdrv_pwrite_sync(
 857                     extent->file,
 858                     ((int64_t)m_data->l2_offset * 512)
 859                         + (m_data->l2_index * sizeof(m_data->offset)),
 860                     &offset, sizeof(offset)) < 0) {
 861             return VMDK_ERROR;
 862         }
 863     }
 864     if (m_data->l2_cache_entry) {
 865         *m_data->l2_cache_entry = offset;
 866     }
 867
 868     return VMDK_OK;
 869 }
 870
 871 static int get_cluster_offset(BlockDriverState *bs,
 872                                     VmdkExtent *extent,
 873                                     VmdkMetaData *m_data,
 874                                     uint64_t offset,
 875                                     int allocate,
 876                                     uint64_t *cluster_offset)
 877 {
 878     unsigned int l1_index, l2_offset, l2_index;
 879     int min_index, i, j;
 880     uint32_t min_count, *l2_table;
 881     bool zeroed = false;
 882
 883     if (m_data) {
 884         m_data->valid = 0;
 885     }
 886     if (extent->flat) {
 887         *cluster_offset = extent->flat_start_offset;
 888         return VMDK_OK;
 889     }
 890
 891     offset -= (extent->end_sector - extent->sectors) * SECTOR_SIZE;
 892     l1_index = (offset >> 9) / extent->l1_entry_sectors;
 893     if (l1_index >= extent->l1_size) {
 894         return VMDK_ERROR;
 895     }
 896     l2_offset = extent->l1_table[l1_index];
 897     if (!l2_offset) {
 898         return VMDK_UNALLOC;
 899     }
 900     for (i = 0; i < L2_CACHE_SIZE; i++) {
 901         if (l2_offset == extent->l2_cache_offsets[i]) {
 902             /* increment the hit count */
 903             if (++extent->l2_cache_counts[i] == 0xffffffff) {
 904                 for (j = 0; j < L2_CACHE_SIZE; j++) {
 905                     extent->l2_cache_counts[j] >>= 1;
 906                 }
 907             }
 908             l2_table = extent->l2_cache + (i * extent->l2_size);
 909             goto found;
 910         }
 911     }
 912     /* not found: load a new entry in the least used one */
 913     min_index = 0;
 914     min_count = 0xffffffff;
 915     for (i = 0; i < L2_CACHE_SIZE; i++) {
 916         if (extent->l2_cache_counts[i] < min_count) {
 917             min_count = extent->l2_cache_counts[i];
 918             min_index = i;
 919         }
 920     }
 921     l2_table = extent->l2_cache + (min_index * extent->l2_size);
 922     if (bdrv_pread(
 923                 extent->file,
 924                 (int64_t)l2_offset * 512,
 925                 l2_table,
 926                 extent->l2_size * sizeof(uint32_t)
 927             ) != extent->l2_size * sizeof(uint32_t)) {
 928         return VMDK_ERROR;
 929     }
 930
 931     extent->l2_cache_offsets[min_index] = l2_offset;
 932     extent->l2_cache_counts[min_index] = 1;
 933  found:
 934     l2_index = ((offset >> 9) / extent->cluster_sectors) % extent->l2_size;
 935     *cluster_offset = le32_to_cpu(l2_table[l2_index]);
 936
 937     if (m_data) {
 938         m_data->valid = 1;
 939         m_data->l1_index = l1_index;
 940         m_data->l2_index = l2_index;
 941         m_data->offset = *cluster_offset;
 942         m_data->l2_offset = l2_offset;
 943         m_data->l2_cache_entry = &l2_table[l2_index];
 944     }
 945     if (extent->has_zero_grain && *cluster_offset == VMDK_GTE_ZEROED) {
 946         zeroed = true;
 947     }
 948
 949     if (!*cluster_offset || zeroed) {
 950         if (!allocate) {
 951             return zeroed ? VMDK_ZEROED : VMDK_UNALLOC;
 952         }
 953
 954         /* Avoid the L2 tables update for the images that have snapshots. */
 955         *cluster_offset = bdrv_getlength(extent->file);
 956         if (!extent->compressed) {
 957             bdrv_truncate(
 958                 extent->file,
 959                 *cluster_offset + (extent->cluster_sectors << 9)
 960             );
 961         }
 962
 963         *cluster_offset >>= 9;
 964         l2_table[l2_index] = cpu_to_le32(*cluster_offset);
 965
 966         /* First of all we write grain itself, to avoid race condition
 967          * that may to corrupt the image.
 968          * This problem may occur because of insufficient space on host disk
 969          * or inappropriate VM shutdown.
 970          */
 971         if (get_whole_cluster(
 972                 bs, extent, *cluster_offset, offset, allocate) == -1) {
 973             return VMDK_ERROR;
 974         }
 975
 976         if (m_data) {
 977             m_data->offset = *cluster_offset;
 978         }
 979     }
 980     *cluster_offset <<= 9;
 981     return VMDK_OK;
 982 }
 983
 984 static VmdkExtent *find_extent(BDRVVmdkState *s,
 985                                 int64_t sector_num, VmdkExtent *start_hint)
 986 {
 987     VmdkExtent *extent = start_hint;
 988
 989     if (!extent) {
 990         extent = &s->extents[0];
 991     }
 992     while (extent < &s->extents[s->num_extents]) {
 993         if (sector_num < extent->end_sector) {
 994             return extent;
 995         }
 996         extent++;
 997     }
 998     return NULL;
 999 }
1000
1001 static int coroutine_fn vmdk_co_is_allocated(BlockDriverState *bs,
1002         int64_t sector_num, int nb_sectors, int *pnum)
1003 {
1004     BDRVVmdkState *s = bs->opaque;
1005     int64_t index_in_cluster, n, ret;
1006     uint64_t offset;
1007     VmdkExtent *extent;
1008
1009     extent = find_extent(s, sector_num, NULL);
1010     if (!extent) {
1011         return 0;
1012     }
1013     qemu_co_mutex_lock(&s->lock);
1014     ret = get_cluster_offset(bs, extent, NULL,
1015                             sector_num * 512, 0, &offset);
1016     qemu_co_mutex_unlock(&s->lock);
1017
1018     ret = (ret == VMDK_OK || ret == VMDK_ZEROED);
1019
1020     index_in_cluster = sector_num % extent->cluster_sectors;
1021     n = extent->cluster_sectors - index_in_cluster;
1022     if (n > nb_sectors) {
1023         n = nb_sectors;
1024     }
1025     *pnum = n;
1026     return ret;
1027 }
1028
1029 static int vmdk_write_extent(VmdkExtent *extent, int64_t cluster_offset,
1030                             int64_t offset_in_cluster, const uint8_t *buf,
1031                             int nb_sectors, int64_t sector_num)
1032 {
1033     int ret;
1034     VmdkGrainMarker *data = NULL;
1035     uLongf buf_len;
1036     const uint8_t *write_buf = buf;
1037     int write_len = nb_sectors * 512;
1038
1039     if (extent->compressed) {
1040         if (!extent->has_marker) {
1041             ret = -EINVAL;
1042             goto out;
1043         }
1044         buf_len = (extent->cluster_sectors << 9) * 2;
1045         data = g_malloc(buf_len + sizeof(VmdkGrainMarker));
1046         if (compress(data->data, &buf_len, buf, nb_sectors << 9) != Z_OK ||
1047                 buf_len == 0) {
1048             ret = -EINVAL;
1049             goto out;
1050         }
1051         data->lba = sector_num;
1052         data->size = buf_len;
1053         write_buf = (uint8_t *)data;
1054         write_len = buf_len + sizeof(VmdkGrainMarker);
1055     }
1056     ret = bdrv_pwrite(extent->file,
1057                         cluster_offset + offset_in_cluster,
1058                         write_buf,
1059                         write_len);
1060     if (ret != write_len) {
1061         ret = ret < 0 ? ret : -EIO;
1062         goto out;
1063     }
1064     ret = 0;
1065  out:
1066     g_free(data);
1067     return ret;
1068 }
1069
1070 static int vmdk_read_extent(VmdkExtent *extent, int64_t cluster_offset,
1071                             int64_t offset_in_cluster, uint8_t *buf,
1072                             int nb_sectors)
1073 {
1074     int ret;
1075     int cluster_bytes, buf_bytes;
1076     uint8_t *cluster_buf, *compressed_data;
1077     uint8_t *uncomp_buf;
1078     uint32_t data_len;
1079     VmdkGrainMarker *marker;
1080     uLongf buf_len;
1081
1082
1083     if (!extent->compressed) {
1084         ret = bdrv_pread(extent->file,
1085                           cluster_offset + offset_in_cluster,
1086                           buf, nb_sectors * 512);
1087         if (ret == nb_sectors * 512) {
1088             return 0;
1089         } else {
1090             return -EIO;
1091         }
1092     }
1093     cluster_bytes = extent->cluster_sectors * 512;
1094     /* Read two clusters in case GrainMarker + compressed data > one cluster */
1095     buf_bytes = cluster_bytes * 2;
1096     cluster_buf = g_malloc(buf_bytes);
1097     uncomp_buf = g_malloc(cluster_bytes);
1098     ret = bdrv_pread(extent->file,
1099                 cluster_offset,
1100                 cluster_buf, buf_bytes);
1101     if (ret < 0) {
1102         goto out;
1103     }
1104     compressed_data = cluster_buf;
1105     buf_len = cluster_bytes;
1106     data_len = cluster_bytes;
1107     if (extent->has_marker) {
1108         marker = (VmdkGrainMarker *)cluster_buf;
1109         compressed_data = marker->data;
1110         data_len = le32_to_cpu(marker->size);
1111     }
1112     if (!data_len || data_len > buf_bytes) {
1113         ret = -EINVAL;
1114         goto out;
1115     }
1116     ret = uncompress(uncomp_buf, &buf_len, compressed_data, data_len);
1117     if (ret != Z_OK) {
1118         ret = -EINVAL;
1119         goto out;
1120
1121     }
1122     if (offset_in_cluster < 0 ||
1123             offset_in_cluster + nb_sectors * 512 > buf_len) {
1124         ret = -EINVAL;
1125         goto out;
1126     }
1127     memcpy(buf, uncomp_buf + offset_in_cluster, nb_sectors * 512);
1128     ret = 0;
1129
1130  out:
1131     g_free(uncomp_buf);
1132     g_free(cluster_buf);
1133     return ret;
1134 }
1135
1136 static int vmdk_read(BlockDriverState *bs, int64_t sector_num,
1137                     uint8_t *buf, int nb_sectors)
1138 {
1139     BDRVVmdkState *s = bs->opaque;
1140     int ret;
1141     uint64_t n, index_in_cluster;
1142     uint64_t extent_begin_sector, extent_relative_sector_num;
1143     VmdkExtent *extent = NULL;
1144     uint64_t cluster_offset;
1145
1146     while (nb_sectors > 0) {
1147         extent = find_extent(s, sector_num, extent);
1148         if (!extent) {
1149             return -EIO;
1150         }
1151         ret = get_cluster_offset(
1152                             bs, extent, NULL,
1153                             sector_num << 9, 0, &cluster_offset);
1154         extent_begin_sector = extent->end_sector - extent->sectors;
1155         extent_relative_sector_num = sector_num - extent_begin_sector;
1156         index_in_cluster = extent_relative_sector_num % extent->cluster_sectors;
1157         n = extent->cluster_sectors - index_in_cluster;
1158         if (n > nb_sectors) {
1159             n = nb_sectors;
1160         }
1161         if (ret != VMDK_OK) {
1162             /* if not allocated, try to read from parent image, if exist */
1163             if (bs->backing_hd && ret != VMDK_ZEROED) {
1164                 if (!vmdk_is_cid_valid(bs)) {
1165                     return -EINVAL;
1166                 }
1167                 ret = bdrv_read(bs->backing_hd, sector_num, buf, n);
1168                 if (ret < 0) {
1169                     return ret;
1170                 }
1171             } else {
1172                 memset(buf, 0, 512 * n);
1173             }
1174         } else {
1175             ret = vmdk_read_extent(extent,
1176                             cluster_offset, index_in_cluster * 512,
1177                             buf, n);
1178             if (ret) {
1179                 return ret;
1180             }
1181         }
1182         nb_sectors -= n;
1183         sector_num += n;
1184         buf += n * 512;
1185     }
1186     return 0;
1187 }
1188
1189 static coroutine_fn int vmdk_co_read(BlockDriverState *bs, int64_t sector_num,
1190                                      uint8_t *buf, int nb_sectors)
1191 {
1192     int ret;
1193     BDRVVmdkState *s = bs->opaque;
1194     qemu_co_mutex_lock(&s->lock);
1195     ret = vmdk_read(bs, sector_num, buf, nb_sectors);
1196     qemu_co_mutex_unlock(&s->lock);
1197     return ret;
1198 }
1199
1200 /**
1201  * vmdk_write:
1202  * @zeroed:       buf is ignored (data is zero), use zeroed_grain GTE feature
1203  * if possible, otherwise return -ENOTSUP.
1204  * @zero_dry_run: used for zeroed == true only, don't update L2 table, just
1205  *
1206  * Returns: error code with 0 for success.
1207  */
1208 static int vmdk_write(BlockDriverState *bs, int64_t sector_num,
1209                       const uint8_t *buf, int nb_sectors,
1210                       bool zeroed, bool zero_dry_run)
1211 {
1212     BDRVVmdkState *s = bs->opaque;
1213     VmdkExtent *extent = NULL;
1214     int n, ret;
1215     int64_t index_in_cluster;
1216     uint64_t extent_begin_sector, extent_relative_sector_num;
1217     uint64_t cluster_offset;
1218     VmdkMetaData m_data;
1219
1220     if (sector_num > bs->total_sectors) {
1221         fprintf(stderr,
1222                 "(VMDK) Wrong offset: sector_num=0x%" PRIx64
1223                 " total_sectors=0x%" PRIx64 "\n",
1224                 sector_num, bs->total_sectors);
1225         return -EIO;
1226     }
1227
1228     while (nb_sectors > 0) {
1229         extent = find_extent(s, sector_num, extent);
1230         if (!extent) {
1231             return -EIO;
1232         }
1233         ret = get_cluster_offset(
1234                                 bs,
1235                                 extent,
1236                                 &m_data,
1237                                 sector_num << 9, !extent->compressed,
1238                                 &cluster_offset);
1239         if (extent->compressed) {
1240             if (ret == VMDK_OK) {
1241                 /* Refuse write to allocated cluster for streamOptimized */
1242                 fprintf(stderr,
1243                         "VMDK: can't write to allocated cluster"
1244                         " for streamOptimized\n");
1245                 return -EIO;
1246             } else {
1247                 /* allocate */
1248                 ret = get_cluster_offset(
1249                                         bs,
1250                                         extent,
1251                                         &m_data,
1252                                         sector_num << 9, 1,
1253                                         &cluster_offset);
1254             }
1255         }
1256         if (ret == VMDK_ERROR) {
1257             return -EINVAL;
1258         }
1259         extent_begin_sector = extent->end_sector - extent->sectors;
1260         extent_relative_sector_num = sector_num - extent_begin_sector;
1261         index_in_cluster = extent_relative_sector_num % extent->cluster_sectors;
1262         n = extent->cluster_sectors - index_in_cluster;
1263         if (n > nb_sectors) {
1264             n = nb_sectors;
1265         }
1266         if (zeroed) {
1267             /* Do zeroed write, buf is ignored */
1268             if (extent->has_zero_grain &&
1269                     index_in_cluster == 0 &&
1270                     n >= extent->cluster_sectors) {
1271                 n = extent->cluster_sectors;
1272                 if (!zero_dry_run) {
1273                     m_data.offset = VMDK_GTE_ZEROED;
1274                     /* update L2 tables */
1275                     if (vmdk_L2update(extent, &m_data) != VMDK_OK) {
1276                         return -EIO;
1277                     }
1278                 }
1279             } else {
1280                 return -ENOTSUP;
1281             }
1282         } else {
1283             ret = vmdk_write_extent(extent,
1284                             cluster_offset, index_in_cluster * 512,
1285                             buf, n, sector_num);
1286             if (ret) {
1287                 return ret;
1288             }
1289             if (m_data.valid) {
1290                 /* update L2 tables */
1291                 if (vmdk_L2update(extent, &m_data) != VMDK_OK) {
1292                     return -EIO;
1293                 }
1294             }
1295         }
1296         nb_sectors -= n;
1297         sector_num += n;
1298         buf += n * 512;
1299
1300         /* update CID on the first write every time the virtual disk is
1301          * opened */
1302         if (!s->cid_updated) {
1303             ret = vmdk_write_cid(bs, time(NULL));
1304             if (ret < 0) {
1305                 return ret;
1306             }
1307             s->cid_updated = true;
1308         }
1309     }
1310     return 0;
1311 }
1312
1313 static coroutine_fn int vmdk_co_write(BlockDriverState *bs, int64_t sector_num,
1314                                       const uint8_t *buf, int nb_sectors)
1315 {
1316     int ret;
1317     BDRVVmdkState *s = bs->opaque;
1318     qemu_co_mutex_lock(&s->lock);
1319     ret = vmdk_write(bs, sector_num, buf, nb_sectors, false, false);
1320     qemu_co_mutex_unlock(&s->lock);
1321     return ret;
1322 }
1323
1324 static int coroutine_fn vmdk_co_write_zeroes(BlockDriverState *bs,
1325                                              int64_t sector_num,
1326                                              int nb_sectors)
1327 {
1328     int ret;
1329     BDRVVmdkState *s = bs->opaque;
1330     qemu_co_mutex_lock(&s->lock);
1331     ret = vmdk_write(bs, sector_num, NULL, nb_sectors, true, true);
1332     if (!ret) {
1333         ret = vmdk_write(bs, sector_num, NULL, nb_sectors, true, false);
1334     }
1335     qemu_co_mutex_unlock(&s->lock);
1336     return ret;
1337 }
1338
1339
1340 static int vmdk_create_extent(const char *filename, int64_t filesize,
1341                               bool flat, bool compress, bool zeroed_grain)
1342 {
1343     int ret, i;
1344     int fd = 0;
1345     VMDK4Header header;
1346     uint32_t tmp, magic, grains, gd_size, gt_size, gt_count;
1347
1348     fd = qemu_open(filename,
1349                    O_WRONLY | O_CREAT | O_TRUNC | O_BINARY | O_LARGEFILE,
1350                    0644);
1351     if (fd < 0) {
1352         return -errno;
1353     }
1354     if (flat) {
1355         ret = ftruncate(fd, filesize);
1356         if (ret < 0) {
1357             ret = -errno;
1358         }
1359         goto exit;
1360     }
1361     magic = cpu_to_be32(VMDK4_MAGIC);
1362     memset(&header, 0, sizeof(header));
1363     header.version = zeroed_grain ? 2 : 1;
1364     header.flags = VMDK4_FLAG_RGD | VMDK4_FLAG_NL_DETECT
1365                    | (compress ? VMDK4_FLAG_COMPRESS | VMDK4_FLAG_MARKER : 0)
1366                    | (zeroed_grain ? VMDK4_FLAG_ZERO_GRAIN : 0);
1367     header.compressAlgorithm = compress ? VMDK4_COMPRESSION_DEFLATE : 0;
1368     header.capacity = filesize / 512;
1369     header.granularity = 128;
1370     header.num_gtes_per_gte = 512;
1371
1372     grains = (filesize / 512 + header.granularity - 1) / header.granularity;
1373     gt_size = ((header.num_gtes_per_gte * sizeof(uint32_t)) + 511) >> 9;
1374     gt_count =
1375         (grains + header.num_gtes_per_gte - 1) / header.num_gtes_per_gte;
1376     gd_size = (gt_count * sizeof(uint32_t) + 511) >> 9;
1377
1378     header.desc_offset = 1;
1379     header.desc_size = 20;
1380     header.rgd_offset = header.desc_offset + header.desc_size;
1381     header.gd_offset = header.rgd_offset + gd_size + (gt_size * gt_count);
1382     header.grain_offset =
1383        ((header.gd_offset + gd_size + (gt_size * gt_count) +
1384          header.granularity - 1) / header.granularity) *
1385         header.granularity;
1386     /* swap endianness for all header fields */
1387     header.version = cpu_to_le32(header.version);
1388     header.flags = cpu_to_le32(header.flags);
1389     header.capacity = cpu_to_le64(header.capacity);
1390     header.granularity = cpu_to_le64(header.granularity);
1391     header.num_gtes_per_gte = cpu_to_le32(header.num_gtes_per_gte);
1392     header.desc_offset = cpu_to_le64(header.desc_offset);
1393     header.desc_size = cpu_to_le64(header.desc_size);
1394     header.rgd_offset = cpu_to_le64(header.rgd_offset);
1395     header.gd_offset = cpu_to_le64(header.gd_offset);
1396     header.grain_offset = cpu_to_le64(header.grain_offset);
1397     header.compressAlgorithm = cpu_to_le16(header.compressAlgorithm);
1398
1399     header.check_bytes[0] = 0xa;
1400     header.check_bytes[1] = 0x20;
1401     header.check_bytes[2] = 0xd;
1402     header.check_bytes[3] = 0xa;
1403
1404     /* write all the data */
1405     ret = qemu_write_full(fd, &magic, sizeof(magic));
1406     if (ret != sizeof(magic)) {
1407         ret = -errno;
1408         goto exit;
1409     }
1410     ret = qemu_write_full(fd, &header, sizeof(header));
1411     if (ret != sizeof(header)) {
1412         ret = -errno;
1413         goto exit;
1414     }
1415
1416     ret = ftruncate(fd, le64_to_cpu(header.grain_offset) << 9);
1417     if (ret < 0) {
1418         ret = -errno;
1419         goto exit;
1420     }
1421
1422     /* write grain directory */
1423     lseek(fd, le64_to_cpu(header.rgd_offset) << 9, SEEK_SET);
1424     for (i = 0, tmp = le64_to_cpu(header.rgd_offset) + gd_size;
1425          i < gt_count; i++, tmp += gt_size) {
1426         ret = qemu_write_full(fd, &tmp, sizeof(tmp));
1427         if (ret != sizeof(tmp)) {
1428             ret = -errno;
1429             goto exit;
1430         }
1431     }
1432
1433     /* write backup grain directory */
1434     lseek(fd, le64_to_cpu(header.gd_offset) << 9, SEEK_SET);
1435     for (i = 0, tmp = le64_to_cpu(header.gd_offset) + gd_size;
1436          i < gt_count; i++, tmp += gt_size) {
1437         ret = qemu_write_full(fd, &tmp, sizeof(tmp));
1438         if (ret != sizeof(tmp)) {
1439             ret = -errno;
1440             goto exit;
1441         }
1442     }
1443
1444     ret = 0;
1445  exit:
1446     qemu_close(fd);
1447     return ret;
1448 }
1449
1450 static int filename_decompose(const char *filename, char *path, char *prefix,
1451         char *postfix, size_t buf_len)
1452 {
1453     const char *p, *q;
1454
1455     if (filename == NULL || !strlen(filename)) {
1456         fprintf(stderr, "Vmdk: no filename provided.\n");
1457         return VMDK_ERROR;
1458     }
1459     p = strrchr(filename, '/');
1460     if (p == NULL) {
1461         p = strrchr(filename, '\\');
1462     }
1463     if (p == NULL) {
1464         p = strrchr(filename, ':');
1465     }
1466     if (p != NULL) {
1467         p++;
1468         if (p - filename >= buf_len) {
1469             return VMDK_ERROR;
1470         }
1471         pstrcpy(path, p - filename + 1, filename);
1472     } else {
1473         p = filename;
1474         path[0] = '\0';
1475     }
1476     q = strrchr(p, '.');
1477     if (q == NULL) {
1478         pstrcpy(prefix, buf_len, p);
1479         postfix[0] = '\0';
1480     } else {
1481         if (q - p >= buf_len) {
1482             return VMDK_ERROR;
1483         }
1484         pstrcpy(prefix, q - p + 1, p);
1485         pstrcpy(postfix, buf_len, q);
1486     }
1487     return VMDK_OK;
1488 }
1489
1490 static int vmdk_create(const char *filename, QEMUOptionParameter *options)
1491 {
1492     int fd, idx = 0;
1493     char desc[BUF_SIZE];
1494     int64_t total_size = 0, filesize;
1495     const char *adapter_type = NULL;
1496     const char *backing_file = NULL;
1497     const char *fmt = NULL;
1498     int flags = 0;
1499     int ret = 0;
1500     bool flat, split, compress;
1501     char ext_desc_lines[BUF_SIZE] = "";
1502     char path[PATH_MAX], prefix[PATH_MAX], postfix[PATH_MAX];
1503     const int64_t split_size = 0x80000000;  /* VMDK has constant split size */
1504     const char *desc_extent_line;
1505     char parent_desc_line[BUF_SIZE] = "";
1506     uint32_t parent_cid = 0xffffffff;
1507     uint32_t number_heads = 16;
1508     bool zeroed_grain = false;
1509     const char desc_template[] =
1510         "# Disk DescriptorFile\n"
1511         "version=1\n"
1512         "CID=%x\n"
1513         "parentCID=%x\n"
1514         "createType=\"%s\"\n"
1515         "%s"
1516         "\n"
1517         "# Extent description\n"
1518         "%s"
1519         "\n"
1520         "# The Disk Data Base\n"
1521         "#DDB\n"
1522         "\n"
1523         "ddb.virtualHWVersion = \"%d\"\n"
1524         "ddb.geometry.cylinders = \"%" PRId64 "\"\n"
1525         "ddb.geometry.heads = \"%d\"\n"
1526         "ddb.geometry.sectors = \"63\"\n"
1527         "ddb.adapterType = \"%s\"\n";
1528
1529     if (filename_decompose(filename, path, prefix, postfix, PATH_MAX)) {
1530         return -EINVAL;
1531     }
1532     /* Read out options */
1533     while (options && options->name) {
1534         if (!strcmp(options->name, BLOCK_OPT_SIZE)) {
1535             total_size = options->value.n;
1536         } else if (!strcmp(options->name, BLOCK_OPT_ADAPTER_TYPE)) {
1537             adapter_type = options->value.s;
1538         } else if (!strcmp(options->name, BLOCK_OPT_BACKING_FILE)) {
1539             backing_file = options->value.s;
1540         } else if (!strcmp(options->name, BLOCK_OPT_COMPAT6)) {
1541             flags |= options->value.n ? BLOCK_FLAG_COMPAT6 : 0;
1542         } else if (!strcmp(options->name, BLOCK_OPT_SUBFMT)) {
1543             fmt = options->value.s;
1544         } else if (!strcmp(options->name, BLOCK_OPT_ZEROED_GRAIN)) {
1545             zeroed_grain |= options->value.n;
1546         }
1547         options++;
1548     }
1549     if (!adapter_type) {
1550         adapter_type = "ide";
1551     } else if (strcmp(adapter_type, "ide") &&
1552                strcmp(adapter_type, "buslogic") &&
1553                strcmp(adapter_type, "lsilogic") &&
1554                strcmp(adapter_type, "legacyESX")) {
1555         fprintf(stderr, "VMDK: Unknown adapter type: '%s'.\n", adapter_type);
1556         return -EINVAL;
1557     }
1558     if (strcmp(adapter_type, "ide") != 0) {
1559         /* that's the number of heads with which vmware operates when
1560            creating, exporting, etc. vmdk files with a non-ide adapter type */
1561         number_heads = 255;
1562     }
1563     if (!fmt) {
1564         /* Default format to monolithicSparse */
1565         fmt = "monolithicSparse";
1566     } else if (strcmp(fmt, "monolithicFlat") &&
1567                strcmp(fmt, "monolithicSparse") &&
1568                strcmp(fmt, "twoGbMaxExtentSparse") &&
1569                strcmp(fmt, "twoGbMaxExtentFlat") &&
1570                strcmp(fmt, "streamOptimized")) {
1571         fprintf(stderr, "VMDK: Unknown subformat: %s\n", fmt);
1572         return -EINVAL;
1573     }
1574     split = !(strcmp(fmt, "twoGbMaxExtentFlat") &&
1575               strcmp(fmt, "twoGbMaxExtentSparse"));
1576     flat = !(strcmp(fmt, "monolithicFlat") &&
1577              strcmp(fmt, "twoGbMaxExtentFlat"));
1578     compress = !strcmp(fmt, "streamOptimized");
1579     if (flat) {
1580         desc_extent_line = "RW %lld FLAT \"%s\" 0\n";
1581     } else {
1582         desc_extent_line = "RW %lld SPARSE \"%s\"\n";
1583     }
1584     if (flat && backing_file) {
1585         /* not supporting backing file for flat image */
1586         return -ENOTSUP;
1587     }
1588     if (backing_file) {
1589         BlockDriverState *bs = bdrv_new("");
1590         ret = bdrv_open(bs, backing_file, NULL, 0, NULL);
1591         if (ret != 0) {
1592             bdrv_delete(bs);
1593             return ret;
1594         }
1595         if (strcmp(bs->drv->format_name, "vmdk")) {
1596             bdrv_delete(bs);
1597             return -EINVAL;
1598         }
1599         parent_cid = vmdk_read_cid(bs, 0);
1600         bdrv_delete(bs);
1601         snprintf(parent_desc_line, sizeof(parent_desc_line),
1602                 "parentFileNameHint=\"%s\"", backing_file);
1603     }
1604
1605     /* Create extents */
1606     filesize = total_size;
1607     while (filesize > 0) {
1608         char desc_line[BUF_SIZE];
1609         char ext_filename[PATH_MAX];
1610         char desc_filename[PATH_MAX];
1611         int64_t size = filesize;
1612
1613         if (split && size > split_size) {
1614             size = split_size;
1615         }
1616         if (split) {
1617             snprintf(desc_filename, sizeof(desc_filename), "%s-%c%03d%s",
1618                     prefix, flat ? 'f' : 's', ++idx, postfix);
1619         } else if (flat) {
1620             snprintf(desc_filename, sizeof(desc_filename), "%s-flat%s",
1621                     prefix, postfix);
1622         } else {
1623             snprintf(desc_filename, sizeof(desc_filename), "%s%s",
1624                     prefix, postfix);
1625         }
1626         snprintf(ext_filename, sizeof(ext_filename), "%s%s",
1627                 path, desc_filename);
1628
1629         if (vmdk_create_extent(ext_filename, size,
1630                                flat, compress, zeroed_grain)) {
1631             return -EINVAL;
1632         }
1633         filesize -= size;
1634
1635         /* Format description line */
1636         snprintf(desc_line, sizeof(desc_line),
1637                     desc_extent_line, size / 512, desc_filename);
1638         pstrcat(ext_desc_lines, sizeof(ext_desc_lines), desc_line);
1639     }
1640     /* generate descriptor file */
1641     snprintf(desc, sizeof(desc), desc_template,
1642             (unsigned int)time(NULL),
1643             parent_cid,
1644             fmt,
1645             parent_desc_line,
1646             ext_desc_lines,
1647             (flags & BLOCK_FLAG_COMPAT6 ? 6 : 4),
1648             total_size / (int64_t)(63 * number_heads * 512), number_heads,
1649                 adapter_type);
1650     if (split || flat) {
1651         fd = qemu_open(filename,
1652                        O_WRONLY | O_CREAT | O_TRUNC | O_BINARY | O_LARGEFILE,
1653                        0644);
1654     } else {
1655         fd = qemu_open(filename,
1656                        O_WRONLY | O_BINARY | O_LARGEFILE,
1657                        0644);
1658     }
1659     if (fd < 0) {
1660         return -errno;
1661     }
1662     /* the descriptor offset = 0x200 */
1663     if (!split && !flat && 0x200 != lseek(fd, 0x200, SEEK_SET)) {
1664         ret = -errno;
1665         goto exit;
1666     }
1667     ret = qemu_write_full(fd, desc, strlen(desc));
1668     if (ret != strlen(desc)) {
1669         ret = -errno;
1670         goto exit;
1671     }
1672     ret = 0;
1673 exit:
1674     qemu_close(fd);
1675     return ret;
1676 }
1677
1678 static void vmdk_close(BlockDriverState *bs)
1679 {
1680     BDRVVmdkState *s = bs->opaque;
1681
1682     vmdk_free_extents(bs);
1683
1684     migrate_del_blocker(s->migration_blocker);
1685     error_free(s->migration_blocker);
1686 }
1687
1688 static coroutine_fn int vmdk_co_flush(BlockDriverState *bs)
1689 {
1690     BDRVVmdkState *s = bs->opaque;
1691     int i, err;
1692     int ret = 0;
1693
1694     for (i = 0; i < s->num_extents; i++) {
1695         err = bdrv_co_flush(s->extents[i].file);
1696         if (err < 0) {
1697             ret = err;
1698         }
1699     }
1700     return ret;
1701 }
1702
1703 static int64_t vmdk_get_allocated_file_size(BlockDriverState *bs)
1704 {
1705     int i;
1706     int64_t ret = 0;
1707     int64_t r;
1708     BDRVVmdkState *s = bs->opaque;
1709
1710     ret = bdrv_get_allocated_file_size(bs->file);
1711     if (ret < 0) {
1712         return ret;
1713     }
1714     for (i = 0; i < s->num_extents; i++) {
1715         if (s->extents[i].file == bs->file) {
1716             continue;
1717         }
1718         r = bdrv_get_allocated_file_size(s->extents[i].file);
1719         if (r < 0) {
1720             return r;
1721         }
1722         ret += r;
1723     }
1724     return ret;
1725 }
1726
1727 static QEMUOptionParameter vmdk_create_options[] = {
1728     {
1729         .name = BLOCK_OPT_SIZE,
1730         .type = OPT_SIZE,
1731         .help = "Virtual disk size"
1732     },
1733     {
1734         .name = BLOCK_OPT_ADAPTER_TYPE,
1735         .type = OPT_STRING,
1736         .help = "Virtual adapter type, can be one of "
1737                 "ide (default), lsilogic, buslogic or legacyESX"
1738     },
1739     {
1740         .name = BLOCK_OPT_BACKING_FILE,
1741         .type = OPT_STRING,
1742         .help = "File name of a base image"
1743     },
1744     {
1745         .name = BLOCK_OPT_COMPAT6,
1746         .type = OPT_FLAG,
1747         .help = "VMDK version 6 image"
1748     },
1749     {
1750         .name = BLOCK_OPT_SUBFMT,
1751         .type = OPT_STRING,
1752         .help =
1753             "VMDK flat extent format, can be one of "
1754             "{monolithicSparse (default) | monolithicFlat | twoGbMaxExtentSparse | twoGbMaxExtentFlat | streamOptimized} "
1755     },
1756     {
1757         .name = BLOCK_OPT_ZEROED_GRAIN,
1758         .type = OPT_FLAG,
1759         .help = "Enable efficient zero writes using the zeroed-grain GTE feature"
1760     },
1761     { NULL }
1762 };
1763
1764 static BlockDriver bdrv_vmdk = {
1765     .format_name    = "vmdk",
1766     .instance_size  = sizeof(BDRVVmdkState),
1767     .bdrv_probe     = vmdk_probe,
1768     .bdrv_open      = vmdk_open,
1769     .bdrv_reopen_prepare = vmdk_reopen_prepare,
1770     .bdrv_read      = vmdk_co_read,
1771     .bdrv_write     = vmdk_co_write,
1772     .bdrv_co_write_zeroes = vmdk_co_write_zeroes,
1773     .bdrv_close     = vmdk_close,
1774     .bdrv_create    = vmdk_create,
1775     .bdrv_co_flush_to_disk  = vmdk_co_flush,
1776     .bdrv_co_is_allocated   = vmdk_co_is_allocated,
1777     .bdrv_get_allocated_file_size  = vmdk_get_allocated_file_size,
1778
1779     .create_options = vmdk_create_options,
1780 };
1781
1782 static void bdrv_vmdk_init(void)
1783 {
1784     bdrv_register(&bdrv_vmdk);
1785 }
1786
1787 block_init(bdrv_vmdk_init);