block/qcow2-refcount.c

   1 /*
   2  * Block driver for the QCOW version 2 format
   3  *
   4  * Copyright (c) 2004-2006 Fabrice Bellard
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a copy
   7  * of this software and associated documentation files (the "Software"), to deal
   8  * in the Software without restriction, including without limitation the rights
   9  * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
  10  * copies of the Software, and to permit persons to whom the Software is
  11  * furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in
  14  * all copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL
  19  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN
  22  * THE SOFTWARE.
  23  */
  24
  25 #include "qemu-common.h"
  26 #include "block/block_int.h"
  27 #include "block/qcow2.h"
  28
  29 static int64_t alloc_clusters_noref(BlockDriverState *bs, int64_t size);
  30 static int QEMU_WARN_UNUSED_RESULT update_refcount(BlockDriverState *bs,
  31                             int64_t offset, int64_t length,
  32                             int addend, enum qcow2_discard_type type);
  33
  34
  35 /*********************************************************/
  36 /* refcount handling */
  37
  38 int qcow2_refcount_init(BlockDriverState *bs)
  39 {
  40     BDRVQcowState *s = bs->opaque;
  41     int ret, refcount_table_size2, i;
  42
  43     refcount_table_size2 = s->refcount_table_size * sizeof(uint64_t);
  44     s->refcount_table = g_malloc(refcount_table_size2);
  45     if (s->refcount_table_size > 0) {
  46         BLKDBG_EVENT(bs->file, BLKDBG_REFTABLE_LOAD);
  47         ret = bdrv_pread(bs->file, s->refcount_table_offset,
  48                          s->refcount_table, refcount_table_size2);
  49         if (ret != refcount_table_size2)
  50             goto fail;
  51         for(i = 0; i < s->refcount_table_size; i++)
  52             be64_to_cpus(&s->refcount_table[i]);
  53     }
  54     return 0;
  55  fail:
  56     return -ENOMEM;
  57 }
  58
  59 void qcow2_refcount_close(BlockDriverState *bs)
  60 {
  61     BDRVQcowState *s = bs->opaque;
  62     g_free(s->refcount_table);
  63 }
  64
  65
  66 static int load_refcount_block(BlockDriverState *bs,
  67                                int64_t refcount_block_offset,
  68                                void **refcount_block)
  69 {
  70     BDRVQcowState *s = bs->opaque;
  71     int ret;
  72
  73     BLKDBG_EVENT(bs->file, BLKDBG_REFBLOCK_LOAD);
  74     ret = qcow2_cache_get(bs, s->refcount_block_cache, refcount_block_offset,
  75         refcount_block);
  76
  77     return ret;
  78 }
  79
  80 /*
  81  * Returns the refcount of the cluster given by its index. Any non-negative
  82  * return value is the refcount of the cluster, negative values are -errno
  83  * and indicate an error.
  84  */
  85 static int get_refcount(BlockDriverState *bs, int64_t cluster_index)
  86 {
  87     BDRVQcowState *s = bs->opaque;
  88     int refcount_table_index, block_index;
  89     int64_t refcount_block_offset;
  90     int ret;
  91     uint16_t *refcount_block;
  92     uint16_t refcount;
  93
  94     refcount_table_index = cluster_index >> (s->cluster_bits - REFCOUNT_SHIFT);
  95     if (refcount_table_index >= s->refcount_table_size)
  96         return 0;
  97     refcount_block_offset = s->refcount_table[refcount_table_index];
  98     if (!refcount_block_offset)
  99         return 0;
 100
 101     ret = qcow2_cache_get(bs, s->refcount_block_cache, refcount_block_offset,
 102         (void**) &refcount_block);
 103     if (ret < 0) {
 104         return ret;
 105     }
 106
 107     block_index = cluster_index &
 108         ((1 << (s->cluster_bits - REFCOUNT_SHIFT)) - 1);
 109     refcount = be16_to_cpu(refcount_block[block_index]);
 110
 111     ret = qcow2_cache_put(bs, s->refcount_block_cache,
 112         (void**) &refcount_block);
 113     if (ret < 0) {
 114         return ret;
 115     }
 116
 117     return refcount;
 118 }
 119
 120 /*
 121  * Rounds the refcount table size up to avoid growing the table for each single
 122  * refcount block that is allocated.
 123  */
 124 static unsigned int next_refcount_table_size(BDRVQcowState *s,
 125     unsigned int min_size)
 126 {
 127     unsigned int min_clusters = (min_size >> (s->cluster_bits - 3)) + 1;
 128     unsigned int refcount_table_clusters =
 129         MAX(1, s->refcount_table_size >> (s->cluster_bits - 3));
 130
 131     while (min_clusters > refcount_table_clusters) {
 132         refcount_table_clusters = (refcount_table_clusters * 3 + 1) / 2;
 133     }
 134
 135     return refcount_table_clusters << (s->cluster_bits - 3);
 136 }
 137
 138
 139 /* Checks if two offsets are described by the same refcount block */
 140 static int in_same_refcount_block(BDRVQcowState *s, uint64_t offset_a,
 141     uint64_t offset_b)
 142 {
 143     uint64_t block_a = offset_a >> (2 * s->cluster_bits - REFCOUNT_SHIFT);
 144     uint64_t block_b = offset_b >> (2 * s->cluster_bits - REFCOUNT_SHIFT);
 145
 146     return (block_a == block_b);
 147 }
 148
 149 /*
 150  * Loads a refcount block. If it doesn't exist yet, it is allocated first
 151  * (including growing the refcount table if needed).
 152  *
 153  * Returns 0 on success or -errno in error case
 154  */
 155 static int alloc_refcount_block(BlockDriverState *bs,
 156     int64_t cluster_index, uint16_t **refcount_block)
 157 {
 158     BDRVQcowState *s = bs->opaque;
 159     unsigned int refcount_table_index;
 160     int ret;
 161
 162     BLKDBG_EVENT(bs->file, BLKDBG_REFBLOCK_ALLOC);
 163
 164     /* Find the refcount block for the given cluster */
 165     refcount_table_index = cluster_index >> (s->cluster_bits - REFCOUNT_SHIFT);
 166
 167     if (refcount_table_index < s->refcount_table_size) {
 168
 169         uint64_t refcount_block_offset =
 170             s->refcount_table[refcount_table_index] & REFT_OFFSET_MASK;
 171
 172         /* If it's already there, we're done */
 173         if (refcount_block_offset) {
 174              return load_refcount_block(bs, refcount_block_offset,
 175                  (void**) refcount_block);
 176         }
 177     }
 178
 179     /*
 180      * If we came here, we need to allocate something. Something is at least
 181      * a cluster for the new refcount block. It may also include a new refcount
 182      * table if the old refcount table is too small.
 183      *
 184      * Note that allocating clusters here needs some special care:
 185      *
 186      * - We can't use the normal qcow2_alloc_clusters(), it would try to
 187      *   increase the refcount and very likely we would end up with an endless
 188      *   recursion. Instead we must place the refcount blocks in a way that
 189      *   they can describe them themselves.
 190      *
 191      * - We need to consider that at this point we are inside update_refcounts
 192      *   and doing the initial refcount increase. This means that some clusters
 193      *   have already been allocated by the caller, but their refcount isn't
 194      *   accurate yet. free_cluster_index tells us where this allocation ends
 195      *   as long as we don't overwrite it by freeing clusters.
 196      *
 197      * - alloc_clusters_noref and qcow2_free_clusters may load a different
 198      *   refcount block into the cache
 199      */
 200
 201     *refcount_block = NULL;
 202
 203     /* We write to the refcount table, so we might depend on L2 tables */
 204     ret = qcow2_cache_flush(bs, s->l2_table_cache);
 205     if (ret < 0) {
 206         return ret;
 207     }
 208
 209     /* Allocate the refcount block itself and mark it as used */
 210     int64_t new_block = alloc_clusters_noref(bs, s->cluster_size);
 211     if (new_block < 0) {
 212         return new_block;
 213     }
 214
 215 #ifdef DEBUG_ALLOC2
 216     fprintf(stderr, "qcow2: Allocate refcount block %d for %" PRIx64
 217         " at %" PRIx64 "\n",
 218         refcount_table_index, cluster_index << s->cluster_bits, new_block);
 219 #endif
 220
 221     if (in_same_refcount_block(s, new_block, cluster_index << s->cluster_bits)) {
 222         /* Zero the new refcount block before updating it */
 223         ret = qcow2_cache_get_empty(bs, s->refcount_block_cache, new_block,
 224             (void**) refcount_block);
 225         if (ret < 0) {
 226             goto fail_block;
 227         }
 228
 229         memset(*refcount_block, 0, s->cluster_size);
 230
 231         /* The block describes itself, need to update the cache */
 232         int block_index = (new_block >> s->cluster_bits) &
 233             ((1 << (s->cluster_bits - REFCOUNT_SHIFT)) - 1);
 234         (*refcount_block)[block_index] = cpu_to_be16(1);
 235     } else {
 236         /* Described somewhere else. This can recurse at most twice before we
 237          * arrive at a block that describes itself. */
 238         ret = update_refcount(bs, new_block, s->cluster_size, 1,
 239                               QCOW2_DISCARD_NEVER);
 240         if (ret < 0) {
 241             goto fail_block;
 242         }
 243
 244         ret = qcow2_cache_flush(bs, s->refcount_block_cache);
 245         if (ret < 0) {
 246             goto fail_block;
 247         }
 248
 249         /* Initialize the new refcount block only after updating its refcount,
 250          * update_refcount uses the refcount cache itself */
 251         ret = qcow2_cache_get_empty(bs, s->refcount_block_cache, new_block,
 252             (void**) refcount_block);
 253         if (ret < 0) {
 254             goto fail_block;
 255         }
 256
 257         memset(*refcount_block, 0, s->cluster_size);
 258     }
 259
 260     /* Now the new refcount block needs to be written to disk */
 261     BLKDBG_EVENT(bs->file, BLKDBG_REFBLOCK_ALLOC_WRITE);
 262     qcow2_cache_entry_mark_dirty(s->refcount_block_cache, *refcount_block);
 263     ret = qcow2_cache_flush(bs, s->refcount_block_cache);
 264     if (ret < 0) {
 265         goto fail_block;
 266     }
 267
 268     /* If the refcount table is big enough, just hook the block up there */
 269     if (refcount_table_index < s->refcount_table_size) {
 270         uint64_t data64 = cpu_to_be64(new_block);
 271         BLKDBG_EVENT(bs->file, BLKDBG_REFBLOCK_ALLOC_HOOKUP);
 272         ret = bdrv_pwrite_sync(bs->file,
 273             s->refcount_table_offset + refcount_table_index * sizeof(uint64_t),
 274             &data64, sizeof(data64));
 275         if (ret < 0) {
 276             goto fail_block;
 277         }
 278
 279         s->refcount_table[refcount_table_index] = new_block;
 280         return 0;
 281     }
 282
 283     ret = qcow2_cache_put(bs, s->refcount_block_cache, (void**) refcount_block);
 284     if (ret < 0) {
 285         goto fail_block;
 286     }
 287
 288     /*
 289      * If we come here, we need to grow the refcount table. Again, a new
 290      * refcount table needs some space and we can't simply allocate to avoid
 291      * endless recursion.
 292      *
 293      * Therefore let's grab new refcount blocks at the end of the image, which
 294      * will describe themselves and the new refcount table. This way we can
 295      * reference them only in the new table and do the switch to the new
 296      * refcount table at once without producing an inconsistent state in
 297      * between.
 298      */
 299     BLKDBG_EVENT(bs->file, BLKDBG_REFTABLE_GROW);
 300
 301     /* Calculate the number of refcount blocks needed so far */
 302     uint64_t refcount_block_clusters = 1 << (s->cluster_bits - REFCOUNT_SHIFT);
 303     uint64_t blocks_used = (s->free_cluster_index +
 304         refcount_block_clusters - 1) / refcount_block_clusters;
 305
 306     /* And now we need at least one block more for the new metadata */
 307     uint64_t table_size = next_refcount_table_size(s, blocks_used + 1);
 308     uint64_t last_table_size;
 309     uint64_t blocks_clusters;
 310     do {
 311         uint64_t table_clusters =
 312             size_to_clusters(s, table_size * sizeof(uint64_t));
 313         blocks_clusters = 1 +
 314             ((table_clusters + refcount_block_clusters - 1)
 315             / refcount_block_clusters);
 316         uint64_t meta_clusters = table_clusters + blocks_clusters;
 317
 318         last_table_size = table_size;
 319         table_size = next_refcount_table_size(s, blocks_used +
 320             ((meta_clusters + refcount_block_clusters - 1)
 321             / refcount_block_clusters));
 322
 323     } while (last_table_size != table_size);
 324
 325 #ifdef DEBUG_ALLOC2
 326     fprintf(stderr, "qcow2: Grow refcount table %" PRId32 " => %" PRId64 "\n",
 327         s->refcount_table_size, table_size);
 328 #endif
 329
 330     /* Create the new refcount table and blocks */
 331     uint64_t meta_offset = (blocks_used * refcount_block_clusters) *
 332         s->cluster_size;
 333     uint64_t table_offset = meta_offset + blocks_clusters * s->cluster_size;
 334     uint16_t *new_blocks = g_malloc0(blocks_clusters * s->cluster_size);
 335     uint64_t *new_table = g_malloc0(table_size * sizeof(uint64_t));
 336
 337     assert(meta_offset >= (s->free_cluster_index * s->cluster_size));
 338
 339     /* Fill the new refcount table */
 340     memcpy(new_table, s->refcount_table,
 341         s->refcount_table_size * sizeof(uint64_t));
 342     new_table[refcount_table_index] = new_block;
 343
 344     int i;
 345     for (i = 0; i < blocks_clusters; i++) {
 346         new_table[blocks_used + i] = meta_offset + (i * s->cluster_size);
 347     }
 348
 349     /* Fill the refcount blocks */
 350     uint64_t table_clusters = size_to_clusters(s, table_size * sizeof(uint64_t));
 351     int block = 0;
 352     for (i = 0; i < table_clusters + blocks_clusters; i++) {
 353         new_blocks[block++] = cpu_to_be16(1);
 354     }
 355
 356     /* Write refcount blocks to disk */
 357     BLKDBG_EVENT(bs->file, BLKDBG_REFBLOCK_ALLOC_WRITE_BLOCKS);
 358     ret = bdrv_pwrite_sync(bs->file, meta_offset, new_blocks,
 359         blocks_clusters * s->cluster_size);
 360     g_free(new_blocks);
 361     if (ret < 0) {
 362         goto fail_table;
 363     }
 364
 365     /* Write refcount table to disk */
 366     for(i = 0; i < table_size; i++) {
 367         cpu_to_be64s(&new_table[i]);
 368     }
 369
 370     BLKDBG_EVENT(bs->file, BLKDBG_REFBLOCK_ALLOC_WRITE_TABLE);
 371     ret = bdrv_pwrite_sync(bs->file, table_offset, new_table,
 372         table_size * sizeof(uint64_t));
 373     if (ret < 0) {
 374         goto fail_table;
 375     }
 376
 377     for(i = 0; i < table_size; i++) {
 378         be64_to_cpus(&new_table[i]);
 379     }
 380
 381     /* Hook up the new refcount table in the qcow2 header */
 382     uint8_t data[12];
 383     cpu_to_be64w((uint64_t*)data, table_offset);
 384     cpu_to_be32w((uint32_t*)(data + 8), table_clusters);
 385     BLKDBG_EVENT(bs->file, BLKDBG_REFBLOCK_ALLOC_SWITCH_TABLE);
 386     ret = bdrv_pwrite_sync(bs->file, offsetof(QCowHeader, refcount_table_offset),
 387         data, sizeof(data));
 388     if (ret < 0) {
 389         goto fail_table;
 390     }
 391
 392     /* And switch it in memory */
 393     uint64_t old_table_offset = s->refcount_table_offset;
 394     uint64_t old_table_size = s->refcount_table_size;
 395
 396     g_free(s->refcount_table);
 397     s->refcount_table = new_table;
 398     s->refcount_table_size = table_size;
 399     s->refcount_table_offset = table_offset;
 400
 401     /* Free old table. Remember, we must not change free_cluster_index */
 402     uint64_t old_free_cluster_index = s->free_cluster_index;
 403     qcow2_free_clusters(bs, old_table_offset, old_table_size * sizeof(uint64_t),
 404                         QCOW2_DISCARD_OTHER);
 405     s->free_cluster_index = old_free_cluster_index;
 406
 407     ret = load_refcount_block(bs, new_block, (void**) refcount_block);
 408     if (ret < 0) {
 409         return ret;
 410     }
 411
 412     return 0;
 413
 414 fail_table:
 415     g_free(new_table);
 416 fail_block:
 417     if (*refcount_block != NULL) {
 418         qcow2_cache_put(bs, s->refcount_block_cache, (void**) refcount_block);
 419     }
 420     return ret;
 421 }
 422
 423 void qcow2_process_discards(BlockDriverState *bs, int ret)
 424 {
 425     BDRVQcowState *s = bs->opaque;
 426     Qcow2DiscardRegion *d, *next;
 427
 428     QTAILQ_FOREACH_SAFE(d, &s->discards, next, next) {
 429         QTAILQ_REMOVE(&s->discards, d, next);
 430
 431         /* Discard is optional, ignore the return value */
 432         if (ret >= 0) {
 433             bdrv_discard(bs->file,
 434                          d->offset >> BDRV_SECTOR_BITS,
 435                          d->bytes >> BDRV_SECTOR_BITS);
 436         }
 437
 438         g_free(d);
 439     }
 440 }
 441
 442 static void update_refcount_discard(BlockDriverState *bs,
 443                                     uint64_t offset, uint64_t length)
 444 {
 445     BDRVQcowState *s = bs->opaque;
 446     Qcow2DiscardRegion *d, *p, *next;
 447
 448     QTAILQ_FOREACH(d, &s->discards, next) {
 449         uint64_t new_start = MIN(offset, d->offset);
 450         uint64_t new_end = MAX(offset + length, d->offset + d->bytes);
 451
 452         if (new_end - new_start <= length + d->bytes) {
 453             /* There can't be any overlap, areas ending up here have no
 454              * references any more and therefore shouldn't get freed another
 455              * time. */
 456             assert(d->bytes + length == new_end - new_start);
 457             d->offset = new_start;
 458             d->bytes = new_end - new_start;
 459             goto found;
 460         }
 461     }
 462
 463     d = g_malloc(sizeof(*d));
 464     *d = (Qcow2DiscardRegion) {
 465         .bs     = bs,
 466         .offset = offset,
 467         .bytes  = length,
 468     };
 469     QTAILQ_INSERT_TAIL(&s->discards, d, next);
 470
 471 found:
 472     /* Merge discard requests if they are adjacent now */
 473     QTAILQ_FOREACH_SAFE(p, &s->discards, next, next) {
 474         if (p == d
 475             || p->offset > d->offset + d->bytes
 476             || d->offset > p->offset + p->bytes)
 477         {
 478             continue;
 479         }
 480
 481         /* Still no overlap possible */
 482         assert(p->offset == d->offset + d->bytes
 483             || d->offset == p->offset + p->bytes);
 484
 485         QTAILQ_REMOVE(&s->discards, p, next);
 486         d->offset = MIN(d->offset, p->offset);
 487         d->bytes += p->bytes;
 488     }
 489 }
 490
 491 /* XXX: cache several refcount block clusters ? */
 492 static int QEMU_WARN_UNUSED_RESULT update_refcount(BlockDriverState *bs,
 493     int64_t offset, int64_t length, int addend, enum qcow2_discard_type type)
 494 {
 495     BDRVQcowState *s = bs->opaque;
 496     int64_t start, last, cluster_offset;
 497     uint16_t *refcount_block = NULL;
 498     int64_t old_table_index = -1;
 499     int ret;
 500
 501 #ifdef DEBUG_ALLOC2
 502     fprintf(stderr, "update_refcount: offset=%" PRId64 " size=%" PRId64 " addend=%d\n",
 503            offset, length, addend);
 504 #endif
 505     if (length < 0) {
 506         return -EINVAL;
 507     } else if (length == 0) {
 508         return 0;
 509     }
 510
 511     if (addend < 0) {
 512         qcow2_cache_set_dependency(bs, s->refcount_block_cache,
 513             s->l2_table_cache);
 514     }
 515
 516     start = offset & ~(s->cluster_size - 1);
 517     last = (offset + length - 1) & ~(s->cluster_size - 1);
 518     for(cluster_offset = start; cluster_offset <= last;
 519         cluster_offset += s->cluster_size)
 520     {
 521         int block_index, refcount;
 522         int64_t cluster_index = cluster_offset >> s->cluster_bits;
 523         int64_t table_index =
 524             cluster_index >> (s->cluster_bits - REFCOUNT_SHIFT);
 525
 526         /* Load the refcount block and allocate it if needed */
 527         if (table_index != old_table_index) {
 528             if (refcount_block) {
 529                 ret = qcow2_cache_put(bs, s->refcount_block_cache,
 530                     (void**) &refcount_block);
 531                 if (ret < 0) {
 532                     goto fail;
 533                 }
 534             }
 535
 536             ret = alloc_refcount_block(bs, cluster_index, &refcount_block);
 537             if (ret < 0) {
 538                 goto fail;
 539             }
 540         }
 541         old_table_index = table_index;
 542
 543         qcow2_cache_entry_mark_dirty(s->refcount_block_cache, refcount_block);
 544
 545         /* we can update the count and save it */
 546         block_index = cluster_index &
 547             ((1 << (s->cluster_bits - REFCOUNT_SHIFT)) - 1);
 548
 549         refcount = be16_to_cpu(refcount_block[block_index]);
 550         refcount += addend;
 551         if (refcount < 0 || refcount > 0xffff) {
 552             ret = -EINVAL;
 553             goto fail;
 554         }
 555         if (refcount == 0 && cluster_index < s->free_cluster_index) {
 556             s->free_cluster_index = cluster_index;
 557         }
 558         refcount_block[block_index] = cpu_to_be16(refcount);
 559
 560         if (refcount == 0 && s->discard_passthrough[type]) {
 561             update_refcount_discard(bs, cluster_offset, s->cluster_size);
 562         }
 563     }
 564
 565     ret = 0;
 566 fail:
 567     if (!s->cache_discards) {
 568         qcow2_process_discards(bs, ret);
 569     }
 570
 571     /* Write last changed block to disk */
 572     if (refcount_block) {
 573         int wret;
 574         wret = qcow2_cache_put(bs, s->refcount_block_cache,
 575             (void**) &refcount_block);
 576         if (wret < 0) {
 577             return ret < 0 ? ret : wret;
 578         }
 579     }
 580
 581     /*
 582      * Try do undo any updates if an error is returned (This may succeed in
 583      * some cases like ENOSPC for allocating a new refcount block)
 584      */
 585     if (ret < 0) {
 586         int dummy;
 587         dummy = update_refcount(bs, offset, cluster_offset - offset, -addend,
 588                                 QCOW2_DISCARD_NEVER);
 589         (void)dummy;
 590     }
 591
 592     return ret;
 593 }
 594
 595 /*
 596  * Increases or decreases the refcount of a given cluster by one.
 597  * addend must be 1 or -1.
 598  *
 599  * If the return value is non-negative, it is the new refcount of the cluster.
 600  * If it is negative, it is -errno and indicates an error.
 601  */
 602 static int update_cluster_refcount(BlockDriverState *bs,
 603                                    int64_t cluster_index,
 604                                    int addend,
 605                                    enum qcow2_discard_type type)
 606 {
 607     BDRVQcowState *s = bs->opaque;
 608     int ret;
 609
 610     ret = update_refcount(bs, cluster_index << s->cluster_bits, 1, addend,
 611                           type);
 612     if (ret < 0) {
 613         return ret;
 614     }
 615
 616     return get_refcount(bs, cluster_index);
 617 }
 618
 619
 620
 621 /*********************************************************/
 622 /* cluster allocation functions */
 623
 624
 625
 626 /* return < 0 if error */
 627 static int64_t alloc_clusters_noref(BlockDriverState *bs, int64_t size)
 628 {
 629     BDRVQcowState *s = bs->opaque;
 630     int i, nb_clusters, refcount;
 631
 632     nb_clusters = size_to_clusters(s, size);
 633 retry:
 634     for(i = 0; i < nb_clusters; i++) {
 635         int64_t next_cluster_index = s->free_cluster_index++;
 636         refcount = get_refcount(bs, next_cluster_index);
 637
 638         if (refcount < 0) {
 639             return refcount;
 640         } else if (refcount != 0) {
 641             goto retry;
 642         }
 643     }
 644 #ifdef DEBUG_ALLOC2
 645     fprintf(stderr, "alloc_clusters: size=%" PRId64 " -> %" PRId64 "\n",
 646             size,
 647             (s->free_cluster_index - nb_clusters) << s->cluster_bits);
 648 #endif
 649     return (s->free_cluster_index - nb_clusters) << s->cluster_bits;
 650 }
 651
 652 int64_t qcow2_alloc_clusters(BlockDriverState *bs, int64_t size)
 653 {
 654     int64_t offset;
 655     int ret;
 656
 657     BLKDBG_EVENT(bs->file, BLKDBG_CLUSTER_ALLOC);
 658     offset = alloc_clusters_noref(bs, size);
 659     if (offset < 0) {
 660         return offset;
 661     }
 662
 663     ret = update_refcount(bs, offset, size, 1, QCOW2_DISCARD_NEVER);
 664     if (ret < 0) {
 665         return ret;
 666     }
 667
 668     return offset;
 669 }
 670
 671 int qcow2_alloc_clusters_at(BlockDriverState *bs, uint64_t offset,
 672     int nb_clusters)
 673 {
 674     BDRVQcowState *s = bs->opaque;
 675     uint64_t cluster_index;
 676     uint64_t old_free_cluster_index;
 677     int i, refcount, ret;
 678
 679     /* Check how many clusters there are free */
 680     cluster_index = offset >> s->cluster_bits;
 681     for(i = 0; i < nb_clusters; i++) {
 682         refcount = get_refcount(bs, cluster_index++);
 683
 684         if (refcount < 0) {
 685             return refcount;
 686         } else if (refcount != 0) {
 687             break;
 688         }
 689     }
 690
 691     /* And then allocate them */
 692     old_free_cluster_index = s->free_cluster_index;
 693     s->free_cluster_index = cluster_index + i;
 694
 695     ret = update_refcount(bs, offset, i << s->cluster_bits, 1,
 696                           QCOW2_DISCARD_NEVER);
 697     if (ret < 0) {
 698         return ret;
 699     }
 700
 701     s->free_cluster_index = old_free_cluster_index;
 702
 703     return i;
 704 }
 705
 706 /* only used to allocate compressed sectors. We try to allocate
 707    contiguous sectors. size must be <= cluster_size */
 708 int64_t qcow2_alloc_bytes(BlockDriverState *bs, int size)
 709 {
 710     BDRVQcowState *s = bs->opaque;
 711     int64_t offset, cluster_offset;
 712     int free_in_cluster;
 713
 714     BLKDBG_EVENT(bs->file, BLKDBG_CLUSTER_ALLOC_BYTES);
 715     assert(size > 0 && size <= s->cluster_size);
 716     if (s->free_byte_offset == 0) {
 717         offset = qcow2_alloc_clusters(bs, s->cluster_size);
 718         if (offset < 0) {
 719             return offset;
 720         }
 721         s->free_byte_offset = offset;
 722     }
 723  redo:
 724     free_in_cluster = s->cluster_size -
 725         (s->free_byte_offset & (s->cluster_size - 1));
 726     if (size <= free_in_cluster) {
 727         /* enough space in current cluster */
 728         offset = s->free_byte_offset;
 729         s->free_byte_offset += size;
 730         free_in_cluster -= size;
 731         if (free_in_cluster == 0)
 732             s->free_byte_offset = 0;
 733         if ((offset & (s->cluster_size - 1)) != 0)
 734             update_cluster_refcount(bs, offset >> s->cluster_bits, 1,
 735                                     QCOW2_DISCARD_NEVER);
 736     } else {
 737         offset = qcow2_alloc_clusters(bs, s->cluster_size);
 738         if (offset < 0) {
 739             return offset;
 740         }
 741         cluster_offset = s->free_byte_offset & ~(s->cluster_size - 1);
 742         if ((cluster_offset + s->cluster_size) == offset) {
 743             /* we are lucky: contiguous data */
 744             offset = s->free_byte_offset;
 745             update_cluster_refcount(bs, offset >> s->cluster_bits, 1,
 746                                     QCOW2_DISCARD_NEVER);
 747             s->free_byte_offset += size;
 748         } else {
 749             s->free_byte_offset = offset;
 750             goto redo;
 751         }
 752     }
 753
 754     /* The cluster refcount was incremented, either by qcow2_alloc_clusters()
 755      * or explicitly by update_cluster_refcount().  Refcount blocks must be
 756      * flushed before the caller's L2 table updates.
 757      */
 758     qcow2_cache_set_dependency(bs, s->l2_table_cache, s->refcount_block_cache);
 759     return offset;
 760 }
 761
 762 void qcow2_free_clusters(BlockDriverState *bs,
 763                           int64_t offset, int64_t size,
 764                           enum qcow2_discard_type type)
 765 {
 766     int ret;
 767
 768     BLKDBG_EVENT(bs->file, BLKDBG_CLUSTER_FREE);
 769     ret = update_refcount(bs, offset, size, -1, type);
 770     if (ret < 0) {
 771         fprintf(stderr, "qcow2_free_clusters failed: %s\n", strerror(-ret));
 772         /* TODO Remember the clusters to free them later and avoid leaking */
 773     }
 774 }
 775
 776 /*
 777  * Free a cluster using its L2 entry (handles clusters of all types, e.g.
 778  * normal cluster, compressed cluster, etc.)
 779  */
 780 void qcow2_free_any_clusters(BlockDriverState *bs, uint64_t l2_entry,
 781                              int nb_clusters, enum qcow2_discard_type type)
 782 {
 783     BDRVQcowState *s = bs->opaque;
 784
 785     switch (qcow2_get_cluster_type(l2_entry)) {
 786     case QCOW2_CLUSTER_COMPRESSED:
 787         {
 788             int nb_csectors;
 789             nb_csectors = ((l2_entry >> s->csize_shift) &
 790                            s->csize_mask) + 1;
 791             qcow2_free_clusters(bs,
 792                 (l2_entry & s->cluster_offset_mask) & ~511,
 793                 nb_csectors * 512, type);
 794         }
 795         break;
 796     case QCOW2_CLUSTER_NORMAL:
 797         qcow2_free_clusters(bs, l2_entry & L2E_OFFSET_MASK,
 798                             nb_clusters << s->cluster_bits, type);
 799         break;
 800     case QCOW2_CLUSTER_UNALLOCATED:
 801     case QCOW2_CLUSTER_ZERO:
 802         break;
 803     default:
 804         abort();
 805     }
 806 }
 807
 808
 809
 810 /*********************************************************/
 811 /* snapshots and image creation */
 812
 813
 814
 815 /* update the refcounts of snapshots and the copied flag */
 816 int qcow2_update_snapshot_refcount(BlockDriverState *bs,
 817     int64_t l1_table_offset, int l1_size, int addend)
 818 {
 819     BDRVQcowState *s = bs->opaque;
 820     uint64_t *l1_table, *l2_table, l2_offset, offset, l1_size2, l1_allocated;
 821     int64_t old_offset, old_l2_offset;
 822     int i, j, l1_modified = 0, nb_csectors, refcount;
 823     int ret;
 824
 825     l2_table = NULL;
 826     l1_table = NULL;
 827     l1_size2 = l1_size * sizeof(uint64_t);
 828
 829     s->cache_discards = true;
 830
 831     /* WARNING: qcow2_snapshot_goto relies on this function not using the
 832      * l1_table_offset when it is the current s->l1_table_offset! Be careful
 833      * when changing this! */
 834     if (l1_table_offset != s->l1_table_offset) {
 835         l1_table = g_malloc0(align_offset(l1_size2, 512));
 836         l1_allocated = 1;
 837
 838         ret = bdrv_pread(bs->file, l1_table_offset, l1_table, l1_size2);
 839         if (ret < 0) {
 840             goto fail;
 841         }
 842
 843         for(i = 0;i < l1_size; i++)
 844             be64_to_cpus(&l1_table[i]);
 845     } else {
 846         assert(l1_size == s->l1_size);
 847         l1_table = s->l1_table;
 848         l1_allocated = 0;
 849     }
 850
 851     for(i = 0; i < l1_size; i++) {
 852         l2_offset = l1_table[i];
 853         if (l2_offset) {
 854             old_l2_offset = l2_offset;
 855             l2_offset &= L1E_OFFSET_MASK;
 856
 857             ret = qcow2_cache_get(bs, s->l2_table_cache, l2_offset,
 858                 (void**) &l2_table);
 859             if (ret < 0) {
 860                 goto fail;
 861             }
 862
 863             for(j = 0; j < s->l2_size; j++) {
 864                 offset = be64_to_cpu(l2_table[j]);
 865                 if (offset != 0) {
 866                     old_offset = offset;
 867                     offset &= ~QCOW_OFLAG_COPIED;
 868                     if (offset & QCOW_OFLAG_COMPRESSED) {
 869                         nb_csectors = ((offset >> s->csize_shift) &
 870                                        s->csize_mask) + 1;
 871                         if (addend != 0) {
 872                             int ret;
 873                             ret = update_refcount(bs,
 874                                 (offset & s->cluster_offset_mask) & ~511,
 875                                 nb_csectors * 512, addend,
 876                                 QCOW2_DISCARD_SNAPSHOT);
 877                             if (ret < 0) {
 878                                 goto fail;
 879                             }
 880                         }
 881                         /* compressed clusters are never modified */
 882                         refcount = 2;
 883                     } else {
 884                         uint64_t cluster_index = (offset & L2E_OFFSET_MASK) >> s->cluster_bits;
 885                         if (addend != 0) {
 886                             refcount = update_cluster_refcount(bs, cluster_index, addend,
 887                                                                QCOW2_DISCARD_SNAPSHOT);
 888                         } else {
 889                             refcount = get_refcount(bs, cluster_index);
 890                         }
 891
 892                         if (refcount < 0) {
 893                             ret = refcount;
 894                             goto fail;
 895                         }
 896                     }
 897
 898                     if (refcount == 1) {
 899                         offset |= QCOW_OFLAG_COPIED;
 900                     }
 901                     if (offset != old_offset) {
 902                         if (addend > 0) {
 903                             qcow2_cache_set_dependency(bs, s->l2_table_cache,
 904                                 s->refcount_block_cache);
 905                         }
 906                         l2_table[j] = cpu_to_be64(offset);
 907                         qcow2_cache_entry_mark_dirty(s->l2_table_cache, l2_table);
 908                     }
 909                 }
 910             }
 911
 912             ret = qcow2_cache_put(bs, s->l2_table_cache, (void**) &l2_table);
 913             if (ret < 0) {
 914                 goto fail;
 915             }
 916
 917
 918             if (addend != 0) {
 919                 refcount = update_cluster_refcount(bs, l2_offset >> s->cluster_bits, addend,
 920                                                    QCOW2_DISCARD_SNAPSHOT);
 921             } else {
 922                 refcount = get_refcount(bs, l2_offset >> s->cluster_bits);
 923             }
 924             if (refcount < 0) {
 925                 ret = refcount;
 926                 goto fail;
 927             } else if (refcount == 1) {
 928                 l2_offset |= QCOW_OFLAG_COPIED;
 929             }
 930             if (l2_offset != old_l2_offset) {
 931                 l1_table[i] = l2_offset;
 932                 l1_modified = 1;
 933             }
 934         }
 935     }
 936
 937     ret = bdrv_flush(bs);
 938 fail:
 939     if (l2_table) {
 940         qcow2_cache_put(bs, s->l2_table_cache, (void**) &l2_table);
 941     }
 942
 943     s->cache_discards = false;
 944     qcow2_process_discards(bs, ret);
 945
 946     /* Update L1 only if it isn't deleted anyway (addend = -1) */
 947     if (ret == 0 && addend >= 0 && l1_modified) {
 948         for (i = 0; i < l1_size; i++) {
 949             cpu_to_be64s(&l1_table[i]);
 950         }
 951
 952         ret = bdrv_pwrite_sync(bs->file, l1_table_offset, l1_table, l1_size2);
 953
 954         for (i = 0; i < l1_size; i++) {
 955             be64_to_cpus(&l1_table[i]);
 956         }
 957     }
 958     if (l1_allocated)
 959         g_free(l1_table);
 960     return ret;
 961 }
 962
 963
 964
 965
 966 /*********************************************************/
 967 /* refcount checking functions */
 968
 969
 970
 971 /*
 972  * Increases the refcount for a range of clusters in a given refcount table.
 973  * This is used to construct a temporary refcount table out of L1 and L2 tables
 974  * which can be compared the the refcount table saved in the image.
 975  *
 976  * Modifies the number of errors in res.
 977  */
 978 static void inc_refcounts(BlockDriverState *bs,
 979                           BdrvCheckResult *res,
 980                           uint16_t *refcount_table,
 981                           int refcount_table_size,
 982                           int64_t offset, int64_t size)
 983 {
 984     BDRVQcowState *s = bs->opaque;
 985     int64_t start, last, cluster_offset;
 986     int k;
 987
 988     if (size <= 0)
 989         return;
 990
 991     start = offset & ~(s->cluster_size - 1);
 992     last = (offset + size - 1) & ~(s->cluster_size - 1);
 993     for(cluster_offset = start; cluster_offset <= last;
 994         cluster_offset += s->cluster_size) {
 995         k = cluster_offset >> s->cluster_bits;
 996         if (k < 0) {
 997             fprintf(stderr, "ERROR: invalid cluster offset=0x%" PRIx64 "\n",
 998                 cluster_offset);
 999             res->corruptions++;
1000         } else if (k >= refcount_table_size) {
1001             fprintf(stderr, "Warning: cluster offset=0x%" PRIx64 " is after "
1002                 "the end of the image file, can't properly check refcounts.\n",
1003                 cluster_offset);
1004             res->check_errors++;
1005         } else {
1006             if (++refcount_table[k] == 0) {
1007                 fprintf(stderr, "ERROR: overflow cluster offset=0x%" PRIx64
1008                     "\n", cluster_offset);
1009                 res->corruptions++;
1010             }
1011         }
1012     }
1013 }
1014
1015 /* Flags for check_refcounts_l1() and check_refcounts_l2() */
1016 enum {
1017     CHECK_OFLAG_COPIED = 0x1,   /* check QCOW_OFLAG_COPIED matches refcount */
1018     CHECK_FRAG_INFO = 0x2,      /* update BlockFragInfo counters */
1019 };
1020
1021 /*
1022  * Increases the refcount in the given refcount table for the all clusters
1023  * referenced in the L2 table. While doing so, performs some checks on L2
1024  * entries.
1025  *
1026  * Returns the number of errors found by the checks or -errno if an internal
1027  * error occurred.
1028  */
1029 static int check_refcounts_l2(BlockDriverState *bs, BdrvCheckResult *res,
1030     uint16_t *refcount_table, int refcount_table_size, int64_t l2_offset,
1031     int flags)
1032 {
1033     BDRVQcowState *s = bs->opaque;
1034     uint64_t *l2_table, l2_entry;
1035     uint64_t next_contiguous_offset = 0;
1036     int i, l2_size, nb_csectors, refcount;
1037
1038     /* Read L2 table from disk */
1039     l2_size = s->l2_size * sizeof(uint64_t);
1040     l2_table = g_malloc(l2_size);
1041
1042     if (bdrv_pread(bs->file, l2_offset, l2_table, l2_size) != l2_size)
1043         goto fail;
1044
1045     /* Do the actual checks */
1046     for(i = 0; i < s->l2_size; i++) {
1047         l2_entry = be64_to_cpu(l2_table[i]);
1048
1049         switch (qcow2_get_cluster_type(l2_entry)) {
1050         case QCOW2_CLUSTER_COMPRESSED:
1051             /* Compressed clusters don't have QCOW_OFLAG_COPIED */
1052             if (l2_entry & QCOW_OFLAG_COPIED) {
1053                 fprintf(stderr, "ERROR: cluster %" PRId64 ": "
1054                     "copied flag must never be set for compressed "
1055                     "clusters\n", l2_entry >> s->cluster_bits);
1056                 l2_entry &= ~QCOW_OFLAG_COPIED;
1057                 res->corruptions++;
1058             }
1059
1060             /* Mark cluster as used */
1061             nb_csectors = ((l2_entry >> s->csize_shift) &
1062                            s->csize_mask) + 1;
1063             l2_entry &= s->cluster_offset_mask;
1064             inc_refcounts(bs, res, refcount_table, refcount_table_size,
1065                 l2_entry & ~511, nb_csectors * 512);
1066
1067             if (flags & CHECK_FRAG_INFO) {
1068                 res->bfi.allocated_clusters++;
1069                 res->bfi.compressed_clusters++;
1070
1071                 /* Compressed clusters are fragmented by nature.  Since they
1072                  * take up sub-sector space but we only have sector granularity
1073                  * I/O we need to re-read the same sectors even for adjacent
1074                  * compressed clusters.
1075                  */
1076                 res->bfi.fragmented_clusters++;
1077             }
1078             break;
1079
1080         case QCOW2_CLUSTER_ZERO:
1081             if ((l2_entry & L2E_OFFSET_MASK) == 0) {
1082                 break;
1083             }
1084             /* fall through */
1085
1086         case QCOW2_CLUSTER_NORMAL:
1087         {
1088             /* QCOW_OFLAG_COPIED must be set iff refcount == 1 */
1089             uint64_t offset = l2_entry & L2E_OFFSET_MASK;
1090
1091             if (flags & CHECK_OFLAG_COPIED) {
1092                 refcount = get_refcount(bs, offset >> s->cluster_bits);
1093                 if (refcount < 0) {
1094                     fprintf(stderr, "Can't get refcount for offset %"
1095                         PRIx64 ": %s\n", l2_entry, strerror(-refcount));
1096                     goto fail;
1097                 }
1098                 if ((refcount == 1) != ((l2_entry & QCOW_OFLAG_COPIED) != 0)) {
1099                     fprintf(stderr, "ERROR OFLAG_COPIED: offset=%"
1100                         PRIx64 " refcount=%d\n", l2_entry, refcount);
1101                     res->corruptions++;
1102                 }
1103             }
1104
1105             if (flags & CHECK_FRAG_INFO) {
1106                 res->bfi.allocated_clusters++;
1107                 if (next_contiguous_offset &&
1108                     offset != next_contiguous_offset) {
1109                     res->bfi.fragmented_clusters++;
1110                 }
1111                 next_contiguous_offset = offset + s->cluster_size;
1112             }
1113
1114             /* Mark cluster as used */
1115             inc_refcounts(bs, res, refcount_table,refcount_table_size,
1116                 offset, s->cluster_size);
1117
1118             /* Correct offsets are cluster aligned */
1119             if (offset & (s->cluster_size - 1)) {
1120                 fprintf(stderr, "ERROR offset=%" PRIx64 ": Cluster is not "
1121                     "properly aligned; L2 entry corrupted.\n", offset);
1122                 res->corruptions++;
1123             }
1124             break;
1125         }
1126
1127         case QCOW2_CLUSTER_UNALLOCATED:
1128             break;
1129
1130         default:
1131             abort();
1132         }
1133     }
1134
1135     g_free(l2_table);
1136     return 0;
1137
1138 fail:
1139     fprintf(stderr, "ERROR: I/O error in check_refcounts_l2\n");
1140     g_free(l2_table);
1141     return -EIO;
1142 }
1143
1144 /*
1145  * Increases the refcount for the L1 table, its L2 tables and all referenced
1146  * clusters in the given refcount table. While doing so, performs some checks
1147  * on L1 and L2 entries.
1148  *
1149  * Returns the number of errors found by the checks or -errno if an internal
1150  * error occurred.
1151  */
1152 static int check_refcounts_l1(BlockDriverState *bs,
1153                               BdrvCheckResult *res,
1154                               uint16_t *refcount_table,
1155                               int refcount_table_size,
1156                               int64_t l1_table_offset, int l1_size,
1157                               int flags)
1158 {
1159     BDRVQcowState *s = bs->opaque;
1160     uint64_t *l1_table, l2_offset, l1_size2;
1161     int i, refcount, ret;
1162
1163     l1_size2 = l1_size * sizeof(uint64_t);
1164
1165     /* Mark L1 table as used */
1166     inc_refcounts(bs, res, refcount_table, refcount_table_size,
1167         l1_table_offset, l1_size2);
1168
1169     /* Read L1 table entries from disk */
1170     if (l1_size2 == 0) {
1171         l1_table = NULL;
1172     } else {
1173         l1_table = g_malloc(l1_size2);
1174         if (bdrv_pread(bs->file, l1_table_offset,
1175                        l1_table, l1_size2) != l1_size2)
1176             goto fail;
1177         for(i = 0;i < l1_size; i++)
1178             be64_to_cpus(&l1_table[i]);
1179     }
1180
1181     /* Do the actual checks */
1182     for(i = 0; i < l1_size; i++) {
1183         l2_offset = l1_table[i];
1184         if (l2_offset) {
1185             /* QCOW_OFLAG_COPIED must be set iff refcount == 1 */
1186             if (flags & CHECK_OFLAG_COPIED) {
1187                 refcount = get_refcount(bs, (l2_offset & ~QCOW_OFLAG_COPIED)
1188                     >> s->cluster_bits);
1189                 if (refcount < 0) {
1190                     fprintf(stderr, "Can't get refcount for l2_offset %"
1191                         PRIx64 ": %s\n", l2_offset, strerror(-refcount));
1192                     goto fail;
1193                 }
1194                 if ((refcount == 1) != ((l2_offset & QCOW_OFLAG_COPIED) != 0)) {
1195                     fprintf(stderr, "ERROR OFLAG_COPIED: l2_offset=%" PRIx64
1196                         " refcount=%d\n", l2_offset, refcount);
1197                     res->corruptions++;
1198                 }
1199             }
1200
1201             /* Mark L2 table as used */
1202             l2_offset &= L1E_OFFSET_MASK;
1203             inc_refcounts(bs, res, refcount_table, refcount_table_size,
1204                 l2_offset, s->cluster_size);
1205
1206             /* L2 tables are cluster aligned */
1207             if (l2_offset & (s->cluster_size - 1)) {
1208                 fprintf(stderr, "ERROR l2_offset=%" PRIx64 ": Table is not "
1209                     "cluster aligned; L1 entry corrupted\n", l2_offset);
1210                 res->corruptions++;
1211             }
1212
1213             /* Process and check L2 entries */
1214             ret = check_refcounts_l2(bs, res, refcount_table,
1215                                      refcount_table_size, l2_offset, flags);
1216             if (ret < 0) {
1217                 goto fail;
1218             }
1219         }
1220     }
1221     g_free(l1_table);
1222     return 0;
1223
1224 fail:
1225     fprintf(stderr, "ERROR: I/O error in check_refcounts_l1\n");
1226     res->check_errors++;
1227     g_free(l1_table);
1228     return -EIO;
1229 }
1230
1231 /*
1232  * Checks an image for refcount consistency.
1233  *
1234  * Returns 0 if no errors are found, the number of errors in case the image is
1235  * detected as corrupted, and -errno when an internal error occurred.
1236  */
1237 int qcow2_check_refcounts(BlockDriverState *bs, BdrvCheckResult *res,
1238                           BdrvCheckMode fix)
1239 {
1240     BDRVQcowState *s = bs->opaque;
1241     int64_t size, i, highest_cluster;
1242     int nb_clusters, refcount1, refcount2;
1243     QCowSnapshot *sn;
1244     uint16_t *refcount_table;
1245     int ret;
1246
1247     size = bdrv_getlength(bs->file);
1248     nb_clusters = size_to_clusters(s, size);
1249     refcount_table = g_malloc0(nb_clusters * sizeof(uint16_t));
1250
1251     res->bfi.total_clusters =
1252         size_to_clusters(s, bs->total_sectors * BDRV_SECTOR_SIZE);
1253
1254     /* header */
1255     inc_refcounts(bs, res, refcount_table, nb_clusters,
1256         0, s->cluster_size);
1257
1258     /* current L1 table */
1259     ret = check_refcounts_l1(bs, res, refcount_table, nb_clusters,
1260                              s->l1_table_offset, s->l1_size,
1261                              CHECK_OFLAG_COPIED | CHECK_FRAG_INFO);
1262     if (ret < 0) {
1263         goto fail;
1264     }
1265
1266     /* snapshots */
1267     for(i = 0; i < s->nb_snapshots; i++) {
1268         sn = s->snapshots + i;
1269         ret = check_refcounts_l1(bs, res, refcount_table, nb_clusters,
1270             sn->l1_table_offset, sn->l1_size, 0);
1271         if (ret < 0) {
1272             goto fail;
1273         }
1274     }
1275     inc_refcounts(bs, res, refcount_table, nb_clusters,
1276         s->snapshots_offset, s->snapshots_size);
1277
1278     /* refcount data */
1279     inc_refcounts(bs, res, refcount_table, nb_clusters,
1280         s->refcount_table_offset,
1281         s->refcount_table_size * sizeof(uint64_t));
1282
1283     for(i = 0; i < s->refcount_table_size; i++) {
1284         uint64_t offset, cluster;
1285         offset = s->refcount_table[i];
1286         cluster = offset >> s->cluster_bits;
1287
1288         /* Refcount blocks are cluster aligned */
1289         if (offset & (s->cluster_size - 1)) {
1290             fprintf(stderr, "ERROR refcount block %" PRId64 " is not "
1291                 "cluster aligned; refcount table entry corrupted\n", i);
1292             res->corruptions++;
1293             continue;
1294         }
1295
1296         if (cluster >= nb_clusters) {
1297             fprintf(stderr, "ERROR refcount block %" PRId64
1298                     " is outside image\n", i);
1299             res->corruptions++;
1300             continue;
1301         }
1302
1303         if (offset != 0) {
1304             inc_refcounts(bs, res, refcount_table, nb_clusters,
1305                 offset, s->cluster_size);
1306             if (refcount_table[cluster] != 1) {
1307                 fprintf(stderr, "ERROR refcount block %" PRId64
1308                     " refcount=%d\n",
1309                     i, refcount_table[cluster]);
1310                 res->corruptions++;
1311             }
1312         }
1313     }
1314
1315     /* compare ref counts */
1316     for (i = 0, highest_cluster = 0; i < nb_clusters; i++) {
1317         refcount1 = get_refcount(bs, i);
1318         if (refcount1 < 0) {
1319             fprintf(stderr, "Can't get refcount for cluster %" PRId64 ": %s\n",
1320                 i, strerror(-refcount1));
1321             res->check_errors++;
1322             continue;
1323         }
1324
1325         refcount2 = refcount_table[i];
1326
1327         if (refcount1 > 0 || refcount2 > 0) {
1328             highest_cluster = i;
1329         }
1330
1331         if (refcount1 != refcount2) {
1332
1333             /* Check if we're allowed to fix the mismatch */
1334             int *num_fixed = NULL;
1335             if (refcount1 > refcount2 && (fix & BDRV_FIX_LEAKS)) {
1336                 num_fixed = &res->leaks_fixed;
1337             } else if (refcount1 < refcount2 && (fix & BDRV_FIX_ERRORS)) {
1338                 num_fixed = &res->corruptions_fixed;
1339             }
1340
1341             fprintf(stderr, "%s cluster %" PRId64 " refcount=%d reference=%d\n",
1342                    num_fixed != NULL     ? "Repairing" :
1343                    refcount1 < refcount2 ? "ERROR" :
1344                                            "Leaked",
1345                    i, refcount1, refcount2);
1346
1347             if (num_fixed) {
1348                 ret = update_refcount(bs, i << s->cluster_bits, 1,
1349                                       refcount2 - refcount1,
1350                                       QCOW2_DISCARD_ALWAYS);
1351                 if (ret >= 0) {
1352                     (*num_fixed)++;
1353                     continue;
1354                 }
1355             }
1356
1357             /* And if we couldn't, print an error */
1358             if (refcount1 < refcount2) {
1359                 res->corruptions++;
1360             } else {
1361                 res->leaks++;
1362             }
1363         }
1364     }
1365
1366     res->image_end_offset = (highest_cluster + 1) * s->cluster_size;
1367     ret = 0;
1368
1369 fail:
1370     g_free(refcount_table);
1371
1372     return ret;
1373 }
1374