tests/qemu-iotests/125

   1 #!/usr/bin/env bash
   2 #
   3 # Test preallocated growth of qcow2 images
   4 #
   5 # Copyright (C) 2017 Red Hat, Inc.
   6 #
   7 # This program is free software; you can redistribute it and/or modify
   8 # it under the terms of the GNU General Public License as published by
   9 # the Free Software Foundation; either version 2 of the License, or
  10 # (at your option) any later version.
  11 #
  12 # This program is distributed in the hope that it will be useful,
  13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 # GNU General Public License for more details.
  16 #
  17 # You should have received a copy of the GNU General Public License
  18 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  19 #
  20
  21 # creator
  22 [email protected]
  23
  24 seq=$(basename $0)
  25 echo "QA output created by $seq"
  26
  27 status=1        # failure is the default!
  28
  29 _cleanup()
  30 {
  31         _cleanup_test_img
  32 }
  33 trap "_cleanup; exit \$status" 0 1 2 3 15
  34
  35 get_image_size_on_host()
  36 {
  37     echo $(($(stat -c '%b * %B' "$TEST_IMG_FILE")))
  38 }
  39
  40 # get standard environment and filters
  41 . ./common.rc
  42 . ./common.filter
  43
  44 _supported_fmt qcow2
  45 _supported_proto file
  46 # Growing a file with a backing file (without preallocation=full or
  47 # =falloc) requires zeroing the newly added area, which is impossible
  48 # to do quickly for v2 images, and hence is unsupported.
  49 _unsupported_imgopts 'compat=0.10'
  50
  51 if [ -z "$TEST_IMG_FILE" ]; then
  52     TEST_IMG_FILE=$TEST_IMG
  53 fi
  54
  55 # Test whether we are running on a broken XFS version.  There is this
  56 # bug:
  57
  58 # $ rm -f foo
  59 # $ touch foo
  60 # $ block_size=4096 # Your FS's block size
  61 # $ fallocate -o $((block_size / 2)) -l $block_size foo
  62 # $ LANG=C xfs_bmap foo | grep hole
  63 #         1: [8..15]: hole
  64 #
  65 # The problem is that the XFS driver rounds down the offset and
  66 # rounds up the length to the block size, but independently.  As
  67 # such, it only allocates the first block in the example above,
  68 # even though it should allocate the first two blocks (because our
  69 # request is to fallocate something that touches both the first
  70 # two blocks).
  71 #
  72 # This means that when you then write to the beginning of the
  73 # second block, the disk usage of the first two blocks grows.
  74 #
  75 # That is precisely what fallocate() promises, though: That when you
  76 # write to an area that you have fallocated, no new blocks will have
  77 # to be allocated.
  78
  79 touch "$TEST_IMG_FILE"
  80 # Assuming there is no FS with a block size greater than 64k
  81 fallocate -o 65535 -l 2 "$TEST_IMG_FILE"
  82 len0=$(get_image_size_on_host)
  83
  84 # Write to something that in theory we have just fallocated
  85 # (Thus, the on-disk size should not increase)
  86 poke_file "$TEST_IMG_FILE" 65536 42
  87 len1=$(get_image_size_on_host)
  88
  89 if [ $len1 -gt $len0 ]; then
  90     _notrun "the test filesystem's fallocate() is broken"
  91 fi
  92
  93 rm -f "$TEST_IMG_FILE"
  94
  95 # Generally, we create some image with or without existing preallocation and
  96 # then resize it. Then we write some data into the image and verify that its
  97 # size does not change if we have used preallocation.
  98
  99 # With a cluster size of 512 B, one L2 table covers 64 * 512 B = 32 kB.
 100 # One cluster of the L1 table covers 64 * 32 kB = 2 MB.
 101 # There are multiple cases we want to test:
 102 # (1) Grow an image without having to allocate a new L2 table.
 103 # (2) Grow an image, having to allocate a new L2 table.
 104 # (3) Grow an image, having to grow the L1 table.
 105 # Therefore, we create an image that is 48 kB below 2 MB. Then:
 106 # (1) We resize it to 2 MB - 32 kB. (+ 16 kB)
 107 # (2) We resize it to 2 MB.         (+ 48 kB)
 108 # (3) We resize it to 2 MB + 32 kB. (+ 80 kB)
 109
 110 # in B
 111 CREATION_SIZE=$((2 * 1024 * 1024 - 48 * 1024))
 112
 113 # 512 is the actual test -- but it's good to test 64k as well, just to be sure.
 114 for cluster_size in 512 64k; do
 115 # in kB
 116 for GROWTH_SIZE in 16 48 80; do
 117     for create_mode in off metadata falloc full; do
 118         for growth_mode in off metadata falloc full; do
 119             echo "--- cluster_size=$cluster_size growth_size=$GROWTH_SIZE create_mode=$create_mode growth_mode=$growth_mode ---"
 120
 121             _make_test_img -o "preallocation=$create_mode,cluster_size=$cluster_size" ${CREATION_SIZE}
 122             $QEMU_IMG resize -f "$IMGFMT" --preallocation=$growth_mode "$TEST_IMG" +${GROWTH_SIZE}K
 123
 124             host_size_0=$(get_image_size_on_host)
 125             file_length_0=$(stat -c '%s' "$TEST_IMG_FILE")
 126
 127             $QEMU_IO -c "write 0 $CREATION_SIZE" "$TEST_IMG" | _filter_qemu_io
 128
 129             host_size_1=$(get_image_size_on_host)
 130             file_length_1=$(stat -c '%s' "$TEST_IMG_FILE")
 131
 132             $QEMU_IO -c "write $CREATION_SIZE ${GROWTH_SIZE}K" "$TEST_IMG" | _filter_qemu_io
 133
 134             host_size_2=$(get_image_size_on_host)
 135             file_length_2=$(stat -c '%s' "$TEST_IMG_FILE")
 136
 137             # Test creation preallocation: Compare #0 against #1
 138             if [ $create_mode != off ]; then
 139                 # The image length should not have grown
 140                 if [ $file_length_1 -gt $file_length_0 ]; then
 141                     echo "ERROR (create): Image length has grown from $file_length_0 to $file_length_1"
 142                 fi
 143                 if [ $create_mode != metadata ]; then
 144                     # The host size should not have grown either
 145                     if [ $host_size_1 -gt $host_size_0 ]; then
 146                         echo "ERROR (create): Host size has grown from $host_size_0 to $host_size_1"
 147                     fi
 148                 fi
 149             fi
 150
 151             # Test resize preallocation: Compare #2 against #1
 152             if [ $growth_mode != off ]; then
 153                 # The image length should not have grown
 154                 if [ $file_length_2 -gt $file_length_1 ]; then
 155                     echo "ERROR (grow): Image length has grown from $file_length_1 to $file_length_2"
 156                 fi
 157                 if [ $growth_mode != metadata ]; then
 158                     # The host size should not have grown either
 159                     if [ $host_size_2 -gt $host_size_1 ]; then
 160                         echo "ERROR (grow): Host size has grown from $host_size_1 to $host_size_2"
 161                     fi
 162                 fi
 163             fi
 164
 165             echo
 166         done
 167     done
 168 done
 169 done
 170
 171 # Test image resizing using preallocation and unaligned offsets
 172 $QEMU_IMG create -f raw "$TEST_IMG.base" 128k | _filter_img_create
 173 $QEMU_IO -c 'write -q -P 1 0 128k' -f raw "$TEST_IMG.base"
 174 for orig_size in 31k 33k; do
 175     for dst_size in 96k 128k; do
 176         for prealloc in metadata full; do
 177             echo "--- Resizing image from $orig_size to $dst_size (preallocation=$prealloc) ---"
 178             _make_test_img -F raw -b "$TEST_IMG.base" -o cluster_size=64k "$orig_size"
 179             $QEMU_IMG resize -f "$IMGFMT" --preallocation="$prealloc" "$TEST_IMG" "$dst_size"
 180             # The first part of the image should contain data from the backing file
 181             $QEMU_IO -c "read -q -P 1 0 ${orig_size}" "$TEST_IMG"
 182             # The resized part of the image should contain zeroes
 183             $QEMU_IO -c "read -q -P 0 ${orig_size} 63k" "$TEST_IMG"
 184             # If the image does not have an external data file we can also verify its
 185             # actual size. The resized image should have 7 clusters:
 186             # header, L1 table, L2 table, refcount table, refcount block, 2 data clusters
 187             if ! _get_data_file "$TEST_IMG" > /dev/null; then
 188                 expected_file_length=$((65536 * 7))
 189                 file_length=$(stat -c '%s' "$TEST_IMG_FILE")
 190                 if [ "$file_length" != "$expected_file_length" ]; then
 191                     echo "ERROR: file length $file_length (expected $expected_file_length)"
 192                 fi
 193             fi
 194             echo
 195         done
 196     done
 197 done
 198
 199 # success, all done
 200 echo '*** done'
 201 rm -f $seq.full
 202 status=0