fs/xfs/libxfs/xfs_btree.h

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 /*
   3  * Copyright (c) 2000-2001,2005 Silicon Graphics, Inc.
   4  * All Rights Reserved.
   5  */
   6 #ifndef __XFS_BTREE_H__
   7 #define __XFS_BTREE_H__
   8
   9 struct xfs_buf;
  10 struct xfs_inode;
  11 struct xfs_mount;
  12 struct xfs_trans;
  13 struct xfs_ifork;
  14 struct xfs_perag;
  15
  16 /*
  17  * Generic key, ptr and record wrapper structures.
  18  *
  19  * These are disk format structures, and are converted where necessary
  20  * by the btree specific code that needs to interpret them.
  21  */
  22 union xfs_btree_ptr {
  23         __be32                  s;      /* short form ptr */
  24         __be64                  l;      /* long form ptr */
  25 };
  26
  27 /*
  28  * The in-core btree key.  Overlapping btrees actually store two keys
  29  * per pointer, so we reserve enough memory to hold both.  The __*bigkey
  30  * items should never be accessed directly.
  31  */
  32 union xfs_btree_key {
  33         struct xfs_bmbt_key             bmbt;
  34         xfs_bmdr_key_t                  bmbr;   /* bmbt root block */
  35         xfs_alloc_key_t                 alloc;
  36         struct xfs_inobt_key            inobt;
  37         struct xfs_rmap_key             rmap;
  38         struct xfs_rmap_key             __rmap_bigkey[2];
  39         struct xfs_refcount_key         refc;
  40 };
  41
  42 union xfs_btree_rec {
  43         struct xfs_bmbt_rec             bmbt;
  44         xfs_bmdr_rec_t                  bmbr;   /* bmbt root block */
  45         struct xfs_alloc_rec            alloc;
  46         struct xfs_inobt_rec            inobt;
  47         struct xfs_rmap_rec             rmap;
  48         struct xfs_refcount_rec         refc;
  49 };
  50
  51 /*
  52  * This nonsense is to make -wlint happy.
  53  */
  54 #define XFS_LOOKUP_EQ   ((xfs_lookup_t)XFS_LOOKUP_EQi)
  55 #define XFS_LOOKUP_LE   ((xfs_lookup_t)XFS_LOOKUP_LEi)
  56 #define XFS_LOOKUP_GE   ((xfs_lookup_t)XFS_LOOKUP_GEi)
  57
  58 struct xfs_btree_ops;
  59 uint32_t xfs_btree_magic(struct xfs_mount *mp, const struct xfs_btree_ops *ops);
  60
  61 /*
  62  * For logging record fields.
  63  */
  64 #define XFS_BB_MAGIC            (1u << 0)
  65 #define XFS_BB_LEVEL            (1u << 1)
  66 #define XFS_BB_NUMRECS          (1u << 2)
  67 #define XFS_BB_LEFTSIB          (1u << 3)
  68 #define XFS_BB_RIGHTSIB         (1u << 4)
  69 #define XFS_BB_BLKNO            (1u << 5)
  70 #define XFS_BB_LSN              (1u << 6)
  71 #define XFS_BB_UUID             (1u << 7)
  72 #define XFS_BB_OWNER            (1u << 8)
  73 #define XFS_BB_NUM_BITS         5
  74 #define XFS_BB_ALL_BITS         ((1u << XFS_BB_NUM_BITS) - 1)
  75 #define XFS_BB_NUM_BITS_CRC     9
  76 #define XFS_BB_ALL_BITS_CRC     ((1u << XFS_BB_NUM_BITS_CRC) - 1)
  77
  78 /*
  79  * Generic stats interface
  80  */
  81 #define XFS_BTREE_STATS_INC(cur, stat)  \
  82         XFS_STATS_INC_OFF((cur)->bc_mp, \
  83                 (cur)->bc_ops->statoff + __XBTS_ ## stat)
  84 #define XFS_BTREE_STATS_ADD(cur, stat, val)     \
  85         XFS_STATS_ADD_OFF((cur)->bc_mp, \
  86                 (cur)->bc_ops->statoff + __XBTS_ ## stat, val)
  87
  88 enum xbtree_key_contig {
  89         XBTREE_KEY_GAP = 0,
  90         XBTREE_KEY_CONTIGUOUS,
  91         XBTREE_KEY_OVERLAP,
  92 };
  93
  94 /*
  95  * Decide if these two numeric btree key fields are contiguous, overlapping,
  96  * or if there's a gap between them.  @x should be the field from the high
  97  * key and @y should be the field from the low key.
  98  */
  99 static inline enum xbtree_key_contig xbtree_key_contig(uint64_t x, uint64_t y)
 100 {
 101         x++;
 102         if (x < y)
 103                 return XBTREE_KEY_GAP;
 104         if (x == y)
 105                 return XBTREE_KEY_CONTIGUOUS;
 106         return XBTREE_KEY_OVERLAP;
 107 }
 108
 109 #define XFS_BTREE_LONG_PTR_LEN          (sizeof(__be64))
 110 #define XFS_BTREE_SHORT_PTR_LEN         (sizeof(__be32))
 111
 112 enum xfs_btree_type {
 113         XFS_BTREE_TYPE_AG,
 114         XFS_BTREE_TYPE_INODE,
 115         XFS_BTREE_TYPE_MEM,
 116 };
 117
 118 struct xfs_btree_ops {
 119         const char              *name;
 120
 121         /* Type of btree - AG-rooted or inode-rooted */
 122         enum xfs_btree_type     type;
 123
 124         /* XFS_BTGEO_* flags that determine the geometry of the btree */
 125         unsigned int            geom_flags;
 126
 127         /* size of the key, pointer, and record structures */
 128         size_t                  key_len;
 129         size_t                  ptr_len;
 130         size_t                  rec_len;
 131
 132         /* LRU refcount to set on each btree buffer created */
 133         unsigned int            lru_refs;
 134
 135         /* offset of btree stats array */
 136         unsigned int            statoff;
 137
 138         /* sick mask for health reporting (only for XFS_BTREE_TYPE_AG) */
 139         unsigned int            sick_mask;
 140
 141         /* cursor operations */
 142         struct xfs_btree_cur *(*dup_cursor)(struct xfs_btree_cur *);
 143         void    (*update_cursor)(struct xfs_btree_cur *src,
 144                                  struct xfs_btree_cur *dst);
 145
 146         /* update btree root pointer */
 147         void    (*set_root)(struct xfs_btree_cur *cur,
 148                             const union xfs_btree_ptr *nptr, int level_change);
 149
 150         /* block allocation / freeing */
 151         int     (*alloc_block)(struct xfs_btree_cur *cur,
 152                                const union xfs_btree_ptr *start_bno,
 153                                union xfs_btree_ptr *new_bno,
 154                                int *stat);
 155         int     (*free_block)(struct xfs_btree_cur *cur, struct xfs_buf *bp);
 156
 157         /* records in block/level */
 158         int     (*get_minrecs)(struct xfs_btree_cur *cur, int level);
 159         int     (*get_maxrecs)(struct xfs_btree_cur *cur, int level);
 160
 161         /* records on disk.  Matter for the root in inode case. */
 162         int     (*get_dmaxrecs)(struct xfs_btree_cur *cur, int level);
 163
 164         /* init values of btree structures */
 165         void    (*init_key_from_rec)(union xfs_btree_key *key,
 166                                      const union xfs_btree_rec *rec);
 167         void    (*init_rec_from_cur)(struct xfs_btree_cur *cur,
 168                                      union xfs_btree_rec *rec);
 169         void    (*init_ptr_from_cur)(struct xfs_btree_cur *cur,
 170                                      union xfs_btree_ptr *ptr);
 171         void    (*init_high_key_from_rec)(union xfs_btree_key *key,
 172                                           const union xfs_btree_rec *rec);
 173
 174         /* difference between key value and cursor value */
 175         int64_t (*key_diff)(struct xfs_btree_cur *cur,
 176                             const union xfs_btree_key *key);
 177
 178         /*
 179          * Difference between key2 and key1 -- positive if key1 > key2,
 180          * negative if key1 < key2, and zero if equal.  If the @mask parameter
 181          * is non NULL, each key field to be used in the comparison must
 182          * contain a nonzero value.
 183          */
 184         int64_t (*diff_two_keys)(struct xfs_btree_cur *cur,
 185                                  const union xfs_btree_key *key1,
 186                                  const union xfs_btree_key *key2,
 187                                  const union xfs_btree_key *mask);
 188
 189         const struct xfs_buf_ops        *buf_ops;
 190
 191         /* check that k1 is lower than k2 */
 192         int     (*keys_inorder)(struct xfs_btree_cur *cur,
 193                                 const union xfs_btree_key *k1,
 194                                 const union xfs_btree_key *k2);
 195
 196         /* check that r1 is lower than r2 */
 197         int     (*recs_inorder)(struct xfs_btree_cur *cur,
 198                                 const union xfs_btree_rec *r1,
 199                                 const union xfs_btree_rec *r2);
 200
 201         /*
 202          * Are these two btree keys immediately adjacent?
 203          *
 204          * Given two btree keys @key1 and @key2, decide if it is impossible for
 205          * there to be a third btree key K satisfying the relationship
 206          * @key1 < K < @key2.  To determine if two btree records are
 207          * immediately adjacent, @key1 should be the high key of the first
 208          * record and @key2 should be the low key of the second record.
 209          * If the @mask parameter is non NULL, each key field to be used in the
 210          * comparison must contain a nonzero value.
 211          */
 212         enum xbtree_key_contig (*keys_contiguous)(struct xfs_btree_cur *cur,
 213                                const union xfs_btree_key *key1,
 214                                const union xfs_btree_key *key2,
 215                                const union xfs_btree_key *mask);
 216 };
 217
 218 /* btree geometry flags */
 219 #define XFS_BTGEO_OVERLAPPING           (1U << 0) /* overlapping intervals */
 220
 221
 222 union xfs_btree_irec {
 223         struct xfs_alloc_rec_incore     a;
 224         struct xfs_bmbt_irec            b;
 225         struct xfs_inobt_rec_incore     i;
 226         struct xfs_rmap_irec            r;
 227         struct xfs_refcount_irec        rc;
 228 };
 229
 230 struct xfs_btree_level {
 231         /* buffer pointer */
 232         struct xfs_buf          *bp;
 233
 234         /* key/record number */
 235         uint16_t                ptr;
 236
 237         /* readahead info */
 238 #define XFS_BTCUR_LEFTRA        (1 << 0) /* left sibling has been read-ahead */
 239 #define XFS_BTCUR_RIGHTRA       (1 << 1) /* right sibling has been read-ahead */
 240         uint16_t                ra;
 241 };
 242
 243 /*
 244  * Btree cursor structure.
 245  * This collects all information needed by the btree code in one place.
 246  */
 247 struct xfs_btree_cur
 248 {
 249         struct xfs_trans        *bc_tp; /* transaction we're in, if any */
 250         struct xfs_mount        *bc_mp; /* file system mount struct */
 251         const struct xfs_btree_ops *bc_ops;
 252         struct kmem_cache       *bc_cache; /* cursor cache */
 253         unsigned int            bc_flags; /* btree features - below */
 254         union xfs_btree_irec    bc_rec; /* current insert/search record value */
 255         uint8_t                 bc_nlevels; /* number of levels in the tree */
 256         uint8_t                 bc_maxlevels; /* maximum levels for this btree type */
 257         struct xfs_group        *bc_group;
 258
 259         /* per-type information */
 260         union {
 261                 struct {
 262                         struct xfs_inode        *ip;
 263                         short                   forksize;
 264                         char                    whichfork;
 265                         struct xbtree_ifakeroot *ifake; /* for staging cursor */
 266                 } bc_ino;
 267                 struct {
 268                         struct xfs_buf          *agbp;
 269                         struct xbtree_afakeroot *afake; /* for staging cursor */
 270                 } bc_ag;
 271                 struct {
 272                         struct xfbtree          *xfbtree;
 273                 } bc_mem;
 274         };
 275
 276         /* per-format private data */
 277         union {
 278                 struct {
 279                         int             allocated;
 280                 } bc_bmap;      /* bmapbt */
 281                 struct {
 282                         unsigned int    nr_ops;         /* # record updates */
 283                         unsigned int    shape_changes;  /* # of extent splits */
 284                 } bc_refc;      /* refcountbt */
 285         };
 286
 287         /* Must be at the end of the struct! */
 288         struct xfs_btree_level  bc_levels[];
 289 };
 290
 291 /*
 292  * Compute the size of a btree cursor that can handle a btree of a given
 293  * height.  The bc_levels array handles node and leaf blocks, so its size
 294  * is exactly nlevels.
 295  */
 296 static inline size_t
 297 xfs_btree_cur_sizeof(unsigned int nlevels)
 298 {
 299         return struct_size_t(struct xfs_btree_cur, bc_levels, nlevels);
 300 }
 301
 302 /* cursor state flags */
 303 /*
 304  * The root of this btree is a fakeroot structure so that we can stage a btree
 305  * rebuild without leaving it accessible via primary metadata.  The ops struct
 306  * is dynamically allocated and must be freed when the cursor is deleted.
 307  */
 308 #define XFS_BTREE_STAGING               (1U << 0)
 309
 310 /* We are converting a delalloc reservation (only for bmbt btrees) */
 311 #define XFS_BTREE_BMBT_WASDEL           (1U << 1)
 312
 313 /* For extent swap, ignore owner check in verifier (only for bmbt btrees) */
 314 #define XFS_BTREE_BMBT_INVALID_OWNER    (1U << 2)
 315
 316 /* Cursor is active (only for allocbt btrees) */
 317 #define XFS_BTREE_ALLOCBT_ACTIVE        (1U << 3)
 318
 319 #define XFS_BTREE_NOERROR       0
 320 #define XFS_BTREE_ERROR         1
 321
 322 /*
 323  * Convert from buffer to btree block header.
 324  */
 325 #define XFS_BUF_TO_BLOCK(bp)    ((struct xfs_btree_block *)((bp)->b_addr))
 326
 327 xfs_failaddr_t __xfs_btree_check_block(struct xfs_btree_cur *cur,
 328                 struct xfs_btree_block *block, int level, struct xfs_buf *bp);
 329 int __xfs_btree_check_ptr(struct xfs_btree_cur *cur,
 330                 const union xfs_btree_ptr *ptr, int index, int level);
 331
 332 /*
 333  * Check that block header is ok.
 334  */
 335 int
 336 xfs_btree_check_block(
 337         struct xfs_btree_cur    *cur,   /* btree cursor */
 338         struct xfs_btree_block  *block, /* generic btree block pointer */
 339         int                     level,  /* level of the btree block */
 340         struct xfs_buf          *bp);   /* buffer containing block, if any */
 341
 342 /*
 343  * Delete the btree cursor.
 344  */
 345 void
 346 xfs_btree_del_cursor(
 347         struct xfs_btree_cur    *cur,   /* btree cursor */
 348         int                     error); /* del because of error */
 349
 350 /*
 351  * Duplicate the btree cursor.
 352  * Allocate a new one, copy the record, re-get the buffers.
 353  */
 354 int                                     /* error */
 355 xfs_btree_dup_cursor(
 356         struct xfs_btree_cur            *cur,   /* input cursor */
 357         struct xfs_btree_cur            **ncur);/* output cursor */
 358
 359 /*
 360  * Compute first and last byte offsets for the fields given.
 361  * Interprets the offsets table, which contains struct field offsets.
 362  */
 363 void
 364 xfs_btree_offsets(
 365         uint32_t                fields, /* bitmask of fields */
 366         const short             *offsets,/* table of field offsets */
 367         int                     nbits,  /* number of bits to inspect */
 368         int                     *first, /* output: first byte offset */
 369         int                     *last); /* output: last byte offset */
 370
 371 /*
 372  * Initialise a new btree block header
 373  */
 374 void xfs_btree_init_buf(struct xfs_mount *mp, struct xfs_buf *bp,
 375                 const struct xfs_btree_ops *ops, __u16 level, __u16 numrecs,
 376                 __u64 owner);
 377 void xfs_btree_init_block(struct xfs_mount *mp,
 378                 struct xfs_btree_block *buf, const struct xfs_btree_ops *ops,
 379                 __u16 level, __u16 numrecs, __u64 owner);
 380
 381 /*
 382  * Common btree core entry points.
 383  */
 384 int xfs_btree_increment(struct xfs_btree_cur *, int, int *);
 385 int xfs_btree_decrement(struct xfs_btree_cur *, int, int *);
 386 int xfs_btree_lookup(struct xfs_btree_cur *, xfs_lookup_t, int *);
 387 int xfs_btree_update(struct xfs_btree_cur *, union xfs_btree_rec *);
 388 int xfs_btree_new_iroot(struct xfs_btree_cur *, int *, int *);
 389 int xfs_btree_insert(struct xfs_btree_cur *, int *);
 390 int xfs_btree_delete(struct xfs_btree_cur *, int *);
 391 int xfs_btree_get_rec(struct xfs_btree_cur *, union xfs_btree_rec **, int *);
 392 int xfs_btree_change_owner(struct xfs_btree_cur *cur, uint64_t new_owner,
 393                            struct list_head *buffer_list);
 394
 395 /*
 396  * btree block CRC helpers
 397  */
 398 void xfs_btree_fsblock_calc_crc(struct xfs_buf *);
 399 bool xfs_btree_fsblock_verify_crc(struct xfs_buf *);
 400 void xfs_btree_agblock_calc_crc(struct xfs_buf *);
 401 bool xfs_btree_agblock_verify_crc(struct xfs_buf *);
 402
 403 /*
 404  * Internal btree helpers also used by xfs_bmap.c.
 405  */
 406 void xfs_btree_log_block(struct xfs_btree_cur *, struct xfs_buf *, uint32_t);
 407 void xfs_btree_log_recs(struct xfs_btree_cur *, struct xfs_buf *, int, int);
 408
 409 /*
 410  * Helpers.
 411  */
 412 static inline int xfs_btree_get_numrecs(const struct xfs_btree_block *block)
 413 {
 414         return be16_to_cpu(block->bb_numrecs);
 415 }
 416
 417 static inline void xfs_btree_set_numrecs(struct xfs_btree_block *block,
 418                 uint16_t numrecs)
 419 {
 420         block->bb_numrecs = cpu_to_be16(numrecs);
 421 }
 422
 423 static inline int xfs_btree_get_level(const struct xfs_btree_block *block)
 424 {
 425         return be16_to_cpu(block->bb_level);
 426 }
 427
 428
 429 /*
 430  * Min and max functions for extlen, agblock, fileoff, and filblks types.
 431  */
 432 #define XFS_EXTLEN_MIN(a,b)     min_t(xfs_extlen_t, (a), (b))
 433 #define XFS_EXTLEN_MAX(a,b)     max_t(xfs_extlen_t, (a), (b))
 434 #define XFS_AGBLOCK_MIN(a,b)    min_t(xfs_agblock_t, (a), (b))
 435 #define XFS_AGBLOCK_MAX(a,b)    max_t(xfs_agblock_t, (a), (b))
 436 #define XFS_FILEOFF_MIN(a,b)    min_t(xfs_fileoff_t, (a), (b))
 437 #define XFS_FILEOFF_MAX(a,b)    max_t(xfs_fileoff_t, (a), (b))
 438 #define XFS_FILBLKS_MIN(a,b)    min_t(xfs_filblks_t, (a), (b))
 439 #define XFS_FILBLKS_MAX(a,b)    max_t(xfs_filblks_t, (a), (b))
 440
 441 xfs_failaddr_t xfs_btree_agblock_v5hdr_verify(struct xfs_buf *bp);
 442 xfs_failaddr_t xfs_btree_agblock_verify(struct xfs_buf *bp,
 443                 unsigned int max_recs);
 444 xfs_failaddr_t xfs_btree_fsblock_v5hdr_verify(struct xfs_buf *bp,
 445                 uint64_t owner);
 446 xfs_failaddr_t xfs_btree_fsblock_verify(struct xfs_buf *bp,
 447                 unsigned int max_recs);
 448 xfs_failaddr_t xfs_btree_memblock_verify(struct xfs_buf *bp,
 449                 unsigned int max_recs);
 450
 451 unsigned int xfs_btree_compute_maxlevels(const unsigned int *limits,
 452                 unsigned long long records);
 453 unsigned long long xfs_btree_calc_size(const unsigned int *limits,
 454                 unsigned long long records);
 455 unsigned int xfs_btree_space_to_height(const unsigned int *limits,
 456                 unsigned long long blocks);
 457
 458 /*
 459  * Return codes for the query range iterator function are 0 to continue
 460  * iterating, and non-zero to stop iterating.  Any non-zero value will be
 461  * passed up to the _query_range caller.  The special value -ECANCELED can be
 462  * used to stop iteration, because _query_range never generates that error
 463  * code on its own.
 464  */
 465 typedef int (*xfs_btree_query_range_fn)(struct xfs_btree_cur *cur,
 466                 const union xfs_btree_rec *rec, void *priv);
 467
 468 int xfs_btree_query_range(struct xfs_btree_cur *cur,
 469                 const union xfs_btree_irec *low_rec,
 470                 const union xfs_btree_irec *high_rec,
 471                 xfs_btree_query_range_fn fn, void *priv);
 472 int xfs_btree_query_all(struct xfs_btree_cur *cur, xfs_btree_query_range_fn fn,
 473                 void *priv);
 474
 475 typedef int (*xfs_btree_visit_blocks_fn)(struct xfs_btree_cur *cur, int level,
 476                 void *data);
 477 /* Visit record blocks. */
 478 #define XFS_BTREE_VISIT_RECORDS         (1 << 0)
 479 /* Visit leaf blocks. */
 480 #define XFS_BTREE_VISIT_LEAVES          (1 << 1)
 481 /* Visit all blocks. */
 482 #define XFS_BTREE_VISIT_ALL             (XFS_BTREE_VISIT_RECORDS | \
 483                                          XFS_BTREE_VISIT_LEAVES)
 484 int xfs_btree_visit_blocks(struct xfs_btree_cur *cur,
 485                 xfs_btree_visit_blocks_fn fn, unsigned int flags, void *data);
 486
 487 int xfs_btree_count_blocks(struct xfs_btree_cur *cur, xfs_filblks_t *blocks);
 488
 489 union xfs_btree_rec *xfs_btree_rec_addr(struct xfs_btree_cur *cur, int n,
 490                 struct xfs_btree_block *block);
 491 union xfs_btree_key *xfs_btree_key_addr(struct xfs_btree_cur *cur, int n,
 492                 struct xfs_btree_block *block);
 493 union xfs_btree_key *xfs_btree_high_key_addr(struct xfs_btree_cur *cur, int n,
 494                 struct xfs_btree_block *block);
 495 union xfs_btree_ptr *xfs_btree_ptr_addr(struct xfs_btree_cur *cur, int n,
 496                 struct xfs_btree_block *block);
 497 int xfs_btree_lookup_get_block(struct xfs_btree_cur *cur, int level,
 498                 const union xfs_btree_ptr *pp, struct xfs_btree_block **blkp);
 499 struct xfs_btree_block *xfs_btree_get_block(struct xfs_btree_cur *cur,
 500                 int level, struct xfs_buf **bpp);
 501 bool xfs_btree_ptr_is_null(struct xfs_btree_cur *cur,
 502                 const union xfs_btree_ptr *ptr);
 503 int64_t xfs_btree_diff_two_ptrs(struct xfs_btree_cur *cur,
 504                                 const union xfs_btree_ptr *a,
 505                                 const union xfs_btree_ptr *b);
 506 void xfs_btree_get_sibling(struct xfs_btree_cur *cur,
 507                            struct xfs_btree_block *block,
 508                            union xfs_btree_ptr *ptr, int lr);
 509 void xfs_btree_get_keys(struct xfs_btree_cur *cur,
 510                 struct xfs_btree_block *block, union xfs_btree_key *key);
 511 union xfs_btree_key *xfs_btree_high_key_from_key(struct xfs_btree_cur *cur,
 512                 union xfs_btree_key *key);
 513 typedef bool (*xfs_btree_key_gap_fn)(struct xfs_btree_cur *cur,
 514                 const union xfs_btree_key *key1,
 515                 const union xfs_btree_key *key2);
 516
 517 int xfs_btree_has_records(struct xfs_btree_cur *cur,
 518                 const union xfs_btree_irec *low,
 519                 const union xfs_btree_irec *high,
 520                 const union xfs_btree_key *mask,
 521                 enum xbtree_recpacking *outcome);
 522
 523 bool xfs_btree_has_more_records(struct xfs_btree_cur *cur);
 524 struct xfs_ifork *xfs_btree_ifork_ptr(struct xfs_btree_cur *cur);
 525
 526 /* Key comparison helpers */
 527 static inline bool
 528 xfs_btree_keycmp_lt(
 529         struct xfs_btree_cur            *cur,
 530         const union xfs_btree_key       *key1,
 531         const union xfs_btree_key       *key2)
 532 {
 533         return cur->bc_ops->diff_two_keys(cur, key1, key2, NULL) < 0;
 534 }
 535
 536 static inline bool
 537 xfs_btree_keycmp_gt(
 538         struct xfs_btree_cur            *cur,
 539         const union xfs_btree_key       *key1,
 540         const union xfs_btree_key       *key2)
 541 {
 542         return cur->bc_ops->diff_two_keys(cur, key1, key2, NULL) > 0;
 543 }
 544
 545 static inline bool
 546 xfs_btree_keycmp_eq(
 547         struct xfs_btree_cur            *cur,
 548         const union xfs_btree_key       *key1,
 549         const union xfs_btree_key       *key2)
 550 {
 551         return cur->bc_ops->diff_two_keys(cur, key1, key2, NULL) == 0;
 552 }
 553
 554 static inline bool
 555 xfs_btree_keycmp_le(
 556         struct xfs_btree_cur            *cur,
 557         const union xfs_btree_key       *key1,
 558         const union xfs_btree_key       *key2)
 559 {
 560         return !xfs_btree_keycmp_gt(cur, key1, key2);
 561 }
 562
 563 static inline bool
 564 xfs_btree_keycmp_ge(
 565         struct xfs_btree_cur            *cur,
 566         const union xfs_btree_key       *key1,
 567         const union xfs_btree_key       *key2)
 568 {
 569         return !xfs_btree_keycmp_lt(cur, key1, key2);
 570 }
 571
 572 static inline bool
 573 xfs_btree_keycmp_ne(
 574         struct xfs_btree_cur            *cur,
 575         const union xfs_btree_key       *key1,
 576         const union xfs_btree_key       *key2)
 577 {
 578         return !xfs_btree_keycmp_eq(cur, key1, key2);
 579 }
 580
 581 /* Masked key comparison helpers */
 582 static inline bool
 583 xfs_btree_masked_keycmp_lt(
 584         struct xfs_btree_cur            *cur,
 585         const union xfs_btree_key       *key1,
 586         const union xfs_btree_key       *key2,
 587         const union xfs_btree_key       *mask)
 588 {
 589         return cur->bc_ops->diff_two_keys(cur, key1, key2, mask) < 0;
 590 }
 591
 592 static inline bool
 593 xfs_btree_masked_keycmp_gt(
 594         struct xfs_btree_cur            *cur,
 595         const union xfs_btree_key       *key1,
 596         const union xfs_btree_key       *key2,
 597         const union xfs_btree_key       *mask)
 598 {
 599         return cur->bc_ops->diff_two_keys(cur, key1, key2, mask) > 0;
 600 }
 601
 602 static inline bool
 603 xfs_btree_masked_keycmp_ge(
 604         struct xfs_btree_cur            *cur,
 605         const union xfs_btree_key       *key1,
 606         const union xfs_btree_key       *key2,
 607         const union xfs_btree_key       *mask)
 608 {
 609         return !xfs_btree_masked_keycmp_lt(cur, key1, key2, mask);
 610 }
 611
 612 /* Does this cursor point to the last block in the given level? */
 613 static inline bool
 614 xfs_btree_islastblock(
 615         struct xfs_btree_cur    *cur,
 616         int                     level)
 617 {
 618         struct xfs_btree_block  *block;
 619         struct xfs_buf          *bp;
 620
 621         block = xfs_btree_get_block(cur, level, &bp);
 622
 623         if (cur->bc_ops->ptr_len == XFS_BTREE_LONG_PTR_LEN)
 624                 return block->bb_u.l.bb_rightsib == cpu_to_be64(NULLFSBLOCK);
 625         return block->bb_u.s.bb_rightsib == cpu_to_be32(NULLAGBLOCK);
 626 }
 627
 628 void xfs_btree_set_ptr_null(struct xfs_btree_cur *cur,
 629                 union xfs_btree_ptr *ptr);
 630 int xfs_btree_get_buf_block(struct xfs_btree_cur *cur,
 631                 const union xfs_btree_ptr *ptr, struct xfs_btree_block **block,
 632                 struct xfs_buf **bpp);
 633 int xfs_btree_read_buf_block(struct xfs_btree_cur *cur,
 634                 const union xfs_btree_ptr *ptr, int flags,
 635                 struct xfs_btree_block **block, struct xfs_buf **bpp);
 636 void xfs_btree_set_sibling(struct xfs_btree_cur *cur,
 637                 struct xfs_btree_block *block, const union xfs_btree_ptr *ptr,
 638                 int lr);
 639 void xfs_btree_init_block_cur(struct xfs_btree_cur *cur,
 640                 struct xfs_buf *bp, int level, int numrecs);
 641 void xfs_btree_copy_ptrs(struct xfs_btree_cur *cur,
 642                 union xfs_btree_ptr *dst_ptr,
 643                 const union xfs_btree_ptr *src_ptr, int numptrs);
 644 void xfs_btree_copy_keys(struct xfs_btree_cur *cur,
 645                 union xfs_btree_key *dst_key,
 646                 const union xfs_btree_key *src_key, int numkeys);
 647 void xfs_btree_init_ptr_from_cur(struct xfs_btree_cur *cur,
 648                 union xfs_btree_ptr *ptr);
 649
 650 static inline struct xfs_btree_cur *
 651 xfs_btree_alloc_cursor(
 652         struct xfs_mount        *mp,
 653         struct xfs_trans        *tp,
 654         const struct xfs_btree_ops *ops,
 655         uint8_t                 maxlevels,
 656         struct kmem_cache       *cache)
 657 {
 658         struct xfs_btree_cur    *cur;
 659
 660         ASSERT(ops->ptr_len == XFS_BTREE_LONG_PTR_LEN ||
 661                ops->ptr_len == XFS_BTREE_SHORT_PTR_LEN);
 662
 663         /* BMBT allocations can come through from non-transactional context. */
 664         cur = kmem_cache_zalloc(cache,
 665                         GFP_KERNEL | __GFP_NOLOCKDEP | __GFP_NOFAIL);
 666         cur->bc_ops = ops;
 667         cur->bc_tp = tp;
 668         cur->bc_mp = mp;
 669         cur->bc_maxlevels = maxlevels;
 670         cur->bc_cache = cache;
 671
 672         return cur;
 673 }
 674
 675 int __init xfs_btree_init_cur_caches(void);
 676 void xfs_btree_destroy_cur_caches(void);
 677
 678 int xfs_btree_goto_left_edge(struct xfs_btree_cur *cur);
 679
 680 /* Does this level of the cursor point to the inode root (and not a block)? */
 681 static inline bool
 682 xfs_btree_at_iroot(
 683         const struct xfs_btree_cur      *cur,
 684         int                             level)
 685 {
 686         return cur->bc_ops->type == XFS_BTREE_TYPE_INODE &&
 687                level == cur->bc_nlevels - 1;
 688 }
 689
 690 #endif  /* __XFS_BTREE_H__ */