fs/ocfs2/ocfs2.h

   1 /* SPDX-License-Identifier: GPL-2.0-or-later */
   2 /*
   3  * ocfs2.h
   4  *
   5  * Defines macros and structures used in OCFS2
   6  *
   7  * Copyright (C) 2002, 2004 Oracle.  All rights reserved.
   8  */
   9
  10 #ifndef OCFS2_H
  11 #define OCFS2_H
  12
  13 #include <linux/spinlock.h>
  14 #include <linux/sched.h>
  15 #include <linux/wait.h>
  16 #include <linux/list.h>
  17 #include <linux/llist.h>
  18 #include <linux/rbtree.h>
  19 #include <linux/workqueue.h>
  20 #include <linux/kref.h>
  21 #include <linux/mutex.h>
  22 #include <linux/lockdep.h>
  23 #include <linux/jbd2.h>
  24
  25 /* For union ocfs2_dlm_lksb */
  26 #include "stackglue.h"
  27
  28 #include "ocfs2_fs.h"
  29 #include "ocfs2_lockid.h"
  30 #include "ocfs2_ioctl.h"
  31
  32 /* For struct ocfs2_blockcheck_stats */
  33 #include "blockcheck.h"
  34
  35 #include "reservations.h"
  36
  37 #include "filecheck.h"
  38
  39 /* Caching of metadata buffers */
  40
  41 /* Most user visible OCFS2 inodes will have very few pieces of
  42  * metadata, but larger files (including bitmaps, etc) must be taken
  43  * into account when designing an access scheme. We allow a small
  44  * amount of inlined blocks to be stored on an array and grow the
  45  * structure into a rb tree when necessary. */
  46 #define OCFS2_CACHE_INFO_MAX_ARRAY 2
  47
  48 /* Flags for ocfs2_caching_info */
  49
  50 enum ocfs2_caching_info_flags {
  51         /* Indicates that the metadata cache is using the inline array */
  52         OCFS2_CACHE_FL_INLINE   = 1<<1,
  53 };
  54
  55 struct ocfs2_caching_operations;
  56 struct ocfs2_caching_info {
  57         /*
  58          * The parent structure provides the locks, but because the
  59          * parent structure can differ, it provides locking operations
  60          * to struct ocfs2_caching_info.
  61          */
  62         const struct ocfs2_caching_operations *ci_ops;
  63
  64         /* next two are protected by trans_inc_lock */
  65         /* which transaction were we created on? Zero if none. */
  66         unsigned long           ci_created_trans;
  67         /* last transaction we were a part of. */
  68         unsigned long           ci_last_trans;
  69
  70         /* Cache structures */
  71         unsigned int            ci_flags;
  72         unsigned int            ci_num_cached;
  73         union {
  74         sector_t        ci_array[OCFS2_CACHE_INFO_MAX_ARRAY];
  75                 struct rb_root  ci_tree;
  76         } ci_cache;
  77 };
  78 /*
  79  * Need this prototype here instead of in uptodate.h because journal.h
  80  * uses it.
  81  */
  82 struct super_block *ocfs2_metadata_cache_get_super(struct ocfs2_caching_info *ci);
  83
  84 /* this limits us to 256 nodes
  85  * if we need more, we can do a kmalloc for the map */
  86 #define OCFS2_NODE_MAP_MAX_NODES    256
  87 struct ocfs2_node_map {
  88         u16 num_nodes;
  89         unsigned long map[BITS_TO_LONGS(OCFS2_NODE_MAP_MAX_NODES)];
  90 };
  91
  92 enum ocfs2_ast_action {
  93         OCFS2_AST_INVALID = 0,
  94         OCFS2_AST_ATTACH,
  95         OCFS2_AST_CONVERT,
  96         OCFS2_AST_DOWNCONVERT,
  97 };
  98
  99 /* actions for an unlockast function to take. */
 100 enum ocfs2_unlock_action {
 101         OCFS2_UNLOCK_INVALID = 0,
 102         OCFS2_UNLOCK_CANCEL_CONVERT,
 103         OCFS2_UNLOCK_DROP_LOCK,
 104 };
 105
 106 /* ocfs2_lock_res->l_flags flags. */
 107 #define OCFS2_LOCK_ATTACHED      (0x00000001) /* we have initialized
 108                                                * the lvb */
 109 #define OCFS2_LOCK_BUSY          (0x00000002) /* we are currently in
 110                                                * dlm_lock */
 111 #define OCFS2_LOCK_BLOCKED       (0x00000004) /* blocked waiting to
 112                                                * downconvert*/
 113 #define OCFS2_LOCK_LOCAL         (0x00000008) /* newly created inode */
 114 #define OCFS2_LOCK_NEEDS_REFRESH (0x00000010)
 115 #define OCFS2_LOCK_REFRESHING    (0x00000020)
 116 #define OCFS2_LOCK_INITIALIZED   (0x00000040) /* track initialization
 117                                                * for shutdown paths */
 118 #define OCFS2_LOCK_FREEING       (0x00000080) /* help dlmglue track
 119                                                * when to skip queueing
 120                                                * a lock because it's
 121                                                * about to be
 122                                                * dropped. */
 123 #define OCFS2_LOCK_QUEUED        (0x00000100) /* queued for downconvert */
 124 #define OCFS2_LOCK_NOCACHE       (0x00000200) /* don't use a holder count */
 125 #define OCFS2_LOCK_PENDING       (0x00000400) /* This lockres is pending a
 126                                                  call to dlm_lock.  Only
 127                                                  exists with BUSY set. */
 128 #define OCFS2_LOCK_UPCONVERT_FINISHING (0x00000800) /* blocks the dc thread
 129                                                      * from downconverting
 130                                                      * before the upconvert
 131                                                      * has completed */
 132
 133 #define OCFS2_LOCK_NONBLOCK_FINISHED (0x00001000) /* NONBLOCK cluster
 134                                                    * lock has already
 135                                                    * returned, do not block
 136                                                    * dc thread from
 137                                                    * downconverting */
 138
 139 struct ocfs2_lock_res_ops;
 140
 141 typedef void (*ocfs2_lock_callback)(int status, unsigned long data);
 142
 143 #ifdef CONFIG_OCFS2_FS_STATS
 144 struct ocfs2_lock_stats {
 145         u64             ls_total;       /* Total wait in NSEC */
 146         u32             ls_gets;        /* Num acquires */
 147         u32             ls_fail;        /* Num failed acquires */
 148
 149         /* Storing max wait in usecs saves 24 bytes per inode */
 150         u32             ls_max;         /* Max wait in USEC */
 151         u64             ls_last;        /* Last unlock time in USEC */
 152 };
 153 #endif
 154
 155 struct ocfs2_lock_res {
 156         void                    *l_priv;
 157         const struct ocfs2_lock_res_ops *l_ops;
 158
 159
 160         struct list_head         l_blocked_list;
 161         struct list_head         l_mask_waiters;
 162         struct list_head         l_holders;
 163
 164         unsigned long            l_flags;
 165         char                     l_name[OCFS2_LOCK_ID_MAX_LEN];
 166         unsigned int             l_ro_holders;
 167         unsigned int             l_ex_holders;
 168         signed char              l_level;
 169         signed char              l_requested;
 170         signed char              l_blocking;
 171
 172         /* Data packed - type enum ocfs2_lock_type */
 173         unsigned char            l_type;
 174
 175         /* used from AST/BAST funcs. */
 176         /* Data packed - enum type ocfs2_ast_action */
 177         unsigned char            l_action;
 178         /* Data packed - enum type ocfs2_unlock_action */
 179         unsigned char            l_unlock_action;
 180         unsigned int             l_pending_gen;
 181
 182         spinlock_t               l_lock;
 183
 184         struct ocfs2_dlm_lksb    l_lksb;
 185
 186         wait_queue_head_t        l_event;
 187
 188         struct list_head         l_debug_list;
 189
 190 #ifdef CONFIG_OCFS2_FS_STATS
 191         struct ocfs2_lock_stats  l_lock_prmode;         /* PR mode stats */
 192         u32                      l_lock_refresh;        /* Disk refreshes */
 193         u64                      l_lock_wait;   /* First lock wait time */
 194         struct ocfs2_lock_stats  l_lock_exmode;         /* EX mode stats */
 195 #endif
 196 #ifdef CONFIG_DEBUG_LOCK_ALLOC
 197         struct lockdep_map       l_lockdep_map;
 198 #endif
 199 };
 200
 201 enum ocfs2_orphan_reco_type {
 202         ORPHAN_NO_NEED_TRUNCATE = 0,
 203         ORPHAN_NEED_TRUNCATE,
 204 };
 205
 206 enum ocfs2_orphan_scan_state {
 207         ORPHAN_SCAN_ACTIVE,
 208         ORPHAN_SCAN_INACTIVE
 209 };
 210
 211 struct ocfs2_orphan_scan {
 212         struct mutex            os_lock;
 213         struct ocfs2_super      *os_osb;
 214         struct ocfs2_lock_res   os_lockres;     /* lock to synchronize scans */
 215         struct delayed_work     os_orphan_scan_work;
 216         time64_t                os_scantime;  /* time this node ran the scan */
 217         u32                     os_count;      /* tracks node specific scans */
 218         u32                     os_seqno;       /* tracks cluster wide scans */
 219         atomic_t                os_state;              /* ACTIVE or INACTIVE */
 220 };
 221
 222 struct ocfs2_dlm_debug {
 223         struct kref d_refcnt;
 224         u32 d_filter_secs;
 225         struct list_head d_lockres_tracking;
 226 };
 227
 228 enum ocfs2_vol_state
 229 {
 230         VOLUME_INIT = 0,
 231         VOLUME_MOUNTED,
 232         VOLUME_MOUNTED_QUOTAS,
 233         VOLUME_DISMOUNTED,
 234         VOLUME_DISABLED
 235 };
 236
 237 struct ocfs2_alloc_stats
 238 {
 239         atomic_t moves;
 240         atomic_t local_data;
 241         atomic_t bitmap_data;
 242         atomic_t bg_allocs;
 243         atomic_t bg_extends;
 244 };
 245
 246 enum ocfs2_local_alloc_state
 247 {
 248         OCFS2_LA_UNUSED = 0,    /* Local alloc will never be used for
 249                                  * this mountpoint. */
 250         OCFS2_LA_ENABLED,       /* Local alloc is in use. */
 251         OCFS2_LA_THROTTLED,     /* Local alloc is in use, but number
 252                                  * of bits has been reduced. */
 253         OCFS2_LA_DISABLED       /* Local alloc has temporarily been
 254                                  * disabled. */
 255 };
 256
 257 enum ocfs2_mount_options
 258 {
 259         OCFS2_MOUNT_HB_LOCAL = 1 << 0, /* Local heartbeat */
 260         OCFS2_MOUNT_BARRIER = 1 << 1,   /* Use block barriers */
 261         OCFS2_MOUNT_NOINTR  = 1 << 2,   /* Don't catch signals */
 262         OCFS2_MOUNT_ERRORS_PANIC = 1 << 3, /* Panic on errors */
 263         OCFS2_MOUNT_DATA_WRITEBACK = 1 << 4, /* No data ordering */
 264         OCFS2_MOUNT_LOCALFLOCKS = 1 << 5, /* No cluster aware user file locks */
 265         OCFS2_MOUNT_NOUSERXATTR = 1 << 6, /* No user xattr */
 266         OCFS2_MOUNT_INODE64 = 1 << 7,   /* Allow inode numbers > 2^32 */
 267         OCFS2_MOUNT_POSIX_ACL = 1 << 8, /* Force POSIX access control lists */
 268         OCFS2_MOUNT_NO_POSIX_ACL = 1 << 9,      /* Disable POSIX access
 269                                                    control lists */
 270         OCFS2_MOUNT_USRQUOTA = 1 << 10, /* We support user quotas */
 271         OCFS2_MOUNT_GRPQUOTA = 1 << 11, /* We support group quotas */
 272         OCFS2_MOUNT_COHERENCY_BUFFERED = 1 << 12, /* Allow concurrent O_DIRECT
 273                                                      writes */
 274         OCFS2_MOUNT_HB_NONE = 1 << 13, /* No heartbeat */
 275         OCFS2_MOUNT_HB_GLOBAL = 1 << 14, /* Global heartbeat */
 276
 277         OCFS2_MOUNT_JOURNAL_ASYNC_COMMIT = 1 << 15,  /* Journal Async Commit */
 278         OCFS2_MOUNT_ERRORS_CONT = 1 << 16, /* Return EIO to the calling process on error */
 279         OCFS2_MOUNT_ERRORS_ROFS = 1 << 17, /* Change filesystem to read-only on error */
 280 };
 281
 282 #define OCFS2_OSB_SOFT_RO       0x0001
 283 #define OCFS2_OSB_HARD_RO       0x0002
 284 #define OCFS2_OSB_ERROR_FS      0x0004
 285 #define OCFS2_DEFAULT_ATIME_QUANTUM     60
 286
 287 struct ocfs2_triggers {
 288         struct jbd2_buffer_trigger_type ot_triggers;
 289         int                             ot_offset;
 290         struct super_block              *sb;
 291 };
 292
 293 enum ocfs2_journal_trigger_type {
 294         OCFS2_JTR_DI,
 295         OCFS2_JTR_EB,
 296         OCFS2_JTR_RB,
 297         OCFS2_JTR_GD,
 298         OCFS2_JTR_DB,
 299         OCFS2_JTR_XB,
 300         OCFS2_JTR_DQ,
 301         OCFS2_JTR_DR,
 302         OCFS2_JTR_DL,
 303         OCFS2_JTR_NONE  /* This must be the last entry */
 304 };
 305
 306 #define OCFS2_JOURNAL_TRIGGER_COUNT OCFS2_JTR_NONE
 307
 308 void ocfs2_initialize_journal_triggers(struct super_block *sb,
 309                                        struct ocfs2_triggers triggers[]);
 310
 311 struct ocfs2_journal;
 312 struct ocfs2_slot_info;
 313 struct ocfs2_recovery_map;
 314 struct ocfs2_replay_map;
 315 struct ocfs2_quota_recovery;
 316 struct ocfs2_super
 317 {
 318         struct task_struct *commit_task;
 319         struct super_block *sb;
 320         struct inode *root_inode;
 321         struct inode *sys_root_inode;
 322         struct inode *global_system_inodes[NUM_GLOBAL_SYSTEM_INODES];
 323         struct inode **local_system_inodes;
 324
 325         struct ocfs2_slot_info *slot_info;
 326
 327         u32 *slot_recovery_generations;
 328
 329         spinlock_t node_map_lock;
 330
 331         u64 root_blkno;
 332         u64 system_dir_blkno;
 333         u64 bitmap_blkno;
 334         u32 bitmap_cpg;
 335         char *uuid_str;
 336         u32 uuid_hash;
 337         u8 *vol_label;
 338         u64 first_cluster_group_blkno;
 339         u32 fs_generation;
 340
 341         u32 s_feature_compat;
 342         u32 s_feature_incompat;
 343         u32 s_feature_ro_compat;
 344
 345         /* Protects s_next_generation, osb_flags and s_inode_steal_slot.
 346          * Could protect more on osb as it's very short lived.
 347          */
 348         spinlock_t osb_lock;
 349         u32 s_next_generation;
 350         unsigned long osb_flags;
 351         u16 s_inode_steal_slot;
 352         u16 s_meta_steal_slot;
 353         atomic_t s_num_inodes_stolen;
 354         atomic_t s_num_meta_stolen;
 355
 356         unsigned long s_mount_opt;
 357         unsigned int s_atime_quantum;
 358
 359         unsigned int max_slots;
 360         unsigned int node_num;
 361         int slot_num;
 362         int preferred_slot;
 363         int s_sectsize_bits;
 364         int s_clustersize;
 365         int s_clustersize_bits;
 366         unsigned int s_xattr_inline_size;
 367
 368         atomic_t vol_state;
 369         struct mutex recovery_lock;
 370         struct ocfs2_recovery_map *recovery_map;
 371         struct ocfs2_replay_map *replay_map;
 372         struct task_struct *recovery_thread_task;
 373         int disable_recovery;
 374         wait_queue_head_t checkpoint_event;
 375         struct ocfs2_journal *journal;
 376         unsigned long osb_commit_interval;
 377
 378         /* Journal triggers for checksum */
 379         struct ocfs2_triggers s_journal_triggers[OCFS2_JOURNAL_TRIGGER_COUNT];
 380
 381         struct delayed_work             la_enable_wq;
 382
 383         /*
 384          * Must hold local alloc i_rwsem and osb->osb_lock to change
 385          * local_alloc_bits. Reads can be done under either lock.
 386          */
 387         unsigned int local_alloc_bits;
 388         unsigned int local_alloc_default_bits;
 389         /* osb_clusters_at_boot can become stale! Do not trust it to
 390          * be up to date. */
 391         unsigned int osb_clusters_at_boot;
 392
 393         enum ocfs2_local_alloc_state local_alloc_state; /* protected
 394                                                          * by osb_lock */
 395
 396         struct buffer_head *local_alloc_bh;
 397
 398         u64 la_last_gd;
 399
 400         struct ocfs2_reservation_map    osb_la_resmap;
 401
 402         unsigned int    osb_resv_level;
 403         unsigned int    osb_dir_resv_level;
 404
 405         /* Next two fields are for local node slot recovery during
 406          * mount. */
 407         struct ocfs2_dinode *local_alloc_copy;
 408         struct ocfs2_quota_recovery *quota_rec;
 409
 410         struct ocfs2_blockcheck_stats osb_ecc_stats;
 411         struct ocfs2_alloc_stats alloc_stats;
 412         char dev_str[20];               /* "major,minor" of the device */
 413
 414         u8 osb_stackflags;
 415
 416         char osb_cluster_stack[OCFS2_STACK_LABEL_LEN + 1];
 417         char osb_cluster_name[OCFS2_CLUSTER_NAME_LEN + 1];
 418         struct ocfs2_cluster_connection *cconn;
 419         struct ocfs2_lock_res osb_super_lockres;
 420         struct ocfs2_lock_res osb_rename_lockres;
 421         struct ocfs2_lock_res osb_nfs_sync_lockres;
 422         struct rw_semaphore nfs_sync_rwlock;
 423         struct ocfs2_lock_res osb_trim_fs_lockres;
 424         struct mutex obs_trim_fs_mutex;
 425         struct ocfs2_dlm_debug *osb_dlm_debug;
 426
 427         struct dentry *osb_debug_root;
 428
 429         wait_queue_head_t recovery_event;
 430
 431         spinlock_t dc_task_lock;
 432         struct task_struct *dc_task;
 433         wait_queue_head_t dc_event;
 434         unsigned long dc_wake_sequence;
 435         unsigned long dc_work_sequence;
 436
 437         /*
 438          * Any thread can add locks to the list, but the downconvert
 439          * thread is the only one allowed to remove locks. Any change
 440          * to this rule requires updating
 441          * ocfs2_downconvert_thread_do_work().
 442          */
 443         struct list_head blocked_lock_list;
 444         unsigned long blocked_lock_count;
 445
 446         /* List of dquot structures to drop last reference to */
 447         struct llist_head dquot_drop_list;
 448         struct work_struct dquot_drop_work;
 449
 450         wait_queue_head_t               osb_mount_event;
 451
 452         /* Truncate log info */
 453         struct inode                    *osb_tl_inode;
 454         struct buffer_head              *osb_tl_bh;
 455         struct delayed_work             osb_truncate_log_wq;
 456         atomic_t                        osb_tl_disable;
 457         /*
 458          * How many clusters in our truncate log.
 459          * It must be protected by osb_tl_inode->i_rwsem.
 460          */
 461         unsigned int truncated_clusters;
 462
 463         struct ocfs2_node_map           osb_recovering_orphan_dirs;
 464         unsigned int                    *osb_orphan_wipes;
 465         wait_queue_head_t               osb_wipe_event;
 466
 467         struct ocfs2_orphan_scan        osb_orphan_scan;
 468
 469         /* used to protect metaecc calculation check of xattr. */
 470         spinlock_t osb_xattr_lock;
 471
 472         unsigned int                    osb_dx_mask;
 473         u32                             osb_dx_seed[4];
 474
 475         /* the group we used to allocate inodes. */
 476         u64                             osb_inode_alloc_group;
 477
 478         /* rb tree root for refcount lock. */
 479         struct rb_root  osb_rf_lock_tree;
 480         struct ocfs2_refcount_tree *osb_ref_tree_lru;
 481
 482         struct mutex system_file_mutex;
 483
 484         /*
 485          * OCFS2 needs to schedule several different types of work which
 486          * require cluster locking, disk I/O, recovery waits, etc. Since these
 487          * types of work tend to be heavy we avoid using the kernel events
 488          * workqueue and schedule on our own.
 489          */
 490         struct workqueue_struct *ocfs2_wq;
 491
 492         /* sysfs directory per partition */
 493         struct kset *osb_dev_kset;
 494
 495         /* file check related stuff */
 496         struct ocfs2_filecheck_sysfs_entry osb_fc_ent;
 497 };
 498
 499 #define OCFS2_SB(sb)        ((struct ocfs2_super *)(sb)->s_fs_info)
 500
 501 /* Useful typedef for passing around journal access functions */
 502 typedef int (*ocfs2_journal_access_func)(handle_t *handle,
 503                                          struct ocfs2_caching_info *ci,
 504                                          struct buffer_head *bh, int type);
 505
 506 static inline int ocfs2_should_order_data(struct inode *inode)
 507 {
 508         if (!S_ISREG(inode->i_mode))
 509                 return 0;
 510         if (OCFS2_SB(inode->i_sb)->s_mount_opt & OCFS2_MOUNT_DATA_WRITEBACK)
 511                 return 0;
 512         return 1;
 513 }
 514
 515 static inline int ocfs2_sparse_alloc(struct ocfs2_super *osb)
 516 {
 517         if (osb->s_feature_incompat & OCFS2_FEATURE_INCOMPAT_SPARSE_ALLOC)
 518                 return 1;
 519         return 0;
 520 }
 521
 522 static inline int ocfs2_writes_unwritten_extents(struct ocfs2_super *osb)
 523 {
 524         /*
 525          * Support for sparse files is a pre-requisite
 526          */
 527         if (!ocfs2_sparse_alloc(osb))
 528                 return 0;
 529
 530         if (osb->s_feature_ro_compat & OCFS2_FEATURE_RO_COMPAT_UNWRITTEN)
 531                 return 1;
 532         return 0;
 533 }
 534
 535 static inline int ocfs2_supports_append_dio(struct ocfs2_super *osb)
 536 {
 537         if (osb->s_feature_incompat & OCFS2_FEATURE_INCOMPAT_APPEND_DIO)
 538                 return 1;
 539         return 0;
 540 }
 541
 542
 543 static inline int ocfs2_supports_inline_data(struct ocfs2_super *osb)
 544 {
 545         if (osb->s_feature_incompat & OCFS2_FEATURE_INCOMPAT_INLINE_DATA)
 546                 return 1;
 547         return 0;
 548 }
 549
 550 static inline int ocfs2_supports_xattr(struct ocfs2_super *osb)
 551 {
 552         if (osb->s_feature_incompat & OCFS2_FEATURE_INCOMPAT_XATTR)
 553                 return 1;
 554         return 0;
 555 }
 556
 557 static inline int ocfs2_meta_ecc(struct ocfs2_super *osb)
 558 {
 559         if (osb->s_feature_incompat & OCFS2_FEATURE_INCOMPAT_META_ECC)
 560                 return 1;
 561         return 0;
 562 }
 563
 564 static inline int ocfs2_supports_indexed_dirs(struct ocfs2_super *osb)
 565 {
 566         if (osb->s_feature_incompat & OCFS2_FEATURE_INCOMPAT_INDEXED_DIRS)
 567                 return 1;
 568         return 0;
 569 }
 570
 571 static inline int ocfs2_supports_discontig_bg(struct ocfs2_super *osb)
 572 {
 573         if (osb->s_feature_incompat & OCFS2_FEATURE_INCOMPAT_DISCONTIG_BG)
 574                 return 1;
 575         return 0;
 576 }
 577
 578 static inline unsigned int ocfs2_link_max(struct ocfs2_super *osb)
 579 {
 580         if (ocfs2_supports_indexed_dirs(osb))
 581                 return OCFS2_DX_LINK_MAX;
 582         return OCFS2_LINK_MAX;
 583 }
 584
 585 static inline unsigned int ocfs2_read_links_count(struct ocfs2_dinode *di)
 586 {
 587         u32 nlink = le16_to_cpu(di->i_links_count);
 588         u32 hi = le16_to_cpu(di->i_links_count_hi);
 589
 590         nlink |= (hi << OCFS2_LINKS_HI_SHIFT);
 591
 592         return nlink;
 593 }
 594
 595 static inline void ocfs2_set_links_count(struct ocfs2_dinode *di, u32 nlink)
 596 {
 597         u16 lo, hi;
 598
 599         lo = nlink;
 600         hi = nlink >> OCFS2_LINKS_HI_SHIFT;
 601
 602         di->i_links_count = cpu_to_le16(lo);
 603         di->i_links_count_hi = cpu_to_le16(hi);
 604 }
 605
 606 static inline void ocfs2_add_links_count(struct ocfs2_dinode *di, int n)
 607 {
 608         u32 links = ocfs2_read_links_count(di);
 609
 610         links += n;
 611
 612         ocfs2_set_links_count(di, links);
 613 }
 614
 615 static inline int ocfs2_refcount_tree(struct ocfs2_super *osb)
 616 {
 617         if (osb->s_feature_incompat & OCFS2_FEATURE_INCOMPAT_REFCOUNT_TREE)
 618                 return 1;
 619         return 0;
 620 }
 621
 622 /* set / clear functions because cluster events can make these happen
 623  * in parallel so we want the transitions to be atomic. this also
 624  * means that any future flags osb_flags must be protected by spinlock
 625  * too! */
 626 static inline void ocfs2_set_osb_flag(struct ocfs2_super *osb,
 627                                       unsigned long flag)
 628 {
 629         spin_lock(&osb->osb_lock);
 630         osb->osb_flags |= flag;
 631         spin_unlock(&osb->osb_lock);
 632 }
 633
 634 static inline void ocfs2_set_ro_flag(struct ocfs2_super *osb,
 635                                      int hard)
 636 {
 637         spin_lock(&osb->osb_lock);
 638         osb->osb_flags &= ~(OCFS2_OSB_SOFT_RO|OCFS2_OSB_HARD_RO);
 639         if (hard)
 640                 osb->osb_flags |= OCFS2_OSB_HARD_RO;
 641         else
 642                 osb->osb_flags |= OCFS2_OSB_SOFT_RO;
 643         spin_unlock(&osb->osb_lock);
 644 }
 645
 646 static inline int ocfs2_is_hard_readonly(struct ocfs2_super *osb)
 647 {
 648         int ret;
 649
 650         spin_lock(&osb->osb_lock);
 651         ret = osb->osb_flags & OCFS2_OSB_HARD_RO;
 652         spin_unlock(&osb->osb_lock);
 653
 654         return ret;
 655 }
 656
 657 static inline int ocfs2_is_soft_readonly(struct ocfs2_super *osb)
 658 {
 659         int ret;
 660
 661         spin_lock(&osb->osb_lock);
 662         ret = osb->osb_flags & OCFS2_OSB_SOFT_RO;
 663         spin_unlock(&osb->osb_lock);
 664
 665         return ret;
 666 }
 667
 668 static inline int ocfs2_clusterinfo_valid(struct ocfs2_super *osb)
 669 {
 670         return (osb->s_feature_incompat &
 671                 (OCFS2_FEATURE_INCOMPAT_USERSPACE_STACK |
 672                  OCFS2_FEATURE_INCOMPAT_CLUSTERINFO));
 673 }
 674
 675 static inline int ocfs2_userspace_stack(struct ocfs2_super *osb)
 676 {
 677         if (ocfs2_clusterinfo_valid(osb) &&
 678             memcmp(osb->osb_cluster_stack, OCFS2_CLASSIC_CLUSTER_STACK,
 679                    OCFS2_STACK_LABEL_LEN))
 680                 return 1;
 681         return 0;
 682 }
 683
 684 static inline int ocfs2_o2cb_stack(struct ocfs2_super *osb)
 685 {
 686         if (ocfs2_clusterinfo_valid(osb) &&
 687             !memcmp(osb->osb_cluster_stack, OCFS2_CLASSIC_CLUSTER_STACK,
 688                    OCFS2_STACK_LABEL_LEN))
 689                 return 1;
 690         return 0;
 691 }
 692
 693 static inline int ocfs2_cluster_o2cb_global_heartbeat(struct ocfs2_super *osb)
 694 {
 695         return ocfs2_o2cb_stack(osb) &&
 696                 (osb->osb_stackflags & OCFS2_CLUSTER_O2CB_GLOBAL_HEARTBEAT);
 697 }
 698
 699 static inline int ocfs2_mount_local(struct ocfs2_super *osb)
 700 {
 701         return (osb->s_feature_incompat & OCFS2_FEATURE_INCOMPAT_LOCAL_MOUNT);
 702 }
 703
 704 static inline int ocfs2_uses_extended_slot_map(struct ocfs2_super *osb)
 705 {
 706         return (osb->s_feature_incompat &
 707                 OCFS2_FEATURE_INCOMPAT_EXTENDED_SLOT_MAP);
 708 }
 709
 710
 711 #define OCFS2_IS_VALID_DINODE(ptr)                                      \
 712         (!strcmp((ptr)->i_signature, OCFS2_INODE_SIGNATURE))
 713
 714 #define OCFS2_IS_VALID_EXTENT_BLOCK(ptr)                                \
 715         (!strcmp((ptr)->h_signature, OCFS2_EXTENT_BLOCK_SIGNATURE))
 716
 717 #define OCFS2_IS_VALID_GROUP_DESC(ptr)                                  \
 718         (!strcmp((ptr)->bg_signature, OCFS2_GROUP_DESC_SIGNATURE))
 719
 720
 721 #define OCFS2_IS_VALID_XATTR_BLOCK(ptr)                                 \
 722         (!strcmp((ptr)->xb_signature, OCFS2_XATTR_BLOCK_SIGNATURE))
 723
 724 #define OCFS2_IS_VALID_DIR_TRAILER(ptr)                                 \
 725         (!strcmp((ptr)->db_signature, OCFS2_DIR_TRAILER_SIGNATURE))
 726
 727 #define OCFS2_IS_VALID_DX_ROOT(ptr)                                     \
 728         (!strcmp((ptr)->dr_signature, OCFS2_DX_ROOT_SIGNATURE))
 729
 730 #define OCFS2_IS_VALID_DX_LEAF(ptr)                                     \
 731         (!strcmp((ptr)->dl_signature, OCFS2_DX_LEAF_SIGNATURE))
 732
 733 #define OCFS2_IS_VALID_REFCOUNT_BLOCK(ptr)                              \
 734         (!strcmp((ptr)->rf_signature, OCFS2_REFCOUNT_BLOCK_SIGNATURE))
 735
 736 static inline unsigned long ino_from_blkno(struct super_block *sb,
 737                                            u64 blkno)
 738 {
 739         return (unsigned long)(blkno & (u64)ULONG_MAX);
 740 }
 741
 742 static inline u64 ocfs2_clusters_to_blocks(struct super_block *sb,
 743                                            u32 clusters)
 744 {
 745         int c_to_b_bits = OCFS2_SB(sb)->s_clustersize_bits -
 746                 sb->s_blocksize_bits;
 747
 748         return (u64)clusters << c_to_b_bits;
 749 }
 750
 751 static inline u32 ocfs2_clusters_for_blocks(struct super_block *sb,
 752                 u64 blocks)
 753 {
 754         int b_to_c_bits = OCFS2_SB(sb)->s_clustersize_bits -
 755                         sb->s_blocksize_bits;
 756
 757         blocks += (1 << b_to_c_bits) - 1;
 758         return (u32)(blocks >> b_to_c_bits);
 759 }
 760
 761 static inline u32 ocfs2_blocks_to_clusters(struct super_block *sb,
 762                                            u64 blocks)
 763 {
 764         int b_to_c_bits = OCFS2_SB(sb)->s_clustersize_bits -
 765                 sb->s_blocksize_bits;
 766
 767         return (u32)(blocks >> b_to_c_bits);
 768 }
 769
 770 static inline unsigned int ocfs2_clusters_for_bytes(struct super_block *sb,
 771                                                     u64 bytes)
 772 {
 773         int cl_bits = OCFS2_SB(sb)->s_clustersize_bits;
 774         unsigned int clusters;
 775
 776         bytes += OCFS2_SB(sb)->s_clustersize - 1;
 777         /* OCFS2 just cannot have enough clusters to overflow this */
 778         clusters = (unsigned int)(bytes >> cl_bits);
 779
 780         return clusters;
 781 }
 782
 783 static inline unsigned int ocfs2_bytes_to_clusters(struct super_block *sb,
 784                 u64 bytes)
 785 {
 786         int cl_bits = OCFS2_SB(sb)->s_clustersize_bits;
 787         unsigned int clusters;
 788
 789         clusters = (unsigned int)(bytes >> cl_bits);
 790         return clusters;
 791 }
 792
 793 static inline u64 ocfs2_blocks_for_bytes(struct super_block *sb,
 794                                          u64 bytes)
 795 {
 796         bytes += sb->s_blocksize - 1;
 797         return bytes >> sb->s_blocksize_bits;
 798 }
 799
 800 static inline u64 ocfs2_clusters_to_bytes(struct super_block *sb,
 801                                           u32 clusters)
 802 {
 803         return (u64)clusters << OCFS2_SB(sb)->s_clustersize_bits;
 804 }
 805
 806 static inline u64 ocfs2_block_to_cluster_start(struct super_block *sb,
 807                                                u64 blocks)
 808 {
 809         int bits = OCFS2_SB(sb)->s_clustersize_bits - sb->s_blocksize_bits;
 810         unsigned int clusters;
 811
 812         clusters = ocfs2_blocks_to_clusters(sb, blocks);
 813         return (u64)clusters << bits;
 814 }
 815
 816 static inline u64 ocfs2_align_bytes_to_clusters(struct super_block *sb,
 817                                                 u64 bytes)
 818 {
 819         int cl_bits = OCFS2_SB(sb)->s_clustersize_bits;
 820         unsigned int clusters;
 821
 822         clusters = ocfs2_clusters_for_bytes(sb, bytes);
 823         return (u64)clusters << cl_bits;
 824 }
 825
 826 static inline u64 ocfs2_align_bytes_to_blocks(struct super_block *sb,
 827                                               u64 bytes)
 828 {
 829         u64 blocks;
 830
 831         blocks = ocfs2_blocks_for_bytes(sb, bytes);
 832         return blocks << sb->s_blocksize_bits;
 833 }
 834
 835 static inline unsigned long ocfs2_align_bytes_to_sectors(u64 bytes)
 836 {
 837         return (unsigned long)((bytes + 511) >> 9);
 838 }
 839
 840 static inline unsigned int ocfs2_page_index_to_clusters(struct super_block *sb,
 841                                                         unsigned long pg_index)
 842 {
 843         u32 clusters = pg_index;
 844         unsigned int cbits = OCFS2_SB(sb)->s_clustersize_bits;
 845
 846         if (unlikely(PAGE_SHIFT > cbits))
 847                 clusters = pg_index << (PAGE_SHIFT - cbits);
 848         else if (PAGE_SHIFT < cbits)
 849                 clusters = pg_index >> (cbits - PAGE_SHIFT);
 850
 851         return clusters;
 852 }
 853
 854 /*
 855  * Find the 1st page index which covers the given clusters.
 856  */
 857 static inline pgoff_t ocfs2_align_clusters_to_page_index(struct super_block *sb,
 858                                                         u32 clusters)
 859 {
 860         unsigned int cbits = OCFS2_SB(sb)->s_clustersize_bits;
 861         pgoff_t index = clusters;
 862
 863         if (PAGE_SHIFT > cbits) {
 864                 index = (pgoff_t)clusters >> (PAGE_SHIFT - cbits);
 865         } else if (PAGE_SHIFT < cbits) {
 866                 index = (pgoff_t)clusters << (cbits - PAGE_SHIFT);
 867         }
 868
 869         return index;
 870 }
 871
 872 static inline unsigned int ocfs2_pages_per_cluster(struct super_block *sb)
 873 {
 874         unsigned int cbits = OCFS2_SB(sb)->s_clustersize_bits;
 875         unsigned int pages_per_cluster = 1;
 876
 877         if (PAGE_SHIFT < cbits)
 878                 pages_per_cluster = 1 << (cbits - PAGE_SHIFT);
 879
 880         return pages_per_cluster;
 881 }
 882
 883 static inline unsigned int ocfs2_megabytes_to_clusters(struct super_block *sb,
 884                                                        unsigned int megs)
 885 {
 886         BUILD_BUG_ON(OCFS2_MAX_CLUSTERSIZE > 1048576);
 887
 888         return megs << (20 - OCFS2_SB(sb)->s_clustersize_bits);
 889 }
 890
 891 static inline unsigned int ocfs2_clusters_to_megabytes(struct super_block *sb,
 892                                                        unsigned int clusters)
 893 {
 894         return clusters >> (20 - OCFS2_SB(sb)->s_clustersize_bits);
 895 }
 896
 897 static inline void _ocfs2_set_bit(unsigned int bit, unsigned long *bitmap)
 898 {
 899         __set_bit_le(bit, bitmap);
 900 }
 901 #define ocfs2_set_bit(bit, addr) _ocfs2_set_bit((bit), (unsigned long *)(addr))
 902
 903 static inline void _ocfs2_clear_bit(unsigned int bit, unsigned long *bitmap)
 904 {
 905         __clear_bit_le(bit, bitmap);
 906 }
 907 #define ocfs2_clear_bit(bit, addr) _ocfs2_clear_bit((bit), (unsigned long *)(addr))
 908
 909 #define ocfs2_test_bit test_bit_le
 910 #define ocfs2_find_next_zero_bit find_next_zero_bit_le
 911 #define ocfs2_find_next_bit find_next_bit_le
 912
 913 static inline void *correct_addr_and_bit_unaligned(int *bit, void *addr)
 914 {
 915 #if BITS_PER_LONG == 64
 916         *bit += ((unsigned long) addr & 7UL) << 3;
 917         addr = (void *) ((unsigned long) addr & ~7UL);
 918 #elif BITS_PER_LONG == 32
 919         *bit += ((unsigned long) addr & 3UL) << 3;
 920         addr = (void *) ((unsigned long) addr & ~3UL);
 921 #else
 922 #error "how many bits you are?!"
 923 #endif
 924         return addr;
 925 }
 926
 927 static inline void ocfs2_set_bit_unaligned(int bit, void *bitmap)
 928 {
 929         bitmap = correct_addr_and_bit_unaligned(&bit, bitmap);
 930         ocfs2_set_bit(bit, bitmap);
 931 }
 932
 933 static inline void ocfs2_clear_bit_unaligned(int bit, void *bitmap)
 934 {
 935         bitmap = correct_addr_and_bit_unaligned(&bit, bitmap);
 936         ocfs2_clear_bit(bit, bitmap);
 937 }
 938
 939 static inline int ocfs2_test_bit_unaligned(int bit, void *bitmap)
 940 {
 941         bitmap = correct_addr_and_bit_unaligned(&bit, bitmap);
 942         return ocfs2_test_bit(bit, bitmap);
 943 }
 944
 945 static inline int ocfs2_find_next_zero_bit_unaligned(void *bitmap, int max,
 946                                                         int start)
 947 {
 948         int fix = 0, ret, tmpmax;
 949         bitmap = correct_addr_and_bit_unaligned(&fix, bitmap);
 950         tmpmax = max + fix;
 951         start += fix;
 952
 953         ret = ocfs2_find_next_zero_bit(bitmap, tmpmax, start) - fix;
 954         if (ret > max)
 955                 return max;
 956         return ret;
 957 }
 958
 959 #endif  /* OCFS2_H */
 960