fs/fuse/fuse_i.h

   1 /*
   2   FUSE: Filesystem in Userspace
   3   Copyright (C) 2001-2008  Miklos Szeredi <[email protected]>
   4
   5   This program can be distributed under the terms of the GNU GPL.
   6   See the file COPYING.
   7 */
   8
   9 #ifndef _FS_FUSE_I_H
  10 #define _FS_FUSE_I_H
  11
  12 #ifndef pr_fmt
  13 # define pr_fmt(fmt) "fuse: " fmt
  14 #endif
  15
  16 #include <linux/fuse.h>
  17 #include <linux/fs.h>
  18 #include <linux/mount.h>
  19 #include <linux/wait.h>
  20 #include <linux/list.h>
  21 #include <linux/spinlock.h>
  22 #include <linux/mm.h>
  23 #include <linux/backing-dev.h>
  24 #include <linux/mutex.h>
  25 #include <linux/rwsem.h>
  26 #include <linux/rbtree.h>
  27 #include <linux/poll.h>
  28 #include <linux/workqueue.h>
  29 #include <linux/kref.h>
  30 #include <linux/xattr.h>
  31 #include <linux/pid_namespace.h>
  32 #include <linux/refcount.h>
  33 #include <linux/user_namespace.h>
  34
  35 /** Default max number of pages that can be used in a single read request */
  36 #define FUSE_DEFAULT_MAX_PAGES_PER_REQ 32
  37
  38 /** Maximum of max_pages received in init_out */
  39 #define FUSE_MAX_MAX_PAGES 256
  40
  41 /** Bias for fi->writectr, meaning new writepages must not be sent */
  42 #define FUSE_NOWRITE INT_MIN
  43
  44 /** It could be as large as PATH_MAX, but would that have any uses? */
  45 #define FUSE_NAME_MAX 1024
  46
  47 /** Number of dentries for each connection in the control filesystem */
  48 #define FUSE_CTL_NUM_DENTRIES 5
  49
  50 /** List of active connections */
  51 extern struct list_head fuse_conn_list;
  52
  53 /** Global mutex protecting fuse_conn_list and the control filesystem */
  54 extern struct mutex fuse_mutex;
  55
  56 /** Module parameters */
  57 extern unsigned max_user_bgreq;
  58 extern unsigned max_user_congthresh;
  59
  60 /* One forget request */
  61 struct fuse_forget_link {
  62         struct fuse_forget_one forget_one;
  63         struct fuse_forget_link *next;
  64 };
  65
  66 /** FUSE inode */
  67 struct fuse_inode {
  68         /** Inode data */
  69         struct inode inode;
  70
  71         /** Unique ID, which identifies the inode between userspace
  72          * and kernel */
  73         u64 nodeid;
  74
  75         /** Number of lookups on this inode */
  76         u64 nlookup;
  77
  78         /** The request used for sending the FORGET message */
  79         struct fuse_forget_link *forget;
  80
  81         /** Time in jiffies until the file attributes are valid */
  82         u64 i_time;
  83
  84         /* Which attributes are invalid */
  85         u32 inval_mask;
  86
  87         /** The sticky bit in inode->i_mode may have been removed, so
  88             preserve the original mode */
  89         umode_t orig_i_mode;
  90
  91         /** 64 bit inode number */
  92         u64 orig_ino;
  93
  94         /** Version of last attribute change */
  95         u64 attr_version;
  96
  97         union {
  98                 /* Write related fields (regular file only) */
  99                 struct {
 100                         /* Files usable in writepage.  Protected by fi->lock */
 101                         struct list_head write_files;
 102
 103                         /* Writepages pending on truncate or fsync */
 104                         struct list_head queued_writes;
 105
 106                         /* Number of sent writes, a negative bias
 107                          * (FUSE_NOWRITE) means more writes are blocked */
 108                         int writectr;
 109
 110                         /* Waitq for writepage completion */
 111                         wait_queue_head_t page_waitq;
 112
 113                         /* List of writepage requestst (pending or sent) */
 114                         struct rb_root writepages;
 115                 };
 116
 117                 /* readdir cache (directory only) */
 118                 struct {
 119                         /* true if fully cached */
 120                         bool cached;
 121
 122                         /* size of cache */
 123                         loff_t size;
 124
 125                         /* position at end of cache (position of next entry) */
 126                         loff_t pos;
 127
 128                         /* version of the cache */
 129                         u64 version;
 130
 131                         /* modification time of directory when cache was
 132                          * started */
 133                         struct timespec64 mtime;
 134
 135                         /* iversion of directory when cache was started */
 136                         u64 iversion;
 137
 138                         /* protects above fields */
 139                         spinlock_t lock;
 140                 } rdc;
 141         };
 142
 143         /** Miscellaneous bits describing inode state */
 144         unsigned long state;
 145
 146         /** Lock for serializing lookup and readdir for back compatibility*/
 147         struct mutex mutex;
 148
 149         /** Lock to protect write related fields */
 150         spinlock_t lock;
 151
 152         /**
 153          * Can't take inode lock in fault path (leads to circular dependency).
 154          * Introduce another semaphore which can be taken in fault path and
 155          * then other filesystem paths can take this to block faults.
 156          */
 157         struct rw_semaphore i_mmap_sem;
 158
 159 #ifdef CONFIG_FUSE_DAX
 160         /*
 161          * Dax specific inode data
 162          */
 163         struct fuse_inode_dax *dax;
 164 #endif
 165 };
 166
 167 /** FUSE inode state bits */
 168 enum {
 169         /** Advise readdirplus  */
 170         FUSE_I_ADVISE_RDPLUS,
 171         /** Initialized with readdirplus */
 172         FUSE_I_INIT_RDPLUS,
 173         /** An operation changing file size is in progress  */
 174         FUSE_I_SIZE_UNSTABLE,
 175         /* Bad inode */
 176         FUSE_I_BAD,
 177 };
 178
 179 struct fuse_conn;
 180 struct fuse_mount;
 181 struct fuse_release_args;
 182
 183 /** FUSE specific file data */
 184 struct fuse_file {
 185         /** Fuse connection for this file */
 186         struct fuse_mount *fm;
 187
 188         /* Argument space reserved for release */
 189         struct fuse_release_args *release_args;
 190
 191         /** Kernel file handle guaranteed to be unique */
 192         u64 kh;
 193
 194         /** File handle used by userspace */
 195         u64 fh;
 196
 197         /** Node id of this file */
 198         u64 nodeid;
 199
 200         /** Refcount */
 201         refcount_t count;
 202
 203         /** FOPEN_* flags returned by open */
 204         u32 open_flags;
 205
 206         /** Entry on inode's write_files list */
 207         struct list_head write_entry;
 208
 209         /* Readdir related */
 210         struct {
 211                 /*
 212                  * Protects below fields against (crazy) parallel readdir on
 213                  * same open file.  Uncontended in the normal case.
 214                  */
 215                 struct mutex lock;
 216
 217                 /* Dir stream position */
 218                 loff_t pos;
 219
 220                 /* Offset in cache */
 221                 loff_t cache_off;
 222
 223                 /* Version of cache we are reading */
 224                 u64 version;
 225
 226         } readdir;
 227
 228         /** RB node to be linked on fuse_conn->polled_files */
 229         struct rb_node polled_node;
 230
 231         /** Wait queue head for poll */
 232         wait_queue_head_t poll_wait;
 233
 234         /** Has flock been performed on this file? */
 235         bool flock:1;
 236 };
 237
 238 /** One input argument of a request */
 239 struct fuse_in_arg {
 240         unsigned size;
 241         const void *value;
 242 };
 243
 244 /** One output argument of a request */
 245 struct fuse_arg {
 246         unsigned size;
 247         void *value;
 248 };
 249
 250 /** FUSE page descriptor */
 251 struct fuse_page_desc {
 252         unsigned int length;
 253         unsigned int offset;
 254 };
 255
 256 struct fuse_args {
 257         uint64_t nodeid;
 258         uint32_t opcode;
 259         unsigned short in_numargs;
 260         unsigned short out_numargs;
 261         bool force:1;
 262         bool noreply:1;
 263         bool nocreds:1;
 264         bool in_pages:1;
 265         bool out_pages:1;
 266         bool out_argvar:1;
 267         bool page_zeroing:1;
 268         bool page_replace:1;
 269         bool may_block:1;
 270         struct fuse_in_arg in_args[3];
 271         struct fuse_arg out_args[2];
 272         void (*end)(struct fuse_mount *fm, struct fuse_args *args, int error);
 273 };
 274
 275 struct fuse_args_pages {
 276         struct fuse_args args;
 277         struct page **pages;
 278         struct fuse_page_desc *descs;
 279         unsigned int num_pages;
 280 };
 281
 282 #define FUSE_ARGS(args) struct fuse_args args = {}
 283
 284 /** The request IO state (for asynchronous processing) */
 285 struct fuse_io_priv {
 286         struct kref refcnt;
 287         int async;
 288         spinlock_t lock;
 289         unsigned reqs;
 290         ssize_t bytes;
 291         size_t size;
 292         __u64 offset;
 293         bool write;
 294         bool should_dirty;
 295         int err;
 296         struct kiocb *iocb;
 297         struct completion *done;
 298         bool blocking;
 299 };
 300
 301 #define FUSE_IO_PRIV_SYNC(i) \
 302 {                                       \
 303         .refcnt = KREF_INIT(1),         \
 304         .async = 0,                     \
 305         .iocb = i,                      \
 306 }
 307
 308 /**
 309  * Request flags
 310  *
 311  * FR_ISREPLY:          set if the request has reply
 312  * FR_FORCE:            force sending of the request even if interrupted
 313  * FR_BACKGROUND:       request is sent in the background
 314  * FR_WAITING:          request is counted as "waiting"
 315  * FR_ABORTED:          the request was aborted
 316  * FR_INTERRUPTED:      the request has been interrupted
 317  * FR_LOCKED:           data is being copied to/from the request
 318  * FR_PENDING:          request is not yet in userspace
 319  * FR_SENT:             request is in userspace, waiting for an answer
 320  * FR_FINISHED:         request is finished
 321  * FR_PRIVATE:          request is on private list
 322  * FR_ASYNC:            request is asynchronous
 323  */
 324 enum fuse_req_flag {
 325         FR_ISREPLY,
 326         FR_FORCE,
 327         FR_BACKGROUND,
 328         FR_WAITING,
 329         FR_ABORTED,
 330         FR_INTERRUPTED,
 331         FR_LOCKED,
 332         FR_PENDING,
 333         FR_SENT,
 334         FR_FINISHED,
 335         FR_PRIVATE,
 336         FR_ASYNC,
 337 };
 338
 339 /**
 340  * A request to the client
 341  *
 342  * .waitq.lock protects the following fields:
 343  *   - FR_ABORTED
 344  *   - FR_LOCKED (may also be modified under fc->lock, tested under both)
 345  */
 346 struct fuse_req {
 347         /** This can be on either pending processing or io lists in
 348             fuse_conn */
 349         struct list_head list;
 350
 351         /** Entry on the interrupts list  */
 352         struct list_head intr_entry;
 353
 354         /* Input/output arguments */
 355         struct fuse_args *args;
 356
 357         /** refcount */
 358         refcount_t count;
 359
 360         /* Request flags, updated with test/set/clear_bit() */
 361         unsigned long flags;
 362
 363         /* The request input header */
 364         struct {
 365                 struct fuse_in_header h;
 366         } in;
 367
 368         /* The request output header */
 369         struct {
 370                 struct fuse_out_header h;
 371         } out;
 372
 373         /** Used to wake up the task waiting for completion of request*/
 374         wait_queue_head_t waitq;
 375
 376 #if IS_ENABLED(CONFIG_VIRTIO_FS)
 377         /** virtio-fs's physically contiguous buffer for in and out args */
 378         void *argbuf;
 379 #endif
 380
 381         /** fuse_mount this request belongs to */
 382         struct fuse_mount *fm;
 383 };
 384
 385 struct fuse_iqueue;
 386
 387 /**
 388  * Input queue callbacks
 389  *
 390  * Input queue signalling is device-specific.  For example, the /dev/fuse file
 391  * uses fiq->waitq and fasync to wake processes that are waiting on queue
 392  * readiness.  These callbacks allow other device types to respond to input
 393  * queue activity.
 394  */
 395 struct fuse_iqueue_ops {
 396         /**
 397          * Signal that a forget has been queued
 398          */
 399         void (*wake_forget_and_unlock)(struct fuse_iqueue *fiq)
 400                 __releases(fiq->lock);
 401
 402         /**
 403          * Signal that an INTERRUPT request has been queued
 404          */
 405         void (*wake_interrupt_and_unlock)(struct fuse_iqueue *fiq)
 406                 __releases(fiq->lock);
 407
 408         /**
 409          * Signal that a request has been queued
 410          */
 411         void (*wake_pending_and_unlock)(struct fuse_iqueue *fiq)
 412                 __releases(fiq->lock);
 413
 414         /**
 415          * Clean up when fuse_iqueue is destroyed
 416          */
 417         void (*release)(struct fuse_iqueue *fiq);
 418 };
 419
 420 /** /dev/fuse input queue operations */
 421 extern const struct fuse_iqueue_ops fuse_dev_fiq_ops;
 422
 423 struct fuse_iqueue {
 424         /** Connection established */
 425         unsigned connected;
 426
 427         /** Lock protecting accesses to members of this structure */
 428         spinlock_t lock;
 429
 430         /** Readers of the connection are waiting on this */
 431         wait_queue_head_t waitq;
 432
 433         /** The next unique request id */
 434         u64 reqctr;
 435
 436         /** The list of pending requests */
 437         struct list_head pending;
 438
 439         /** Pending interrupts */
 440         struct list_head interrupts;
 441
 442         /** Queue of pending forgets */
 443         struct fuse_forget_link forget_list_head;
 444         struct fuse_forget_link *forget_list_tail;
 445
 446         /** Batching of FORGET requests (positive indicates FORGET batch) */
 447         int forget_batch;
 448
 449         /** O_ASYNC requests */
 450         struct fasync_struct *fasync;
 451
 452         /** Device-specific callbacks */
 453         const struct fuse_iqueue_ops *ops;
 454
 455         /** Device-specific state */
 456         void *priv;
 457 };
 458
 459 #define FUSE_PQ_HASH_BITS 8
 460 #define FUSE_PQ_HASH_SIZE (1 << FUSE_PQ_HASH_BITS)
 461
 462 struct fuse_pqueue {
 463         /** Connection established */
 464         unsigned connected;
 465
 466         /** Lock protecting accessess to  members of this structure */
 467         spinlock_t lock;
 468
 469         /** Hash table of requests being processed */
 470         struct list_head *processing;
 471
 472         /** The list of requests under I/O */
 473         struct list_head io;
 474 };
 475
 476 /**
 477  * Fuse device instance
 478  */
 479 struct fuse_dev {
 480         /** Fuse connection for this device */
 481         struct fuse_conn *fc;
 482
 483         /** Processing queue */
 484         struct fuse_pqueue pq;
 485
 486         /** list entry on fc->devices */
 487         struct list_head entry;
 488 };
 489
 490 struct fuse_fs_context {
 491         int fd;
 492         unsigned int rootmode;
 493         kuid_t user_id;
 494         kgid_t group_id;
 495         bool is_bdev:1;
 496         bool fd_present:1;
 497         bool rootmode_present:1;
 498         bool user_id_present:1;
 499         bool group_id_present:1;
 500         bool default_permissions:1;
 501         bool allow_other:1;
 502         bool destroy:1;
 503         bool no_control:1;
 504         bool no_force_umount:1;
 505         bool legacy_opts_show:1;
 506         bool dax:1;
 507         unsigned int max_read;
 508         unsigned int blksize;
 509         const char *subtype;
 510
 511         /* DAX device, may be NULL */
 512         struct dax_device *dax_dev;
 513
 514         /* fuse_dev pointer to fill in, should contain NULL on entry */
 515         void **fudptr;
 516 };
 517
 518 /**
 519  * A Fuse connection.
 520  *
 521  * This structure is created, when the root filesystem is mounted, and
 522  * is destroyed, when the client device is closed and the last
 523  * fuse_mount is destroyed.
 524  */
 525 struct fuse_conn {
 526         /** Lock protecting accessess to  members of this structure */
 527         spinlock_t lock;
 528
 529         /** Refcount */
 530         refcount_t count;
 531
 532         /** Number of fuse_dev's */
 533         atomic_t dev_count;
 534
 535         struct rcu_head rcu;
 536
 537         /** The user id for this mount */
 538         kuid_t user_id;
 539
 540         /** The group id for this mount */
 541         kgid_t group_id;
 542
 543         /** The pid namespace for this mount */
 544         struct pid_namespace *pid_ns;
 545
 546         /** The user namespace for this mount */
 547         struct user_namespace *user_ns;
 548
 549         /** Maximum read size */
 550         unsigned max_read;
 551
 552         /** Maximum write size */
 553         unsigned max_write;
 554
 555         /** Maximum number of pages that can be used in a single request */
 556         unsigned int max_pages;
 557
 558         /** Constrain ->max_pages to this value during feature negotiation */
 559         unsigned int max_pages_limit;
 560
 561         /** Input queue */
 562         struct fuse_iqueue iq;
 563
 564         /** The next unique kernel file handle */
 565         atomic64_t khctr;
 566
 567         /** rbtree of fuse_files waiting for poll events indexed by ph */
 568         struct rb_root polled_files;
 569
 570         /** Maximum number of outstanding background requests */
 571         unsigned max_background;
 572
 573         /** Number of background requests at which congestion starts */
 574         unsigned congestion_threshold;
 575
 576         /** Number of requests currently in the background */
 577         unsigned num_background;
 578
 579         /** Number of background requests currently queued for userspace */
 580         unsigned active_background;
 581
 582         /** The list of background requests set aside for later queuing */
 583         struct list_head bg_queue;
 584
 585         /** Protects: max_background, congestion_threshold, num_background,
 586          * active_background, bg_queue, blocked */
 587         spinlock_t bg_lock;
 588
 589         /** Flag indicating that INIT reply has been received. Allocating
 590          * any fuse request will be suspended until the flag is set */
 591         int initialized;
 592
 593         /** Flag indicating if connection is blocked.  This will be
 594             the case before the INIT reply is received, and if there
 595             are too many outstading backgrounds requests */
 596         int blocked;
 597
 598         /** waitq for blocked connection */
 599         wait_queue_head_t blocked_waitq;
 600
 601         /** Connection established, cleared on umount, connection
 602             abort and device release */
 603         unsigned connected;
 604
 605         /** Connection aborted via sysfs */
 606         bool aborted;
 607
 608         /** Connection failed (version mismatch).  Cannot race with
 609             setting other bitfields since it is only set once in INIT
 610             reply, before any other request, and never cleared */
 611         unsigned conn_error:1;
 612
 613         /** Connection successful.  Only set in INIT */
 614         unsigned conn_init:1;
 615
 616         /** Do readpages asynchronously?  Only set in INIT */
 617         unsigned async_read:1;
 618
 619         /** Return an unique read error after abort.  Only set in INIT */
 620         unsigned abort_err:1;
 621
 622         /** Do not send separate SETATTR request before open(O_TRUNC)  */
 623         unsigned atomic_o_trunc:1;
 624
 625         /** Filesystem supports NFS exporting.  Only set in INIT */
 626         unsigned export_support:1;
 627
 628         /** write-back cache policy (default is write-through) */
 629         unsigned writeback_cache:1;
 630
 631         /** allow parallel lookups and readdir (default is serialized) */
 632         unsigned parallel_dirops:1;
 633
 634         /** handle fs handles killing suid/sgid/cap on write/chown/trunc */
 635         unsigned handle_killpriv:1;
 636
 637         /** cache READLINK responses in page cache */
 638         unsigned cache_symlinks:1;
 639
 640         /* show legacy mount options */
 641         unsigned int legacy_opts_show:1;
 642
 643         /*
 644          * fs kills suid/sgid/cap on write/chown/trunc. suid is killed on
 645          * write/trunc only if caller did not have CAP_FSETID.  sgid is killed
 646          * on write/truncate only if caller did not have CAP_FSETID as well as
 647          * file has group execute permission.
 648          */
 649         unsigned handle_killpriv_v2:1;
 650
 651         /*
 652          * The following bitfields are only for optimization purposes
 653          * and hence races in setting them will not cause malfunction
 654          */
 655
 656         /** Is open/release not implemented by fs? */
 657         unsigned no_open:1;
 658
 659         /** Is opendir/releasedir not implemented by fs? */
 660         unsigned no_opendir:1;
 661
 662         /** Is fsync not implemented by fs? */
 663         unsigned no_fsync:1;
 664
 665         /** Is fsyncdir not implemented by fs? */
 666         unsigned no_fsyncdir:1;
 667
 668         /** Is flush not implemented by fs? */
 669         unsigned no_flush:1;
 670
 671         /** Is setxattr not implemented by fs? */
 672         unsigned no_setxattr:1;
 673
 674         /** Does file server support extended setxattr */
 675         unsigned setxattr_ext:1;
 676
 677         /** Is getxattr not implemented by fs? */
 678         unsigned no_getxattr:1;
 679
 680         /** Is listxattr not implemented by fs? */
 681         unsigned no_listxattr:1;
 682
 683         /** Is removexattr not implemented by fs? */
 684         unsigned no_removexattr:1;
 685
 686         /** Are posix file locking primitives not implemented by fs? */
 687         unsigned no_lock:1;
 688
 689         /** Is access not implemented by fs? */
 690         unsigned no_access:1;
 691
 692         /** Is create not implemented by fs? */
 693         unsigned no_create:1;
 694
 695         /** Is interrupt not implemented by fs? */
 696         unsigned no_interrupt:1;
 697
 698         /** Is bmap not implemented by fs? */
 699         unsigned no_bmap:1;
 700
 701         /** Is poll not implemented by fs? */
 702         unsigned no_poll:1;
 703
 704         /** Do multi-page cached writes */
 705         unsigned big_writes:1;
 706
 707         /** Don't apply umask to creation modes */
 708         unsigned dont_mask:1;
 709
 710         /** Are BSD file locking primitives not implemented by fs? */
 711         unsigned no_flock:1;
 712
 713         /** Is fallocate not implemented by fs? */
 714         unsigned no_fallocate:1;
 715
 716         /** Is rename with flags implemented by fs? */
 717         unsigned no_rename2:1;
 718
 719         /** Use enhanced/automatic page cache invalidation. */
 720         unsigned auto_inval_data:1;
 721
 722         /** Filesystem is fully responsible for page cache invalidation. */
 723         unsigned explicit_inval_data:1;
 724
 725         /** Does the filesystem support readdirplus? */
 726         unsigned do_readdirplus:1;
 727
 728         /** Does the filesystem want adaptive readdirplus? */
 729         unsigned readdirplus_auto:1;
 730
 731         /** Does the filesystem support asynchronous direct-IO submission? */
 732         unsigned async_dio:1;
 733
 734         /** Is lseek not implemented by fs? */
 735         unsigned no_lseek:1;
 736
 737         /** Does the filesystem support posix acls? */
 738         unsigned posix_acl:1;
 739
 740         /** Check permissions based on the file mode or not? */
 741         unsigned default_permissions:1;
 742
 743         /** Allow other than the mounter user to access the filesystem ? */
 744         unsigned allow_other:1;
 745
 746         /** Does the filesystem support copy_file_range? */
 747         unsigned no_copy_file_range:1;
 748
 749         /* Send DESTROY request */
 750         unsigned int destroy:1;
 751
 752         /* Delete dentries that have gone stale */
 753         unsigned int delete_stale:1;
 754
 755         /** Do not create entry in fusectl fs */
 756         unsigned int no_control:1;
 757
 758         /** Do not allow MNT_FORCE umount */
 759         unsigned int no_force_umount:1;
 760
 761         /* Auto-mount submounts announced by the server */
 762         unsigned int auto_submounts:1;
 763
 764         /** The number of requests waiting for completion */
 765         atomic_t num_waiting;
 766
 767         /** Negotiated minor version */
 768         unsigned minor;
 769
 770         /** Entry on the fuse_mount_list */
 771         struct list_head entry;
 772
 773         /** Device ID from the root super block */
 774         dev_t dev;
 775
 776         /** Dentries in the control filesystem */
 777         struct dentry *ctl_dentry[FUSE_CTL_NUM_DENTRIES];
 778
 779         /** number of dentries used in the above array */
 780         int ctl_ndents;
 781
 782         /** Key for lock owner ID scrambling */
 783         u32 scramble_key[4];
 784
 785         /** Version counter for attribute changes */
 786         atomic64_t attr_version;
 787
 788         /** Called on final put */
 789         void (*release)(struct fuse_conn *);
 790
 791         /**
 792          * Read/write semaphore to hold when accessing the sb of any
 793          * fuse_mount belonging to this connection
 794          */
 795         struct rw_semaphore killsb;
 796
 797         /** List of device instances belonging to this connection */
 798         struct list_head devices;
 799
 800 #ifdef CONFIG_FUSE_DAX
 801         /* Dax specific conn data, non-NULL if DAX is enabled */
 802         struct fuse_conn_dax *dax;
 803 #endif
 804
 805         /** List of filesystems using this connection */
 806         struct list_head mounts;
 807 };
 808
 809 /*
 810  * Represents a mounted filesystem, potentially a submount.
 811  *
 812  * This object allows sharing a fuse_conn between separate mounts to
 813  * allow submounts with dedicated superblocks and thus separate device
 814  * IDs.
 815  */
 816 struct fuse_mount {
 817         /* Underlying (potentially shared) connection to the FUSE server */
 818         struct fuse_conn *fc;
 819
 820         /*
 821          * Super block for this connection (fc->killsb must be held when
 822          * accessing this).
 823          */
 824         struct super_block *sb;
 825
 826         /* Entry on fc->mounts */
 827         struct list_head fc_entry;
 828 };
 829
 830 static inline struct fuse_mount *get_fuse_mount_super(struct super_block *sb)
 831 {
 832         return sb->s_fs_info;
 833 }
 834
 835 static inline struct fuse_conn *get_fuse_conn_super(struct super_block *sb)
 836 {
 837         return get_fuse_mount_super(sb)->fc;
 838 }
 839
 840 static inline struct fuse_mount *get_fuse_mount(struct inode *inode)
 841 {
 842         return get_fuse_mount_super(inode->i_sb);
 843 }
 844
 845 static inline struct fuse_conn *get_fuse_conn(struct inode *inode)
 846 {
 847         return get_fuse_mount_super(inode->i_sb)->fc;
 848 }
 849
 850 static inline struct fuse_inode *get_fuse_inode(struct inode *inode)
 851 {
 852         return container_of(inode, struct fuse_inode, inode);
 853 }
 854
 855 static inline u64 get_node_id(struct inode *inode)
 856 {
 857         return get_fuse_inode(inode)->nodeid;
 858 }
 859
 860 static inline int invalid_nodeid(u64 nodeid)
 861 {
 862         return !nodeid || nodeid == FUSE_ROOT_ID;
 863 }
 864
 865 static inline u64 fuse_get_attr_version(struct fuse_conn *fc)
 866 {
 867         return atomic64_read(&fc->attr_version);
 868 }
 869
 870 static inline void fuse_make_bad(struct inode *inode)
 871 {
 872         remove_inode_hash(inode);
 873         set_bit(FUSE_I_BAD, &get_fuse_inode(inode)->state);
 874 }
 875
 876 static inline bool fuse_is_bad(struct inode *inode)
 877 {
 878         return unlikely(test_bit(FUSE_I_BAD, &get_fuse_inode(inode)->state));
 879 }
 880
 881 static inline struct page **fuse_pages_alloc(unsigned int npages, gfp_t flags,
 882                                              struct fuse_page_desc **desc)
 883 {
 884         struct page **pages;
 885
 886         pages = kzalloc(npages * (sizeof(struct page *) +
 887                                   sizeof(struct fuse_page_desc)), flags);
 888         *desc = (void *) (pages + npages);
 889
 890         return pages;
 891 }
 892
 893 static inline void fuse_page_descs_length_init(struct fuse_page_desc *descs,
 894                                                unsigned int index,
 895                                                unsigned int nr_pages)
 896 {
 897         int i;
 898
 899         for (i = index; i < index + nr_pages; i++)
 900                 descs[i].length = PAGE_SIZE - descs[i].offset;
 901 }
 902
 903 /** Device operations */
 904 extern const struct file_operations fuse_dev_operations;
 905
 906 extern const struct dentry_operations fuse_dentry_operations;
 907 extern const struct dentry_operations fuse_root_dentry_operations;
 908
 909 /**
 910  * Get a filled in inode
 911  */
 912 struct inode *fuse_iget(struct super_block *sb, u64 nodeid,
 913                         int generation, struct fuse_attr *attr,
 914                         u64 attr_valid, u64 attr_version);
 915
 916 int fuse_lookup_name(struct super_block *sb, u64 nodeid, const struct qstr *name,
 917                      struct fuse_entry_out *outarg, struct inode **inode);
 918
 919 /**
 920  * Send FORGET command
 921  */
 922 void fuse_queue_forget(struct fuse_conn *fc, struct fuse_forget_link *forget,
 923                        u64 nodeid, u64 nlookup);
 924
 925 struct fuse_forget_link *fuse_alloc_forget(void);
 926
 927 struct fuse_forget_link *fuse_dequeue_forget(struct fuse_iqueue *fiq,
 928                                              unsigned int max,
 929                                              unsigned int *countp);
 930
 931 /*
 932  * Initialize READ or READDIR request
 933  */
 934 struct fuse_io_args {
 935         union {
 936                 struct {
 937                         struct fuse_read_in in;
 938                         u64 attr_ver;
 939                 } read;
 940                 struct {
 941                         struct fuse_write_in in;
 942                         struct fuse_write_out out;
 943                         bool page_locked;
 944                 } write;
 945         };
 946         struct fuse_args_pages ap;
 947         struct fuse_io_priv *io;
 948         struct fuse_file *ff;
 949 };
 950
 951 void fuse_read_args_fill(struct fuse_io_args *ia, struct file *file, loff_t pos,
 952                          size_t count, int opcode);
 953
 954
 955 /**
 956  * Send OPEN or OPENDIR request
 957  */
 958 int fuse_open_common(struct inode *inode, struct file *file, bool isdir);
 959
 960 struct fuse_file *fuse_file_alloc(struct fuse_mount *fm);
 961 void fuse_file_free(struct fuse_file *ff);
 962 void fuse_finish_open(struct inode *inode, struct file *file);
 963
 964 void fuse_sync_release(struct fuse_inode *fi, struct fuse_file *ff,
 965                        unsigned int flags);
 966
 967 /**
 968  * Send RELEASE or RELEASEDIR request
 969  */
 970 void fuse_release_common(struct file *file, bool isdir);
 971
 972 /**
 973  * Send FSYNC or FSYNCDIR request
 974  */
 975 int fuse_fsync_common(struct file *file, loff_t start, loff_t end,
 976                       int datasync, int opcode);
 977
 978 /**
 979  * Notify poll wakeup
 980  */
 981 int fuse_notify_poll_wakeup(struct fuse_conn *fc,
 982                             struct fuse_notify_poll_wakeup_out *outarg);
 983
 984 /**
 985  * Initialize file operations on a regular file
 986  */
 987 void fuse_init_file_inode(struct inode *inode);
 988
 989 /**
 990  * Initialize inode operations on regular files and special files
 991  */
 992 void fuse_init_common(struct inode *inode);
 993
 994 /**
 995  * Initialize inode and file operations on a directory
 996  */
 997 void fuse_init_dir(struct inode *inode);
 998
 999 /**
1000  * Initialize inode operations on a symlink
1001  */
1002 void fuse_init_symlink(struct inode *inode);
1003
1004 /**
1005  * Change attributes of an inode
1006  */
1007 void fuse_change_attributes(struct inode *inode, struct fuse_attr *attr,
1008                             u64 attr_valid, u64 attr_version);
1009
1010 void fuse_change_attributes_common(struct inode *inode, struct fuse_attr *attr,
1011                                    u64 attr_valid);
1012
1013 /**
1014  * Initialize the client device
1015  */
1016 int fuse_dev_init(void);
1017
1018 /**
1019  * Cleanup the client device
1020  */
1021 void fuse_dev_cleanup(void);
1022
1023 int fuse_ctl_init(void);
1024 void __exit fuse_ctl_cleanup(void);
1025
1026 /**
1027  * Simple request sending that does request allocation and freeing
1028  */
1029 ssize_t fuse_simple_request(struct fuse_mount *fm, struct fuse_args *args);
1030 int fuse_simple_background(struct fuse_mount *fm, struct fuse_args *args,
1031                            gfp_t gfp_flags);
1032
1033 /**
1034  * End a finished request
1035  */
1036 void fuse_request_end(struct fuse_req *req);
1037
1038 /* Abort all requests */
1039 void fuse_abort_conn(struct fuse_conn *fc);
1040 void fuse_wait_aborted(struct fuse_conn *fc);
1041
1042 /**
1043  * Invalidate inode attributes
1044  */
1045 void fuse_invalidate_attr(struct inode *inode);
1046
1047 void fuse_invalidate_entry_cache(struct dentry *entry);
1048
1049 void fuse_invalidate_atime(struct inode *inode);
1050
1051 u64 entry_attr_timeout(struct fuse_entry_out *o);
1052 void fuse_change_entry_timeout(struct dentry *entry, struct fuse_entry_out *o);
1053
1054 /**
1055  * Acquire reference to fuse_conn
1056  */
1057 struct fuse_conn *fuse_conn_get(struct fuse_conn *fc);
1058
1059 /**
1060  * Initialize fuse_conn
1061  */
1062 void fuse_conn_init(struct fuse_conn *fc, struct fuse_mount *fm,
1063                     struct user_namespace *user_ns,
1064                     const struct fuse_iqueue_ops *fiq_ops, void *fiq_priv);
1065
1066 /**
1067  * Release reference to fuse_conn
1068  */
1069 void fuse_conn_put(struct fuse_conn *fc);
1070
1071 struct fuse_dev *fuse_dev_alloc_install(struct fuse_conn *fc);
1072 struct fuse_dev *fuse_dev_alloc(void);
1073 void fuse_dev_install(struct fuse_dev *fud, struct fuse_conn *fc);
1074 void fuse_dev_free(struct fuse_dev *fud);
1075 void fuse_send_init(struct fuse_mount *fm);
1076
1077 /**
1078  * Fill in superblock and initialize fuse connection
1079  * @sb: partially-initialized superblock to fill in
1080  * @ctx: mount context
1081  */
1082 int fuse_fill_super_common(struct super_block *sb, struct fuse_fs_context *ctx);
1083
1084 /*
1085  * Fill in superblock for submounts
1086  * @sb: partially-initialized superblock to fill in
1087  * @parent_fi: The fuse_inode of the parent filesystem where this submount is
1088  *             mounted
1089  */
1090 int fuse_fill_super_submount(struct super_block *sb,
1091                              struct fuse_inode *parent_fi);
1092
1093 /*
1094  * Remove the mount from the connection
1095  *
1096  * Returns whether this was the last mount
1097  */
1098 bool fuse_mount_remove(struct fuse_mount *fm);
1099
1100 /*
1101  * Shut down the connection (possibly sending DESTROY request).
1102  */
1103 void fuse_conn_destroy(struct fuse_mount *fm);
1104
1105 /**
1106  * Add connection to control filesystem
1107  */
1108 int fuse_ctl_add_conn(struct fuse_conn *fc);
1109
1110 /**
1111  * Remove connection from control filesystem
1112  */
1113 void fuse_ctl_remove_conn(struct fuse_conn *fc);
1114
1115 /**
1116  * Is file type valid?
1117  */
1118 int fuse_valid_type(int m);
1119
1120 bool fuse_invalid_attr(struct fuse_attr *attr);
1121
1122 /**
1123  * Is current process allowed to perform filesystem operation?
1124  */
1125 int fuse_allow_current_process(struct fuse_conn *fc);
1126
1127 u64 fuse_lock_owner_id(struct fuse_conn *fc, fl_owner_t id);
1128
1129 void fuse_update_ctime(struct inode *inode);
1130
1131 int fuse_update_attributes(struct inode *inode, struct file *file);
1132
1133 void fuse_flush_writepages(struct inode *inode);
1134
1135 void fuse_set_nowrite(struct inode *inode);
1136 void fuse_release_nowrite(struct inode *inode);
1137
1138 /**
1139  * Scan all fuse_mounts belonging to fc to find the first where
1140  * ilookup5() returns a result.  Return that result and the
1141  * respective fuse_mount in *fm (unless fm is NULL).
1142  *
1143  * The caller must hold fc->killsb.
1144  */
1145 struct inode *fuse_ilookup(struct fuse_conn *fc, u64 nodeid,
1146                            struct fuse_mount **fm);
1147
1148 /**
1149  * File-system tells the kernel to invalidate cache for the given node id.
1150  */
1151 int fuse_reverse_inval_inode(struct fuse_conn *fc, u64 nodeid,
1152                              loff_t offset, loff_t len);
1153
1154 /**
1155  * File-system tells the kernel to invalidate parent attributes and
1156  * the dentry matching parent/name.
1157  *
1158  * If the child_nodeid is non-zero and:
1159  *    - matches the inode number for the dentry matching parent/name,
1160  *    - is not a mount point
1161  *    - is a file or oan empty directory
1162  * then the dentry is unhashed (d_delete()).
1163  */
1164 int fuse_reverse_inval_entry(struct fuse_conn *fc, u64 parent_nodeid,
1165                              u64 child_nodeid, struct qstr *name);
1166
1167 int fuse_do_open(struct fuse_mount *fm, u64 nodeid, struct file *file,
1168                  bool isdir);
1169
1170 /**
1171  * fuse_direct_io() flags
1172  */
1173
1174 /** If set, it is WRITE; otherwise - READ */
1175 #define FUSE_DIO_WRITE (1 << 0)
1176
1177 /** CUSE pass fuse_direct_io() a file which f_mapping->host is not from FUSE */
1178 #define FUSE_DIO_CUSE  (1 << 1)
1179
1180 ssize_t fuse_direct_io(struct fuse_io_priv *io, struct iov_iter *iter,
1181                        loff_t *ppos, int flags);
1182 long fuse_do_ioctl(struct file *file, unsigned int cmd, unsigned long arg,
1183                    unsigned int flags);
1184 long fuse_ioctl_common(struct file *file, unsigned int cmd,
1185                        unsigned long arg, unsigned int flags);
1186 __poll_t fuse_file_poll(struct file *file, poll_table *wait);
1187 int fuse_dev_release(struct inode *inode, struct file *file);
1188
1189 bool fuse_write_update_size(struct inode *inode, loff_t pos);
1190
1191 int fuse_flush_times(struct inode *inode, struct fuse_file *ff);
1192 int fuse_write_inode(struct inode *inode, struct writeback_control *wbc);
1193
1194 int fuse_do_setattr(struct dentry *dentry, struct iattr *attr,
1195                     struct file *file);
1196
1197 void fuse_set_initialized(struct fuse_conn *fc);
1198
1199 void fuse_unlock_inode(struct inode *inode, bool locked);
1200 bool fuse_lock_inode(struct inode *inode);
1201
1202 int fuse_setxattr(struct inode *inode, const char *name, const void *value,
1203                   size_t size, int flags, unsigned int extra_flags);
1204 ssize_t fuse_getxattr(struct inode *inode, const char *name, void *value,
1205                       size_t size);
1206 ssize_t fuse_listxattr(struct dentry *entry, char *list, size_t size);
1207 int fuse_removexattr(struct inode *inode, const char *name);
1208 extern const struct xattr_handler *fuse_xattr_handlers[];
1209 extern const struct xattr_handler *fuse_acl_xattr_handlers[];
1210 extern const struct xattr_handler *fuse_no_acl_xattr_handlers[];
1211
1212 struct posix_acl;
1213 struct posix_acl *fuse_get_acl(struct inode *inode, int type);
1214 int fuse_set_acl(struct user_namespace *mnt_userns, struct inode *inode,
1215                  struct posix_acl *acl, int type);
1216
1217 /* readdir.c */
1218 int fuse_readdir(struct file *file, struct dir_context *ctx);
1219
1220 /**
1221  * Return the number of bytes in an arguments list
1222  */
1223 unsigned int fuse_len_args(unsigned int numargs, struct fuse_arg *args);
1224
1225 /**
1226  * Get the next unique ID for a request
1227  */
1228 u64 fuse_get_unique(struct fuse_iqueue *fiq);
1229 void fuse_free_conn(struct fuse_conn *fc);
1230
1231 /* dax.c */
1232
1233 #define FUSE_IS_DAX(inode) (IS_ENABLED(CONFIG_FUSE_DAX) && IS_DAX(inode))
1234
1235 ssize_t fuse_dax_read_iter(struct kiocb *iocb, struct iov_iter *to);
1236 ssize_t fuse_dax_write_iter(struct kiocb *iocb, struct iov_iter *from);
1237 int fuse_dax_mmap(struct file *file, struct vm_area_struct *vma);
1238 int fuse_dax_break_layouts(struct inode *inode, u64 dmap_start, u64 dmap_end);
1239 int fuse_dax_conn_alloc(struct fuse_conn *fc, struct dax_device *dax_dev);
1240 void fuse_dax_conn_free(struct fuse_conn *fc);
1241 bool fuse_dax_inode_alloc(struct super_block *sb, struct fuse_inode *fi);
1242 void fuse_dax_inode_init(struct inode *inode);
1243 void fuse_dax_inode_cleanup(struct inode *inode);
1244 bool fuse_dax_check_alignment(struct fuse_conn *fc, unsigned int map_alignment);
1245 void fuse_dax_cancel_work(struct fuse_conn *fc);
1246
1247 /* ioctl.c */
1248 long fuse_file_ioctl(struct file *file, unsigned int cmd, unsigned long arg);
1249 long fuse_file_compat_ioctl(struct file *file, unsigned int cmd,
1250                             unsigned long arg);
1251 int fuse_fileattr_get(struct dentry *dentry, struct fileattr *fa);
1252 int fuse_fileattr_set(struct user_namespace *mnt_userns,
1253                       struct dentry *dentry, struct fileattr *fa);
1254
1255 /* file.c */
1256
1257 struct fuse_file *fuse_file_open(struct fuse_mount *fm, u64 nodeid,
1258                                  unsigned int open_flags, bool isdir);
1259 void fuse_file_release(struct inode *inode, struct fuse_file *ff,
1260                        unsigned int open_flags, fl_owner_t id, bool isdir);
1261
1262 #endif /* _FS_FUSE_I_H */