fs/crypto/fscrypt_private.h

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 /*
   3  * fscrypt_private.h
   4  *
   5  * Copyright (C) 2015, Google, Inc.
   6  *
   7  * Originally written by Michael Halcrow, Ildar Muslukhov, and Uday Savagaonkar.
   8  * Heavily modified since then.
   9  */
  10
  11 #ifndef _FSCRYPT_PRIVATE_H
  12 #define _FSCRYPT_PRIVATE_H
  13
  14 #include <linux/fscrypt.h>
  15 #include <linux/siphash.h>
  16 #include <crypto/hash.h>
  17 #include <linux/blk-crypto.h>
  18
  19 #define CONST_STRLEN(str)       (sizeof(str) - 1)
  20
  21 #define FSCRYPT_FILE_NONCE_SIZE 16
  22
  23 #define FSCRYPT_MIN_KEY_SIZE    16
  24
  25 #define FSCRYPT_CONTEXT_V1      1
  26 #define FSCRYPT_CONTEXT_V2      2
  27
  28 struct fscrypt_context_v1 {
  29         u8 version; /* FSCRYPT_CONTEXT_V1 */
  30         u8 contents_encryption_mode;
  31         u8 filenames_encryption_mode;
  32         u8 flags;
  33         u8 master_key_descriptor[FSCRYPT_KEY_DESCRIPTOR_SIZE];
  34         u8 nonce[FSCRYPT_FILE_NONCE_SIZE];
  35 };
  36
  37 struct fscrypt_context_v2 {
  38         u8 version; /* FSCRYPT_CONTEXT_V2 */
  39         u8 contents_encryption_mode;
  40         u8 filenames_encryption_mode;
  41         u8 flags;
  42         u8 __reserved[4];
  43         u8 master_key_identifier[FSCRYPT_KEY_IDENTIFIER_SIZE];
  44         u8 nonce[FSCRYPT_FILE_NONCE_SIZE];
  45 };
  46
  47 /*
  48  * fscrypt_context - the encryption context of an inode
  49  *
  50  * This is the on-disk equivalent of an fscrypt_policy, stored alongside each
  51  * encrypted file usually in a hidden extended attribute.  It contains the
  52  * fields from the fscrypt_policy, in order to identify the encryption algorithm
  53  * and key with which the file is encrypted.  It also contains a nonce that was
  54  * randomly generated by fscrypt itself; this is used as KDF input or as a tweak
  55  * to cause different files to be encrypted differently.
  56  */
  57 union fscrypt_context {
  58         u8 version;
  59         struct fscrypt_context_v1 v1;
  60         struct fscrypt_context_v2 v2;
  61 };
  62
  63 /*
  64  * Return the size expected for the given fscrypt_context based on its version
  65  * number, or 0 if the context version is unrecognized.
  66  */
  67 static inline int fscrypt_context_size(const union fscrypt_context *ctx)
  68 {
  69         switch (ctx->version) {
  70         case FSCRYPT_CONTEXT_V1:
  71                 BUILD_BUG_ON(sizeof(ctx->v1) != 28);
  72                 return sizeof(ctx->v1);
  73         case FSCRYPT_CONTEXT_V2:
  74                 BUILD_BUG_ON(sizeof(ctx->v2) != 40);
  75                 return sizeof(ctx->v2);
  76         }
  77         return 0;
  78 }
  79
  80 /* Check whether an fscrypt_context has a recognized version number and size */
  81 static inline bool fscrypt_context_is_valid(const union fscrypt_context *ctx,
  82                                             int ctx_size)
  83 {
  84         return ctx_size >= 1 && ctx_size == fscrypt_context_size(ctx);
  85 }
  86
  87 /* Retrieve the context's nonce, assuming the context was already validated */
  88 static inline const u8 *fscrypt_context_nonce(const union fscrypt_context *ctx)
  89 {
  90         switch (ctx->version) {
  91         case FSCRYPT_CONTEXT_V1:
  92                 return ctx->v1.nonce;
  93         case FSCRYPT_CONTEXT_V2:
  94                 return ctx->v2.nonce;
  95         }
  96         WARN_ON(1);
  97         return NULL;
  98 }
  99
 100 #undef fscrypt_policy
 101 union fscrypt_policy {
 102         u8 version;
 103         struct fscrypt_policy_v1 v1;
 104         struct fscrypt_policy_v2 v2;
 105 };
 106
 107 /*
 108  * Return the size expected for the given fscrypt_policy based on its version
 109  * number, or 0 if the policy version is unrecognized.
 110  */
 111 static inline int fscrypt_policy_size(const union fscrypt_policy *policy)
 112 {
 113         switch (policy->version) {
 114         case FSCRYPT_POLICY_V1:
 115                 return sizeof(policy->v1);
 116         case FSCRYPT_POLICY_V2:
 117                 return sizeof(policy->v2);
 118         }
 119         return 0;
 120 }
 121
 122 /* Return the contents encryption mode of a valid encryption policy */
 123 static inline u8
 124 fscrypt_policy_contents_mode(const union fscrypt_policy *policy)
 125 {
 126         switch (policy->version) {
 127         case FSCRYPT_POLICY_V1:
 128                 return policy->v1.contents_encryption_mode;
 129         case FSCRYPT_POLICY_V2:
 130                 return policy->v2.contents_encryption_mode;
 131         }
 132         BUG();
 133 }
 134
 135 /* Return the filenames encryption mode of a valid encryption policy */
 136 static inline u8
 137 fscrypt_policy_fnames_mode(const union fscrypt_policy *policy)
 138 {
 139         switch (policy->version) {
 140         case FSCRYPT_POLICY_V1:
 141                 return policy->v1.filenames_encryption_mode;
 142         case FSCRYPT_POLICY_V2:
 143                 return policy->v2.filenames_encryption_mode;
 144         }
 145         BUG();
 146 }
 147
 148 /* Return the flags (FSCRYPT_POLICY_FLAG*) of a valid encryption policy */
 149 static inline u8
 150 fscrypt_policy_flags(const union fscrypt_policy *policy)
 151 {
 152         switch (policy->version) {
 153         case FSCRYPT_POLICY_V1:
 154                 return policy->v1.flags;
 155         case FSCRYPT_POLICY_V2:
 156                 return policy->v2.flags;
 157         }
 158         BUG();
 159 }
 160
 161 /*
 162  * For encrypted symlinks, the ciphertext length is stored at the beginning
 163  * of the string in little-endian format.
 164  */
 165 struct fscrypt_symlink_data {
 166         __le16 len;
 167         char encrypted_path[1];
 168 } __packed;
 169
 170 /**
 171  * struct fscrypt_prepared_key - a key prepared for actual encryption/decryption
 172  * @tfm: crypto API transform object
 173  * @blk_key: key for blk-crypto
 174  *
 175  * Normally only one of the fields will be non-NULL.
 176  */
 177 struct fscrypt_prepared_key {
 178         struct crypto_skcipher *tfm;
 179 #ifdef CONFIG_FS_ENCRYPTION_INLINE_CRYPT
 180         struct fscrypt_blk_crypto_key *blk_key;
 181 #endif
 182 };
 183
 184 /*
 185  * fscrypt_info - the "encryption key" for an inode
 186  *
 187  * When an encrypted file's key is made available, an instance of this struct is
 188  * allocated and stored in ->i_crypt_info.  Once created, it remains until the
 189  * inode is evicted.
 190  */
 191 struct fscrypt_info {
 192
 193         /* The key in a form prepared for actual encryption/decryption */
 194         struct fscrypt_prepared_key ci_enc_key;
 195
 196         /* True if ci_enc_key should be freed when this fscrypt_info is freed */
 197         bool ci_owns_key;
 198
 199 #ifdef CONFIG_FS_ENCRYPTION_INLINE_CRYPT
 200         /*
 201          * True if this inode will use inline encryption (blk-crypto) instead of
 202          * the traditional filesystem-layer encryption.
 203          */
 204         bool ci_inlinecrypt;
 205 #endif
 206
 207         /*
 208          * Encryption mode used for this inode.  It corresponds to either the
 209          * contents or filenames encryption mode, depending on the inode type.
 210          */
 211         struct fscrypt_mode *ci_mode;
 212
 213         /* Back-pointer to the inode */
 214         struct inode *ci_inode;
 215
 216         /*
 217          * The master key with which this inode was unlocked (decrypted).  This
 218          * will be NULL if the master key was found in a process-subscribed
 219          * keyring rather than in the filesystem-level keyring.
 220          */
 221         struct key *ci_master_key;
 222
 223         /*
 224          * Link in list of inodes that were unlocked with the master key.
 225          * Only used when ->ci_master_key is set.
 226          */
 227         struct list_head ci_master_key_link;
 228
 229         /*
 230          * If non-NULL, then encryption is done using the master key directly
 231          * and ci_enc_key will equal ci_direct_key->dk_key.
 232          */
 233         struct fscrypt_direct_key *ci_direct_key;
 234
 235         /*
 236          * This inode's hash key for filenames.  This is a 128-bit SipHash-2-4
 237          * key.  This is only set for directories that use a keyed dirhash over
 238          * the plaintext filenames -- currently just casefolded directories.
 239          */
 240         siphash_key_t ci_dirhash_key;
 241         bool ci_dirhash_key_initialized;
 242
 243         /* The encryption policy used by this inode */
 244         union fscrypt_policy ci_policy;
 245
 246         /* This inode's nonce, copied from the fscrypt_context */
 247         u8 ci_nonce[FSCRYPT_FILE_NONCE_SIZE];
 248
 249         /* Hashed inode number.  Only set for IV_INO_LBLK_32 */
 250         u32 ci_hashed_ino;
 251 };
 252
 253 typedef enum {
 254         FS_DECRYPT = 0,
 255         FS_ENCRYPT,
 256 } fscrypt_direction_t;
 257
 258 /* crypto.c */
 259 extern struct kmem_cache *fscrypt_info_cachep;
 260 int fscrypt_initialize(unsigned int cop_flags);
 261 int fscrypt_crypt_block(const struct inode *inode, fscrypt_direction_t rw,
 262                         u64 lblk_num, struct page *src_page,
 263                         struct page *dest_page, unsigned int len,
 264                         unsigned int offs, gfp_t gfp_flags);
 265 struct page *fscrypt_alloc_bounce_page(gfp_t gfp_flags);
 266
 267 void __printf(3, 4) __cold
 268 fscrypt_msg(const struct inode *inode, const char *level, const char *fmt, ...);
 269
 270 #define fscrypt_warn(inode, fmt, ...)           \
 271         fscrypt_msg((inode), KERN_WARNING, fmt, ##__VA_ARGS__)
 272 #define fscrypt_err(inode, fmt, ...)            \
 273         fscrypt_msg((inode), KERN_ERR, fmt, ##__VA_ARGS__)
 274
 275 #define FSCRYPT_MAX_IV_SIZE     32
 276
 277 union fscrypt_iv {
 278         struct {
 279                 /* logical block number within the file */
 280                 __le64 lblk_num;
 281
 282                 /* per-file nonce; only set in DIRECT_KEY mode */
 283                 u8 nonce[FSCRYPT_FILE_NONCE_SIZE];
 284         };
 285         u8 raw[FSCRYPT_MAX_IV_SIZE];
 286         __le64 dun[FSCRYPT_MAX_IV_SIZE / sizeof(__le64)];
 287 };
 288
 289 void fscrypt_generate_iv(union fscrypt_iv *iv, u64 lblk_num,
 290                          const struct fscrypt_info *ci);
 291
 292 /* fname.c */
 293 int fscrypt_fname_encrypt(const struct inode *inode, const struct qstr *iname,
 294                           u8 *out, unsigned int olen);
 295 bool fscrypt_fname_encrypted_size(const struct inode *inode, u32 orig_len,
 296                                   u32 max_len, u32 *encrypted_len_ret);
 297 extern const struct dentry_operations fscrypt_d_ops;
 298
 299 /* hkdf.c */
 300
 301 struct fscrypt_hkdf {
 302         struct crypto_shash *hmac_tfm;
 303 };
 304
 305 int fscrypt_init_hkdf(struct fscrypt_hkdf *hkdf, const u8 *master_key,
 306                       unsigned int master_key_size);
 307
 308 /*
 309  * The list of contexts in which fscrypt uses HKDF.  These values are used as
 310  * the first byte of the HKDF application-specific info string to guarantee that
 311  * info strings are never repeated between contexts.  This ensures that all HKDF
 312  * outputs are unique and cryptographically isolated, i.e. knowledge of one
 313  * output doesn't reveal another.
 314  */
 315 #define HKDF_CONTEXT_KEY_IDENTIFIER     1 /* info=<empty>               */
 316 #define HKDF_CONTEXT_PER_FILE_ENC_KEY   2 /* info=file_nonce            */
 317 #define HKDF_CONTEXT_DIRECT_KEY         3 /* info=mode_num              */
 318 #define HKDF_CONTEXT_IV_INO_LBLK_64_KEY 4 /* info=mode_num||fs_uuid     */
 319 #define HKDF_CONTEXT_DIRHASH_KEY        5 /* info=file_nonce            */
 320 #define HKDF_CONTEXT_IV_INO_LBLK_32_KEY 6 /* info=mode_num||fs_uuid     */
 321 #define HKDF_CONTEXT_INODE_HASH_KEY     7 /* info=<empty>               */
 322
 323 int fscrypt_hkdf_expand(const struct fscrypt_hkdf *hkdf, u8 context,
 324                         const u8 *info, unsigned int infolen,
 325                         u8 *okm, unsigned int okmlen);
 326
 327 void fscrypt_destroy_hkdf(struct fscrypt_hkdf *hkdf);
 328
 329 /* inline_crypt.c */
 330 #ifdef CONFIG_FS_ENCRYPTION_INLINE_CRYPT
 331 int fscrypt_select_encryption_impl(struct fscrypt_info *ci);
 332
 333 static inline bool
 334 fscrypt_using_inline_encryption(const struct fscrypt_info *ci)
 335 {
 336         return ci->ci_inlinecrypt;
 337 }
 338
 339 int fscrypt_prepare_inline_crypt_key(struct fscrypt_prepared_key *prep_key,
 340                                      const u8 *raw_key,
 341                                      const struct fscrypt_info *ci);
 342
 343 void fscrypt_destroy_inline_crypt_key(struct fscrypt_prepared_key *prep_key);
 344
 345 /*
 346  * Check whether the crypto transform or blk-crypto key has been allocated in
 347  * @prep_key, depending on which encryption implementation the file will use.
 348  */
 349 static inline bool
 350 fscrypt_is_key_prepared(struct fscrypt_prepared_key *prep_key,
 351                         const struct fscrypt_info *ci)
 352 {
 353         /*
 354          * The two smp_load_acquire()'s here pair with the smp_store_release()'s
 355          * in fscrypt_prepare_inline_crypt_key() and fscrypt_prepare_key().
 356          * I.e., in some cases (namely, if this prep_key is a per-mode
 357          * encryption key) another task can publish blk_key or tfm concurrently,
 358          * executing a RELEASE barrier.  We need to use smp_load_acquire() here
 359          * to safely ACQUIRE the memory the other task published.
 360          */
 361         if (fscrypt_using_inline_encryption(ci))
 362                 return smp_load_acquire(&prep_key->blk_key) != NULL;
 363         return smp_load_acquire(&prep_key->tfm) != NULL;
 364 }
 365
 366 #else /* CONFIG_FS_ENCRYPTION_INLINE_CRYPT */
 367
 368 static inline int fscrypt_select_encryption_impl(struct fscrypt_info *ci)
 369 {
 370         return 0;
 371 }
 372
 373 static inline bool
 374 fscrypt_using_inline_encryption(const struct fscrypt_info *ci)
 375 {
 376         return false;
 377 }
 378
 379 static inline int
 380 fscrypt_prepare_inline_crypt_key(struct fscrypt_prepared_key *prep_key,
 381                                  const u8 *raw_key,
 382                                  const struct fscrypt_info *ci)
 383 {
 384         WARN_ON(1);
 385         return -EOPNOTSUPP;
 386 }
 387
 388 static inline void
 389 fscrypt_destroy_inline_crypt_key(struct fscrypt_prepared_key *prep_key)
 390 {
 391 }
 392
 393 static inline bool
 394 fscrypt_is_key_prepared(struct fscrypt_prepared_key *prep_key,
 395                         const struct fscrypt_info *ci)
 396 {
 397         return smp_load_acquire(&prep_key->tfm) != NULL;
 398 }
 399 #endif /* !CONFIG_FS_ENCRYPTION_INLINE_CRYPT */
 400
 401 /* keyring.c */
 402
 403 /*
 404  * fscrypt_master_key_secret - secret key material of an in-use master key
 405  */
 406 struct fscrypt_master_key_secret {
 407
 408         /*
 409          * For v2 policy keys: HKDF context keyed by this master key.
 410          * For v1 policy keys: not set (hkdf.hmac_tfm == NULL).
 411          */
 412         struct fscrypt_hkdf     hkdf;
 413
 414         /* Size of the raw key in bytes.  Set even if ->raw isn't set. */
 415         u32                     size;
 416
 417         /* For v1 policy keys: the raw key.  Wiped for v2 policy keys. */
 418         u8                      raw[FSCRYPT_MAX_KEY_SIZE];
 419
 420 } __randomize_layout;
 421
 422 /*
 423  * fscrypt_master_key - an in-use master key
 424  *
 425  * This represents a master encryption key which has been added to the
 426  * filesystem and can be used to "unlock" the encrypted files which were
 427  * encrypted with it.
 428  */
 429 struct fscrypt_master_key {
 430
 431         /*
 432          * The secret key material.  After FS_IOC_REMOVE_ENCRYPTION_KEY is
 433          * executed, this is wiped and no new inodes can be unlocked with this
 434          * key; however, there may still be inodes in ->mk_decrypted_inodes
 435          * which could not be evicted.  As long as some inodes still remain,
 436          * FS_IOC_REMOVE_ENCRYPTION_KEY can be retried, or
 437          * FS_IOC_ADD_ENCRYPTION_KEY can add the secret again.
 438          *
 439          * Locking: protected by key->sem (outer) and mk_secret_sem (inner).
 440          * The reason for two locks is that key->sem also protects modifying
 441          * mk_users, which ranks it above the semaphore for the keyring key
 442          * type, which is in turn above page faults (via keyring_read).  But
 443          * sometimes filesystems call fscrypt_get_encryption_info() from within
 444          * a transaction, which ranks it below page faults.  So we need a
 445          * separate lock which protects mk_secret but not also mk_users.
 446          */
 447         struct fscrypt_master_key_secret        mk_secret;
 448         struct rw_semaphore                     mk_secret_sem;
 449
 450         /*
 451          * For v1 policy keys: an arbitrary key descriptor which was assigned by
 452          * userspace (->descriptor).
 453          *
 454          * For v2 policy keys: a cryptographic hash of this key (->identifier).
 455          */
 456         struct fscrypt_key_specifier            mk_spec;
 457
 458         /*
 459          * Keyring which contains a key of type 'key_type_fscrypt_user' for each
 460          * user who has added this key.  Normally each key will be added by just
 461          * one user, but it's possible that multiple users share a key, and in
 462          * that case we need to keep track of those users so that one user can't
 463          * remove the key before the others want it removed too.
 464          *
 465          * This is NULL for v1 policy keys; those can only be added by root.
 466          *
 467          * Locking: in addition to this keyrings own semaphore, this is
 468          * protected by the master key's key->sem, so we can do atomic
 469          * search+insert.  It can also be searched without taking any locks, but
 470          * in that case the returned key may have already been removed.
 471          */
 472         struct key              *mk_users;
 473
 474         /*
 475          * Length of ->mk_decrypted_inodes, plus one if mk_secret is present.
 476          * Once this goes to 0, the master key is removed from ->s_master_keys.
 477          * The 'struct fscrypt_master_key' will continue to live as long as the
 478          * 'struct key' whose payload it is, but we won't let this reference
 479          * count rise again.
 480          */
 481         refcount_t              mk_refcount;
 482
 483         /*
 484          * List of inodes that were unlocked using this key.  This allows the
 485          * inodes to be evicted efficiently if the key is removed.
 486          */
 487         struct list_head        mk_decrypted_inodes;
 488         spinlock_t              mk_decrypted_inodes_lock;
 489
 490         /*
 491          * Per-mode encryption keys for the various types of encryption policies
 492          * that use them.  Allocated and derived on-demand.
 493          */
 494         struct fscrypt_prepared_key mk_direct_keys[__FSCRYPT_MODE_MAX + 1];
 495         struct fscrypt_prepared_key mk_iv_ino_lblk_64_keys[__FSCRYPT_MODE_MAX + 1];
 496         struct fscrypt_prepared_key mk_iv_ino_lblk_32_keys[__FSCRYPT_MODE_MAX + 1];
 497
 498         /* Hash key for inode numbers.  Initialized only when needed. */
 499         siphash_key_t           mk_ino_hash_key;
 500         bool                    mk_ino_hash_key_initialized;
 501
 502 } __randomize_layout;
 503
 504 static inline bool
 505 is_master_key_secret_present(const struct fscrypt_master_key_secret *secret)
 506 {
 507         /*
 508          * The READ_ONCE() is only necessary for fscrypt_drop_inode() and
 509          * fscrypt_key_describe().  These run in atomic context, so they can't
 510          * take ->mk_secret_sem and thus 'secret' can change concurrently which
 511          * would be a data race.  But they only need to know whether the secret
 512          * *was* present at the time of check, so READ_ONCE() suffices.
 513          */
 514         return READ_ONCE(secret->size) != 0;
 515 }
 516
 517 static inline const char *master_key_spec_type(
 518                                 const struct fscrypt_key_specifier *spec)
 519 {
 520         switch (spec->type) {
 521         case FSCRYPT_KEY_SPEC_TYPE_DESCRIPTOR:
 522                 return "descriptor";
 523         case FSCRYPT_KEY_SPEC_TYPE_IDENTIFIER:
 524                 return "identifier";
 525         }
 526         return "[unknown]";
 527 }
 528
 529 static inline int master_key_spec_len(const struct fscrypt_key_specifier *spec)
 530 {
 531         switch (spec->type) {
 532         case FSCRYPT_KEY_SPEC_TYPE_DESCRIPTOR:
 533                 return FSCRYPT_KEY_DESCRIPTOR_SIZE;
 534         case FSCRYPT_KEY_SPEC_TYPE_IDENTIFIER:
 535                 return FSCRYPT_KEY_IDENTIFIER_SIZE;
 536         }
 537         return 0;
 538 }
 539
 540 struct key *
 541 fscrypt_find_master_key(struct super_block *sb,
 542                         const struct fscrypt_key_specifier *mk_spec);
 543
 544 int fscrypt_add_test_dummy_key(struct super_block *sb,
 545                                struct fscrypt_key_specifier *key_spec);
 546
 547 int fscrypt_verify_key_added(struct super_block *sb,
 548                              const u8 identifier[FSCRYPT_KEY_IDENTIFIER_SIZE]);
 549
 550 int __init fscrypt_init_keyring(void);
 551
 552 /* keysetup.c */
 553
 554 struct fscrypt_mode {
 555         const char *friendly_name;
 556         const char *cipher_str;
 557         int keysize;
 558         int ivsize;
 559         int logged_impl_name;
 560         enum blk_crypto_mode_num blk_crypto_mode;
 561 };
 562
 563 extern struct fscrypt_mode fscrypt_modes[];
 564
 565 int fscrypt_prepare_key(struct fscrypt_prepared_key *prep_key,
 566                         const u8 *raw_key, const struct fscrypt_info *ci);
 567
 568 void fscrypt_destroy_prepared_key(struct fscrypt_prepared_key *prep_key);
 569
 570 int fscrypt_set_per_file_enc_key(struct fscrypt_info *ci, const u8 *raw_key);
 571
 572 int fscrypt_derive_dirhash_key(struct fscrypt_info *ci,
 573                                const struct fscrypt_master_key *mk);
 574
 575 /* keysetup_v1.c */
 576
 577 void fscrypt_put_direct_key(struct fscrypt_direct_key *dk);
 578
 579 int fscrypt_setup_v1_file_key(struct fscrypt_info *ci,
 580                               const u8 *raw_master_key);
 581
 582 int fscrypt_setup_v1_file_key_via_subscribed_keyrings(struct fscrypt_info *ci);
 583
 584 /* policy.c */
 585
 586 bool fscrypt_policies_equal(const union fscrypt_policy *policy1,
 587                             const union fscrypt_policy *policy2);
 588 bool fscrypt_supported_policy(const union fscrypt_policy *policy_u,
 589                               const struct inode *inode);
 590 int fscrypt_policy_from_context(union fscrypt_policy *policy_u,
 591                                 const union fscrypt_context *ctx_u,
 592                                 int ctx_size);
 593
 594 #endif /* _FSCRYPT_PRIVATE_H */