drivers/gpu/drm/amd/amdgpu/amdgpu_vm_pt.c

   1 // SPDX-License-Identifier: GPL-2.0 OR MIT
   2 /*
   3  * Copyright 2022 Advanced Micro Devices, Inc.
   4  *
   5  * Permission is hereby granted, free of charge, to any person obtaining a
   6  * copy of this software and associated documentation files (the "Software"),
   7  * to deal in the Software without restriction, including without limitation
   8  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
   9  * and/or sell copies of the Software, and to permit persons to whom the
  10  * Software is furnished to do so, subject to the following conditions:
  11  *
  12  * The above copyright notice and this permission notice shall be included in
  13  * all copies or substantial portions of the Software.
  14  *
  15  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  16  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  17  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL
  18  * THE COPYRIGHT HOLDER(S) OR AUTHOR(S) BE LIABLE FOR ANY CLAIM, DAMAGES OR
  19  * OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE,
  20  * ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR
  21  * OTHER DEALINGS IN THE SOFTWARE.
  22  */
  23
  24 #include <drm/drm_drv.h>
  25
  26 #include "amdgpu.h"
  27 #include "amdgpu_trace.h"
  28 #include "amdgpu_vm.h"
  29
  30 /*
  31  * amdgpu_vm_pt_cursor - state for for_each_amdgpu_vm_pt
  32  */
  33 struct amdgpu_vm_pt_cursor {
  34         uint64_t pfn;
  35         struct amdgpu_vm_bo_base *parent;
  36         struct amdgpu_vm_bo_base *entry;
  37         unsigned int level;
  38 };
  39
  40 /**
  41  * amdgpu_vm_pt_level_shift - return the addr shift for each level
  42  *
  43  * @adev: amdgpu_device pointer
  44  * @level: VMPT level
  45  *
  46  * Returns:
  47  * The number of bits the pfn needs to be right shifted for a level.
  48  */
  49 static unsigned int amdgpu_vm_pt_level_shift(struct amdgpu_device *adev,
  50                                              unsigned int level)
  51 {
  52         switch (level) {
  53         case AMDGPU_VM_PDB2:
  54         case AMDGPU_VM_PDB1:
  55         case AMDGPU_VM_PDB0:
  56                 return 9 * (AMDGPU_VM_PDB0 - level) +
  57                         adev->vm_manager.block_size;
  58         case AMDGPU_VM_PTB:
  59                 return 0;
  60         default:
  61                 return ~0;
  62         }
  63 }
  64
  65 /**
  66  * amdgpu_vm_pt_num_entries - return the number of entries in a PD/PT
  67  *
  68  * @adev: amdgpu_device pointer
  69  * @level: VMPT level
  70  *
  71  * Returns:
  72  * The number of entries in a page directory or page table.
  73  */
  74 static unsigned int amdgpu_vm_pt_num_entries(struct amdgpu_device *adev,
  75                                              unsigned int level)
  76 {
  77         unsigned int shift;
  78
  79         shift = amdgpu_vm_pt_level_shift(adev, adev->vm_manager.root_level);
  80         if (level == adev->vm_manager.root_level)
  81                 /* For the root directory */
  82                 return round_up(adev->vm_manager.max_pfn, 1ULL << shift)
  83                         >> shift;
  84         else if (level != AMDGPU_VM_PTB)
  85                 /* Everything in between */
  86                 return 512;
  87
  88         /* For the page tables on the leaves */
  89         return AMDGPU_VM_PTE_COUNT(adev);
  90 }
  91
  92 /**
  93  * amdgpu_vm_pt_num_ats_entries - return the number of ATS entries in the root PD
  94  *
  95  * @adev: amdgpu_device pointer
  96  *
  97  * Returns:
  98  * The number of entries in the root page directory which needs the ATS setting.
  99  */
 100 static unsigned int amdgpu_vm_pt_num_ats_entries(struct amdgpu_device *adev)
 101 {
 102         unsigned int shift;
 103
 104         shift = amdgpu_vm_pt_level_shift(adev, adev->vm_manager.root_level);
 105         return AMDGPU_GMC_HOLE_START >> (shift + AMDGPU_GPU_PAGE_SHIFT);
 106 }
 107
 108 /**
 109  * amdgpu_vm_pt_entries_mask - the mask to get the entry number of a PD/PT
 110  *
 111  * @adev: amdgpu_device pointer
 112  * @level: VMPT level
 113  *
 114  * Returns:
 115  * The mask to extract the entry number of a PD/PT from an address.
 116  */
 117 static uint32_t amdgpu_vm_pt_entries_mask(struct amdgpu_device *adev,
 118                                           unsigned int level)
 119 {
 120         if (level <= adev->vm_manager.root_level)
 121                 return 0xffffffff;
 122         else if (level != AMDGPU_VM_PTB)
 123                 return 0x1ff;
 124         else
 125                 return AMDGPU_VM_PTE_COUNT(adev) - 1;
 126 }
 127
 128 /**
 129  * amdgpu_vm_pt_size - returns the size of the page table in bytes
 130  *
 131  * @adev: amdgpu_device pointer
 132  * @level: VMPT level
 133  *
 134  * Returns:
 135  * The size of the BO for a page directory or page table in bytes.
 136  */
 137 static unsigned int amdgpu_vm_pt_size(struct amdgpu_device *adev,
 138                                       unsigned int level)
 139 {
 140         return AMDGPU_GPU_PAGE_ALIGN(amdgpu_vm_pt_num_entries(adev, level) * 8);
 141 }
 142
 143 /**
 144  * amdgpu_vm_pt_parent - get the parent page directory
 145  *
 146  * @pt: child page table
 147  *
 148  * Helper to get the parent entry for the child page table. NULL if we are at
 149  * the root page directory.
 150  */
 151 static struct amdgpu_vm_bo_base *
 152 amdgpu_vm_pt_parent(struct amdgpu_vm_bo_base *pt)
 153 {
 154         struct amdgpu_bo *parent = pt->bo->parent;
 155
 156         if (!parent)
 157                 return NULL;
 158
 159         return parent->vm_bo;
 160 }
 161
 162 /**
 163  * amdgpu_vm_pt_start - start PD/PT walk
 164  *
 165  * @adev: amdgpu_device pointer
 166  * @vm: amdgpu_vm structure
 167  * @start: start address of the walk
 168  * @cursor: state to initialize
 169  *
 170  * Initialize a amdgpu_vm_pt_cursor to start a walk.
 171  */
 172 static void amdgpu_vm_pt_start(struct amdgpu_device *adev,
 173                                struct amdgpu_vm *vm, uint64_t start,
 174                                struct amdgpu_vm_pt_cursor *cursor)
 175 {
 176         cursor->pfn = start;
 177         cursor->parent = NULL;
 178         cursor->entry = &vm->root;
 179         cursor->level = adev->vm_manager.root_level;
 180 }
 181
 182 /**
 183  * amdgpu_vm_pt_descendant - go to child node
 184  *
 185  * @adev: amdgpu_device pointer
 186  * @cursor: current state
 187  *
 188  * Walk to the child node of the current node.
 189  * Returns:
 190  * True if the walk was possible, false otherwise.
 191  */
 192 static bool amdgpu_vm_pt_descendant(struct amdgpu_device *adev,
 193                                     struct amdgpu_vm_pt_cursor *cursor)
 194 {
 195         unsigned int mask, shift, idx;
 196
 197         if ((cursor->level == AMDGPU_VM_PTB) || !cursor->entry ||
 198             !cursor->entry->bo)
 199                 return false;
 200
 201         mask = amdgpu_vm_pt_entries_mask(adev, cursor->level);
 202         shift = amdgpu_vm_pt_level_shift(adev, cursor->level);
 203
 204         ++cursor->level;
 205         idx = (cursor->pfn >> shift) & mask;
 206         cursor->parent = cursor->entry;
 207         cursor->entry = &to_amdgpu_bo_vm(cursor->entry->bo)->entries[idx];
 208         return true;
 209 }
 210
 211 /**
 212  * amdgpu_vm_pt_sibling - go to sibling node
 213  *
 214  * @adev: amdgpu_device pointer
 215  * @cursor: current state
 216  *
 217  * Walk to the sibling node of the current node.
 218  * Returns:
 219  * True if the walk was possible, false otherwise.
 220  */
 221 static bool amdgpu_vm_pt_sibling(struct amdgpu_device *adev,
 222                                  struct amdgpu_vm_pt_cursor *cursor)
 223 {
 224
 225         unsigned int shift, num_entries;
 226         struct amdgpu_bo_vm *parent;
 227
 228         /* Root doesn't have a sibling */
 229         if (!cursor->parent)
 230                 return false;
 231
 232         /* Go to our parents and see if we got a sibling */
 233         shift = amdgpu_vm_pt_level_shift(adev, cursor->level - 1);
 234         num_entries = amdgpu_vm_pt_num_entries(adev, cursor->level - 1);
 235         parent = to_amdgpu_bo_vm(cursor->parent->bo);
 236
 237         if (cursor->entry == &parent->entries[num_entries - 1])
 238                 return false;
 239
 240         cursor->pfn += 1ULL << shift;
 241         cursor->pfn &= ~((1ULL << shift) - 1);
 242         ++cursor->entry;
 243         return true;
 244 }
 245
 246 /**
 247  * amdgpu_vm_pt_ancestor - go to parent node
 248  *
 249  * @cursor: current state
 250  *
 251  * Walk to the parent node of the current node.
 252  * Returns:
 253  * True if the walk was possible, false otherwise.
 254  */
 255 static bool amdgpu_vm_pt_ancestor(struct amdgpu_vm_pt_cursor *cursor)
 256 {
 257         if (!cursor->parent)
 258                 return false;
 259
 260         --cursor->level;
 261         cursor->entry = cursor->parent;
 262         cursor->parent = amdgpu_vm_pt_parent(cursor->parent);
 263         return true;
 264 }
 265
 266 /**
 267  * amdgpu_vm_pt_next - get next PD/PT in hieratchy
 268  *
 269  * @adev: amdgpu_device pointer
 270  * @cursor: current state
 271  *
 272  * Walk the PD/PT tree to the next node.
 273  */
 274 static void amdgpu_vm_pt_next(struct amdgpu_device *adev,
 275                               struct amdgpu_vm_pt_cursor *cursor)
 276 {
 277         /* First try a newborn child */
 278         if (amdgpu_vm_pt_descendant(adev, cursor))
 279                 return;
 280
 281         /* If that didn't worked try to find a sibling */
 282         while (!amdgpu_vm_pt_sibling(adev, cursor)) {
 283                 /* No sibling, go to our parents and grandparents */
 284                 if (!amdgpu_vm_pt_ancestor(cursor)) {
 285                         cursor->pfn = ~0ll;
 286                         return;
 287                 }
 288         }
 289 }
 290
 291 /**
 292  * amdgpu_vm_pt_first_dfs - start a deep first search
 293  *
 294  * @adev: amdgpu_device structure
 295  * @vm: amdgpu_vm structure
 296  * @start: optional cursor to start with
 297  * @cursor: state to initialize
 298  *
 299  * Starts a deep first traversal of the PD/PT tree.
 300  */
 301 static void amdgpu_vm_pt_first_dfs(struct amdgpu_device *adev,
 302                                    struct amdgpu_vm *vm,
 303                                    struct amdgpu_vm_pt_cursor *start,
 304                                    struct amdgpu_vm_pt_cursor *cursor)
 305 {
 306         if (start)
 307                 *cursor = *start;
 308         else
 309                 amdgpu_vm_pt_start(adev, vm, 0, cursor);
 310
 311         while (amdgpu_vm_pt_descendant(adev, cursor))
 312                 ;
 313 }
 314
 315 /**
 316  * amdgpu_vm_pt_continue_dfs - check if the deep first search should continue
 317  *
 318  * @start: starting point for the search
 319  * @entry: current entry
 320  *
 321  * Returns:
 322  * True when the search should continue, false otherwise.
 323  */
 324 static bool amdgpu_vm_pt_continue_dfs(struct amdgpu_vm_pt_cursor *start,
 325                                       struct amdgpu_vm_bo_base *entry)
 326 {
 327         return entry && (!start || entry != start->entry);
 328 }
 329
 330 /**
 331  * amdgpu_vm_pt_next_dfs - get the next node for a deep first search
 332  *
 333  * @adev: amdgpu_device structure
 334  * @cursor: current state
 335  *
 336  * Move the cursor to the next node in a deep first search.
 337  */
 338 static void amdgpu_vm_pt_next_dfs(struct amdgpu_device *adev,
 339                                   struct amdgpu_vm_pt_cursor *cursor)
 340 {
 341         if (!cursor->entry)
 342                 return;
 343
 344         if (!cursor->parent)
 345                 cursor->entry = NULL;
 346         else if (amdgpu_vm_pt_sibling(adev, cursor))
 347                 while (amdgpu_vm_pt_descendant(adev, cursor))
 348                         ;
 349         else
 350                 amdgpu_vm_pt_ancestor(cursor);
 351 }
 352
 353 /*
 354  * for_each_amdgpu_vm_pt_dfs_safe - safe deep first search of all PDs/PTs
 355  */
 356 #define for_each_amdgpu_vm_pt_dfs_safe(adev, vm, start, cursor, entry)          \
 357         for (amdgpu_vm_pt_first_dfs((adev), (vm), (start), &(cursor)),          \
 358              (entry) = (cursor).entry, amdgpu_vm_pt_next_dfs((adev), &(cursor));\
 359              amdgpu_vm_pt_continue_dfs((start), (entry));                       \
 360              (entry) = (cursor).entry, amdgpu_vm_pt_next_dfs((adev), &(cursor)))
 361
 362 /**
 363  * amdgpu_vm_pt_clear - initially clear the PDs/PTs
 364  *
 365  * @adev: amdgpu_device pointer
 366  * @vm: VM to clear BO from
 367  * @vmbo: BO to clear
 368  * @immediate: use an immediate update
 369  *
 370  * Root PD needs to be reserved when calling this.
 371  *
 372  * Returns:
 373  * 0 on success, errno otherwise.
 374  */
 375 int amdgpu_vm_pt_clear(struct amdgpu_device *adev, struct amdgpu_vm *vm,
 376                        struct amdgpu_bo_vm *vmbo, bool immediate)
 377 {
 378         unsigned int level = adev->vm_manager.root_level;
 379         struct ttm_operation_ctx ctx = { true, false };
 380         struct amdgpu_vm_update_params params;
 381         struct amdgpu_bo *ancestor = &vmbo->bo;
 382         unsigned int entries, ats_entries;
 383         struct amdgpu_bo *bo = &vmbo->bo;
 384         uint64_t addr;
 385         int r, idx;
 386
 387         /* Figure out our place in the hierarchy */
 388         if (ancestor->parent) {
 389                 ++level;
 390                 while (ancestor->parent->parent) {
 391                         ++level;
 392                         ancestor = ancestor->parent;
 393                 }
 394         }
 395
 396         entries = amdgpu_bo_size(bo) / 8;
 397         if (!vm->pte_support_ats) {
 398                 ats_entries = 0;
 399
 400         } else if (!bo->parent) {
 401                 ats_entries = amdgpu_vm_pt_num_ats_entries(adev);
 402                 ats_entries = min(ats_entries, entries);
 403                 entries -= ats_entries;
 404
 405         } else {
 406                 struct amdgpu_vm_bo_base *pt;
 407
 408                 pt = ancestor->vm_bo;
 409                 ats_entries = amdgpu_vm_pt_num_ats_entries(adev);
 410                 if ((pt - to_amdgpu_bo_vm(vm->root.bo)->entries) >=
 411                     ats_entries) {
 412                         ats_entries = 0;
 413                 } else {
 414                         ats_entries = entries;
 415                         entries = 0;
 416                 }
 417         }
 418
 419         r = ttm_bo_validate(&bo->tbo, &bo->placement, &ctx);
 420         if (r)
 421                 return r;
 422
 423         if (vmbo->shadow) {
 424                 struct amdgpu_bo *shadow = vmbo->shadow;
 425
 426                 r = ttm_bo_validate(&shadow->tbo, &shadow->placement, &ctx);
 427                 if (r)
 428                         return r;
 429         }
 430
 431         if (!drm_dev_enter(adev_to_drm(adev), &idx))
 432                 return -ENODEV;
 433
 434         r = vm->update_funcs->map_table(vmbo);
 435         if (r)
 436                 goto exit;
 437
 438         memset(&params, 0, sizeof(params));
 439         params.adev = adev;
 440         params.vm = vm;
 441         params.immediate = immediate;
 442
 443         r = vm->update_funcs->prepare(&params, NULL, AMDGPU_SYNC_EXPLICIT);
 444         if (r)
 445                 goto exit;
 446
 447         addr = 0;
 448         if (ats_entries) {
 449                 uint64_t value = 0, flags;
 450
 451                 flags = AMDGPU_PTE_DEFAULT_ATC;
 452                 if (level != AMDGPU_VM_PTB) {
 453                         /* Handle leaf PDEs as PTEs */
 454                         flags |= AMDGPU_PDE_PTE;
 455                         amdgpu_gmc_get_vm_pde(adev, level, &value, &flags);
 456                 }
 457
 458                 r = vm->update_funcs->update(&params, vmbo, addr, 0,
 459                                              ats_entries, value, flags);
 460                 if (r)
 461                         goto exit;
 462
 463                 addr += ats_entries * 8;
 464         }
 465
 466         if (entries) {
 467                 uint64_t value = 0, flags = 0;
 468
 469                 if (adev->asic_type >= CHIP_VEGA10) {
 470                         if (level != AMDGPU_VM_PTB) {
 471                                 /* Handle leaf PDEs as PTEs */
 472                                 flags |= AMDGPU_PDE_PTE;
 473                                 amdgpu_gmc_get_vm_pde(adev, level,
 474                                                       &value, &flags);
 475                         } else {
 476                                 /* Workaround for fault priority problem on GMC9 */
 477                                 flags = AMDGPU_PTE_EXECUTABLE;
 478                         }
 479                 }
 480
 481                 r = vm->update_funcs->update(&params, vmbo, addr, 0, entries,
 482                                              value, flags);
 483                 if (r)
 484                         goto exit;
 485         }
 486
 487         r = vm->update_funcs->commit(&params, NULL);
 488 exit:
 489         drm_dev_exit(idx);
 490         return r;
 491 }
 492
 493 /**
 494  * amdgpu_vm_pt_create - create bo for PD/PT
 495  *
 496  * @adev: amdgpu_device pointer
 497  * @vm: requesting vm
 498  * @level: the page table level
 499  * @immediate: use a immediate update
 500  * @vmbo: pointer to the buffer object pointer
 501  */
 502 int amdgpu_vm_pt_create(struct amdgpu_device *adev, struct amdgpu_vm *vm,
 503                         int level, bool immediate, struct amdgpu_bo_vm **vmbo)
 504 {
 505         struct amdgpu_fpriv *fpriv = container_of(vm, struct amdgpu_fpriv, vm);
 506         struct amdgpu_bo_param bp;
 507         struct amdgpu_bo *bo;
 508         struct dma_resv *resv;
 509         unsigned int num_entries;
 510         int r;
 511
 512         memset(&bp, 0, sizeof(bp));
 513
 514         bp.size = amdgpu_vm_pt_size(adev, level);
 515         bp.byte_align = AMDGPU_GPU_PAGE_SIZE;
 516
 517         if (!adev->gmc.is_app_apu)
 518                 bp.domain = AMDGPU_GEM_DOMAIN_VRAM;
 519         else
 520                 bp.domain = AMDGPU_GEM_DOMAIN_GTT;
 521
 522         bp.domain = amdgpu_bo_get_preferred_domain(adev, bp.domain);
 523         bp.flags = AMDGPU_GEM_CREATE_VRAM_CONTIGUOUS |
 524                 AMDGPU_GEM_CREATE_CPU_GTT_USWC;
 525
 526         if (level < AMDGPU_VM_PTB)
 527                 num_entries = amdgpu_vm_pt_num_entries(adev, level);
 528         else
 529                 num_entries = 0;
 530
 531         bp.bo_ptr_size = struct_size((*vmbo), entries, num_entries);
 532
 533         if (vm->use_cpu_for_update)
 534                 bp.flags |= AMDGPU_GEM_CREATE_CPU_ACCESS_REQUIRED;
 535
 536         bp.type = ttm_bo_type_kernel;
 537         bp.no_wait_gpu = immediate;
 538         bp.xcp_id_plus1 = fpriv->xcp_id == ~0 ? 0 : fpriv->xcp_id + 1;
 539
 540         if (vm->root.bo)
 541                 bp.resv = vm->root.bo->tbo.base.resv;
 542
 543         r = amdgpu_bo_create_vm(adev, &bp, vmbo);
 544         if (r)
 545                 return r;
 546
 547         bo = &(*vmbo)->bo;
 548         if (vm->is_compute_context || (adev->flags & AMD_IS_APU)) {
 549                 (*vmbo)->shadow = NULL;
 550                 return 0;
 551         }
 552
 553         if (!bp.resv)
 554                 WARN_ON(dma_resv_lock(bo->tbo.base.resv,
 555                                       NULL));
 556         resv = bp.resv;
 557         memset(&bp, 0, sizeof(bp));
 558         bp.size = amdgpu_vm_pt_size(adev, level);
 559         bp.domain = AMDGPU_GEM_DOMAIN_GTT;
 560         bp.flags = AMDGPU_GEM_CREATE_CPU_GTT_USWC;
 561         bp.type = ttm_bo_type_kernel;
 562         bp.resv = bo->tbo.base.resv;
 563         bp.bo_ptr_size = sizeof(struct amdgpu_bo);
 564         bp.xcp_id_plus1 = fpriv->xcp_id == ~0 ? 0 : fpriv->xcp_id + 1;
 565
 566         r = amdgpu_bo_create(adev, &bp, &(*vmbo)->shadow);
 567
 568         if (!resv)
 569                 dma_resv_unlock(bo->tbo.base.resv);
 570
 571         if (r) {
 572                 amdgpu_bo_unref(&bo);
 573                 return r;
 574         }
 575
 576         amdgpu_bo_add_to_shadow_list(*vmbo);
 577
 578         return 0;
 579 }
 580
 581 /**
 582  * amdgpu_vm_pt_alloc - Allocate a specific page table
 583  *
 584  * @adev: amdgpu_device pointer
 585  * @vm: VM to allocate page tables for
 586  * @cursor: Which page table to allocate
 587  * @immediate: use an immediate update
 588  *
 589  * Make sure a specific page table or directory is allocated.
 590  *
 591  * Returns:
 592  * 1 if page table needed to be allocated, 0 if page table was already
 593  * allocated, negative errno if an error occurred.
 594  */
 595 static int amdgpu_vm_pt_alloc(struct amdgpu_device *adev,
 596                               struct amdgpu_vm *vm,
 597                               struct amdgpu_vm_pt_cursor *cursor,
 598                               bool immediate)
 599 {
 600         struct amdgpu_vm_bo_base *entry = cursor->entry;
 601         struct amdgpu_bo *pt_bo;
 602         struct amdgpu_bo_vm *pt;
 603         int r;
 604
 605         if (entry->bo)
 606                 return 0;
 607
 608         amdgpu_vm_eviction_unlock(vm);
 609         r = amdgpu_vm_pt_create(adev, vm, cursor->level, immediate, &pt);
 610         amdgpu_vm_eviction_lock(vm);
 611         if (r)
 612                 return r;
 613
 614         /* Keep a reference to the root directory to avoid
 615          * freeing them up in the wrong order.
 616          */
 617         pt_bo = &pt->bo;
 618         pt_bo->parent = amdgpu_bo_ref(cursor->parent->bo);
 619         amdgpu_vm_bo_base_init(entry, vm, pt_bo);
 620         r = amdgpu_vm_pt_clear(adev, vm, pt, immediate);
 621         if (r)
 622                 goto error_free_pt;
 623
 624         return 0;
 625
 626 error_free_pt:
 627         amdgpu_bo_unref(&pt->shadow);
 628         amdgpu_bo_unref(&pt_bo);
 629         return r;
 630 }
 631
 632 /**
 633  * amdgpu_vm_pt_free - free one PD/PT
 634  *
 635  * @entry: PDE to free
 636  */
 637 static void amdgpu_vm_pt_free(struct amdgpu_vm_bo_base *entry)
 638 {
 639         struct amdgpu_bo *shadow;
 640
 641         if (!entry->bo)
 642                 return;
 643         shadow = amdgpu_bo_shadowed(entry->bo);
 644         if (shadow) {
 645                 ttm_bo_set_bulk_move(&shadow->tbo, NULL);
 646                 amdgpu_bo_unref(&shadow);
 647         }
 648         ttm_bo_set_bulk_move(&entry->bo->tbo, NULL);
 649         entry->bo->vm_bo = NULL;
 650
 651         spin_lock(&entry->vm->status_lock);
 652         list_del(&entry->vm_status);
 653         spin_unlock(&entry->vm->status_lock);
 654         amdgpu_bo_unref(&entry->bo);
 655 }
 656
 657 void amdgpu_vm_pt_free_work(struct work_struct *work)
 658 {
 659         struct amdgpu_vm_bo_base *entry, *next;
 660         struct amdgpu_vm *vm;
 661         LIST_HEAD(pt_freed);
 662
 663         vm = container_of(work, struct amdgpu_vm, pt_free_work);
 664
 665         spin_lock(&vm->status_lock);
 666         list_splice_init(&vm->pt_freed, &pt_freed);
 667         spin_unlock(&vm->status_lock);
 668
 669         /* flush_work in amdgpu_vm_fini ensure vm->root.bo is valid. */
 670         amdgpu_bo_reserve(vm->root.bo, true);
 671
 672         list_for_each_entry_safe(entry, next, &pt_freed, vm_status)
 673                 amdgpu_vm_pt_free(entry);
 674
 675         amdgpu_bo_unreserve(vm->root.bo);
 676 }
 677
 678 /**
 679  * amdgpu_vm_pt_free_dfs - free PD/PT levels
 680  *
 681  * @adev: amdgpu device structure
 682  * @vm: amdgpu vm structure
 683  * @start: optional cursor where to start freeing PDs/PTs
 684  * @unlocked: vm resv unlock status
 685  *
 686  * Free the page directory or page table level and all sub levels.
 687  */
 688 static void amdgpu_vm_pt_free_dfs(struct amdgpu_device *adev,
 689                                   struct amdgpu_vm *vm,
 690                                   struct amdgpu_vm_pt_cursor *start,
 691                                   bool unlocked)
 692 {
 693         struct amdgpu_vm_pt_cursor cursor;
 694         struct amdgpu_vm_bo_base *entry;
 695
 696         if (unlocked) {
 697                 spin_lock(&vm->status_lock);
 698                 for_each_amdgpu_vm_pt_dfs_safe(adev, vm, start, cursor, entry)
 699                         list_move(&entry->vm_status, &vm->pt_freed);
 700
 701                 if (start)
 702                         list_move(&start->entry->vm_status, &vm->pt_freed);
 703                 spin_unlock(&vm->status_lock);
 704                 schedule_work(&vm->pt_free_work);
 705                 return;
 706         }
 707
 708         for_each_amdgpu_vm_pt_dfs_safe(adev, vm, start, cursor, entry)
 709                 amdgpu_vm_pt_free(entry);
 710
 711         if (start)
 712                 amdgpu_vm_pt_free(start->entry);
 713 }
 714
 715 /**
 716  * amdgpu_vm_pt_free_root - free root PD
 717  * @adev: amdgpu device structure
 718  * @vm: amdgpu vm structure
 719  *
 720  * Free the root page directory and everything below it.
 721  */
 722 void amdgpu_vm_pt_free_root(struct amdgpu_device *adev, struct amdgpu_vm *vm)
 723 {
 724         amdgpu_vm_pt_free_dfs(adev, vm, NULL, false);
 725 }
 726
 727 /**
 728  * amdgpu_vm_pt_is_root_clean - check if a root PD is clean
 729  *
 730  * @adev: amdgpu_device pointer
 731  * @vm: the VM to check
 732  *
 733  * Check all entries of the root PD, if any subsequent PDs are allocated,
 734  * it means there are page table creating and filling, and is no a clean
 735  * VM
 736  *
 737  * Returns:
 738  *      0 if this VM is clean
 739  */
 740 bool amdgpu_vm_pt_is_root_clean(struct amdgpu_device *adev,
 741                                 struct amdgpu_vm *vm)
 742 {
 743         enum amdgpu_vm_level root = adev->vm_manager.root_level;
 744         unsigned int entries = amdgpu_vm_pt_num_entries(adev, root);
 745         unsigned int i = 0;
 746
 747         for (i = 0; i < entries; i++) {
 748                 if (to_amdgpu_bo_vm(vm->root.bo)->entries[i].bo)
 749                         return false;
 750         }
 751         return true;
 752 }
 753
 754 /**
 755  * amdgpu_vm_pde_update - update a single level in the hierarchy
 756  *
 757  * @params: parameters for the update
 758  * @entry: entry to update
 759  *
 760  * Makes sure the requested entry in parent is up to date.
 761  */
 762 int amdgpu_vm_pde_update(struct amdgpu_vm_update_params *params,
 763                          struct amdgpu_vm_bo_base *entry)
 764 {
 765         struct amdgpu_vm_bo_base *parent = amdgpu_vm_pt_parent(entry);
 766         struct amdgpu_bo *bo = parent->bo, *pbo;
 767         struct amdgpu_vm *vm = params->vm;
 768         uint64_t pde, pt, flags;
 769         unsigned int level;
 770
 771         for (level = 0, pbo = bo->parent; pbo; ++level)
 772                 pbo = pbo->parent;
 773
 774         level += params->adev->vm_manager.root_level;
 775         amdgpu_gmc_get_pde_for_bo(entry->bo, level, &pt, &flags);
 776         pde = (entry - to_amdgpu_bo_vm(parent->bo)->entries) * 8;
 777         return vm->update_funcs->update(params, to_amdgpu_bo_vm(bo), pde, pt,
 778                                         1, 0, flags);
 779 }
 780
 781 /*
 782  * amdgpu_vm_pte_update_flags - figure out flags for PTE updates
 783  *
 784  * Make sure to set the right flags for the PTEs at the desired level.
 785  */
 786 static void amdgpu_vm_pte_update_flags(struct amdgpu_vm_update_params *params,
 787                                        struct amdgpu_bo_vm *pt,
 788                                        unsigned int level,
 789                                        uint64_t pe, uint64_t addr,
 790                                        unsigned int count, uint32_t incr,
 791                                        uint64_t flags)
 792 {
 793         struct amdgpu_device *adev = params->adev;
 794
 795         if (level != AMDGPU_VM_PTB) {
 796                 flags |= AMDGPU_PDE_PTE;
 797                 amdgpu_gmc_get_vm_pde(adev, level, &addr, &flags);
 798
 799         } else if (adev->asic_type >= CHIP_VEGA10 &&
 800                    !(flags & AMDGPU_PTE_VALID) &&
 801                    !(flags & AMDGPU_PTE_PRT)) {
 802
 803                 /* Workaround for fault priority problem on GMC9 */
 804                 flags |= AMDGPU_PTE_EXECUTABLE;
 805         }
 806
 807         /* APUs mapping system memory may need different MTYPEs on different
 808          * NUMA nodes. Only do this for contiguous ranges that can be assumed
 809          * to be on the same NUMA node.
 810          */
 811         if ((flags & AMDGPU_PTE_SYSTEM) && (adev->flags & AMD_IS_APU) &&
 812             adev->gmc.gmc_funcs->override_vm_pte_flags &&
 813             num_possible_nodes() > 1) {
 814                 if (!params->pages_addr)
 815                         amdgpu_gmc_override_vm_pte_flags(adev, params->vm,
 816                                                          addr, &flags);
 817                 else
 818                         dev_dbg(adev->dev,
 819                                 "override_vm_pte_flags skipped: non-contiguous\n");
 820         }
 821
 822         params->vm->update_funcs->update(params, pt, pe, addr, count, incr,
 823                                          flags);
 824 }
 825
 826 /**
 827  * amdgpu_vm_pte_fragment - get fragment for PTEs
 828  *
 829  * @params: see amdgpu_vm_update_params definition
 830  * @start: first PTE to handle
 831  * @end: last PTE to handle
 832  * @flags: hw mapping flags
 833  * @frag: resulting fragment size
 834  * @frag_end: end of this fragment
 835  *
 836  * Returns the first possible fragment for the start and end address.
 837  */
 838 static void amdgpu_vm_pte_fragment(struct amdgpu_vm_update_params *params,
 839                                    uint64_t start, uint64_t end, uint64_t flags,
 840                                    unsigned int *frag, uint64_t *frag_end)
 841 {
 842         /**
 843          * The MC L1 TLB supports variable sized pages, based on a fragment
 844          * field in the PTE. When this field is set to a non-zero value, page
 845          * granularity is increased from 4KB to (1 << (12 + frag)). The PTE
 846          * flags are considered valid for all PTEs within the fragment range
 847          * and corresponding mappings are assumed to be physically contiguous.
 848          *
 849          * The L1 TLB can store a single PTE for the whole fragment,
 850          * significantly increasing the space available for translation
 851          * caching. This leads to large improvements in throughput when the
 852          * TLB is under pressure.
 853          *
 854          * The L2 TLB distributes small and large fragments into two
 855          * asymmetric partitions. The large fragment cache is significantly
 856          * larger. Thus, we try to use large fragments wherever possible.
 857          * Userspace can support this by aligning virtual base address and
 858          * allocation size to the fragment size.
 859          *
 860          * Starting with Vega10 the fragment size only controls the L1. The L2
 861          * is now directly feed with small/huge/giant pages from the walker.
 862          */
 863         unsigned int max_frag;
 864
 865         if (params->adev->asic_type < CHIP_VEGA10)
 866                 max_frag = params->adev->vm_manager.fragment_size;
 867         else
 868                 max_frag = 31;
 869
 870         /* system pages are non continuously */
 871         if (params->pages_addr) {
 872                 *frag = 0;
 873                 *frag_end = end;
 874                 return;
 875         }
 876
 877         /* This intentionally wraps around if no bit is set */
 878         *frag = min_t(unsigned int, ffs(start) - 1, fls64(end - start) - 1);
 879         if (*frag >= max_frag) {
 880                 *frag = max_frag;
 881                 *frag_end = end & ~((1ULL << max_frag) - 1);
 882         } else {
 883                 *frag_end = start + (1 << *frag);
 884         }
 885 }
 886
 887 /**
 888  * amdgpu_vm_ptes_update - make sure that page tables are valid
 889  *
 890  * @params: see amdgpu_vm_update_params definition
 891  * @start: start of GPU address range
 892  * @end: end of GPU address range
 893  * @dst: destination address to map to, the next dst inside the function
 894  * @flags: mapping flags
 895  *
 896  * Update the page tables in the range @start - @end.
 897  *
 898  * Returns:
 899  * 0 for success, -EINVAL for failure.
 900  */
 901 int amdgpu_vm_ptes_update(struct amdgpu_vm_update_params *params,
 902                           uint64_t start, uint64_t end,
 903                           uint64_t dst, uint64_t flags)
 904 {
 905         struct amdgpu_device *adev = params->adev;
 906         struct amdgpu_vm_pt_cursor cursor;
 907         uint64_t frag_start = start, frag_end;
 908         unsigned int frag;
 909         int r;
 910
 911         /* figure out the initial fragment */
 912         amdgpu_vm_pte_fragment(params, frag_start, end, flags, &frag,
 913                                &frag_end);
 914
 915         /* walk over the address space and update the PTs */
 916         amdgpu_vm_pt_start(adev, params->vm, start, &cursor);
 917         while (cursor.pfn < end) {
 918                 unsigned int shift, parent_shift, mask;
 919                 uint64_t incr, entry_end, pe_start;
 920                 struct amdgpu_bo *pt;
 921
 922                 if (!params->unlocked) {
 923                         /* make sure that the page tables covering the
 924                          * address range are actually allocated
 925                          */
 926                         r = amdgpu_vm_pt_alloc(params->adev, params->vm,
 927                                                &cursor, params->immediate);
 928                         if (r)
 929                                 return r;
 930                 }
 931
 932                 shift = amdgpu_vm_pt_level_shift(adev, cursor.level);
 933                 parent_shift = amdgpu_vm_pt_level_shift(adev, cursor.level - 1);
 934                 if (params->unlocked) {
 935                         /* Unlocked updates are only allowed on the leaves */
 936                         if (amdgpu_vm_pt_descendant(adev, &cursor))
 937                                 continue;
 938                 } else if (adev->asic_type < CHIP_VEGA10 &&
 939                            (flags & AMDGPU_PTE_VALID)) {
 940                         /* No huge page support before GMC v9 */
 941                         if (cursor.level != AMDGPU_VM_PTB) {
 942                                 if (!amdgpu_vm_pt_descendant(adev, &cursor))
 943                                         return -ENOENT;
 944                                 continue;
 945                         }
 946                 } else if (frag < shift) {
 947                         /* We can't use this level when the fragment size is
 948                          * smaller than the address shift. Go to the next
 949                          * child entry and try again.
 950                          */
 951                         if (amdgpu_vm_pt_descendant(adev, &cursor))
 952                                 continue;
 953                 } else if (frag >= parent_shift) {
 954                         /* If the fragment size is even larger than the parent
 955                          * shift we should go up one level and check it again.
 956                          */
 957                         if (!amdgpu_vm_pt_ancestor(&cursor))
 958                                 return -EINVAL;
 959                         continue;
 960                 }
 961
 962                 pt = cursor.entry->bo;
 963                 if (!pt) {
 964                         /* We need all PDs and PTs for mapping something, */
 965                         if (flags & AMDGPU_PTE_VALID)
 966                                 return -ENOENT;
 967
 968                         /* but unmapping something can happen at a higher
 969                          * level.
 970                          */
 971                         if (!amdgpu_vm_pt_ancestor(&cursor))
 972                                 return -EINVAL;
 973
 974                         pt = cursor.entry->bo;
 975                         shift = parent_shift;
 976                         frag_end = max(frag_end, ALIGN(frag_start + 1,
 977                                    1ULL << shift));
 978                 }
 979
 980                 /* Looks good so far, calculate parameters for the update */
 981                 incr = (uint64_t)AMDGPU_GPU_PAGE_SIZE << shift;
 982                 mask = amdgpu_vm_pt_entries_mask(adev, cursor.level);
 983                 pe_start = ((cursor.pfn >> shift) & mask) * 8;
 984                 entry_end = ((uint64_t)mask + 1) << shift;
 985                 entry_end += cursor.pfn & ~(entry_end - 1);
 986                 entry_end = min(entry_end, end);
 987
 988                 do {
 989                         struct amdgpu_vm *vm = params->vm;
 990                         uint64_t upd_end = min(entry_end, frag_end);
 991                         unsigned int nptes = (upd_end - frag_start) >> shift;
 992                         uint64_t upd_flags = flags | AMDGPU_PTE_FRAG(frag);
 993
 994                         /* This can happen when we set higher level PDs to
 995                          * silent to stop fault floods.
 996                          */
 997                         nptes = max(nptes, 1u);
 998
 999                         trace_amdgpu_vm_update_ptes(params, frag_start, upd_end,
1000                                                     min(nptes, 32u), dst, incr,
1001                                                     upd_flags,
1002                                                     vm->task_info.tgid,
1003                                                     vm->immediate.fence_context);
1004                         amdgpu_vm_pte_update_flags(params, to_amdgpu_bo_vm(pt),
1005                                                    cursor.level, pe_start, dst,
1006                                                    nptes, incr, upd_flags);
1007
1008                         pe_start += nptes * 8;
1009                         dst += nptes * incr;
1010
1011                         frag_start = upd_end;
1012                         if (frag_start >= frag_end) {
1013                                 /* figure out the next fragment */
1014                                 amdgpu_vm_pte_fragment(params, frag_start, end,
1015                                                        flags, &frag, &frag_end);
1016                                 if (frag < shift)
1017                                         break;
1018                         }
1019                 } while (frag_start < entry_end);
1020
1021                 if (amdgpu_vm_pt_descendant(adev, &cursor)) {
1022                         /* Free all child entries.
1023                          * Update the tables with the flags and addresses and free up subsequent
1024                          * tables in the case of huge pages or freed up areas.
1025                          * This is the maximum you can free, because all other page tables are not
1026                          * completely covered by the range and so potentially still in use.
1027                          */
1028                         while (cursor.pfn < frag_start) {
1029                                 /* Make sure previous mapping is freed */
1030                                 if (cursor.entry->bo) {
1031                                         params->table_freed = true;
1032                                         amdgpu_vm_pt_free_dfs(adev, params->vm,
1033                                                               &cursor,
1034                                                               params->unlocked);
1035                                 }
1036                                 amdgpu_vm_pt_next(adev, &cursor);
1037                         }
1038
1039                 } else if (frag >= shift) {
1040                         /* or just move on to the next on the same level. */
1041                         amdgpu_vm_pt_next(adev, &cursor);
1042                 }
1043         }
1044
1045         return 0;
1046 }