drivers/gpu/drm/i915/intel_region_ttm.c

   1 // SPDX-License-Identifier: MIT
   2 /*
   3  * Copyright © 2021 Intel Corporation
   4  */
   5 #include <drm/ttm/ttm_bo_driver.h>
   6 #include <drm/ttm/ttm_device.h>
   7 #include <drm/ttm/ttm_range_manager.h>
   8
   9 #include "i915_drv.h"
  10 #include "i915_scatterlist.h"
  11 #include "i915_ttm_buddy_manager.h"
  12
  13 #include "intel_region_ttm.h"
  14
  15 #include "gem/i915_gem_ttm.h" /* For the funcs/ops export only */
  16 /**
  17  * DOC: TTM support structure
  18  *
  19  * The code in this file deals with setting up memory managers for TTM
  20  * LMEM and MOCK regions and converting the output from
  21  * the managers to struct sg_table, Basically providing the mapping from
  22  * i915 GEM regions to TTM memory types and resource managers.
  23  */
  24
  25 /**
  26  * intel_region_ttm_device_init - Initialize a TTM device
  27  * @dev_priv: Pointer to an i915 device private structure.
  28  *
  29  * Return: 0 on success, negative error code on failure.
  30  */
  31 int intel_region_ttm_device_init(struct drm_i915_private *dev_priv)
  32 {
  33         struct drm_device *drm = &dev_priv->drm;
  34
  35         return ttm_device_init(&dev_priv->bdev, i915_ttm_driver(),
  36                                drm->dev, drm->anon_inode->i_mapping,
  37                                drm->vma_offset_manager, false, false);
  38 }
  39
  40 /**
  41  * intel_region_ttm_device_fini - Finalize a TTM device
  42  * @dev_priv: Pointer to an i915 device private structure.
  43  */
  44 void intel_region_ttm_device_fini(struct drm_i915_private *dev_priv)
  45 {
  46         ttm_device_fini(&dev_priv->bdev);
  47 }
  48
  49 /*
  50  * Map the i915 memory regions to TTM memory types. We use the
  51  * driver-private types for now, reserving TTM_PL_VRAM for stolen
  52  * memory and TTM_PL_TT for GGTT use if decided to implement this.
  53  */
  54 int intel_region_to_ttm_type(const struct intel_memory_region *mem)
  55 {
  56         int type;
  57
  58         GEM_BUG_ON(mem->type != INTEL_MEMORY_LOCAL &&
  59                    mem->type != INTEL_MEMORY_MOCK &&
  60                    mem->type != INTEL_MEMORY_SYSTEM);
  61
  62         if (mem->type == INTEL_MEMORY_SYSTEM)
  63                 return TTM_PL_SYSTEM;
  64
  65         type = mem->instance + TTM_PL_PRIV;
  66         GEM_BUG_ON(type >= TTM_NUM_MEM_TYPES);
  67
  68         return type;
  69 }
  70
  71 /**
  72  * intel_region_ttm_init - Initialize a memory region for TTM.
  73  * @mem: The region to initialize.
  74  *
  75  * This function initializes a suitable TTM resource manager for the
  76  * region, and if it's a LMEM region type, attaches it to the TTM
  77  * device. MOCK regions are NOT attached to the TTM device, since we don't
  78  * have one for the mock selftests.
  79  *
  80  * Return: 0 on success, negative error code on failure.
  81  */
  82 int intel_region_ttm_init(struct intel_memory_region *mem)
  83 {
  84         struct ttm_device *bdev = &mem->i915->bdev;
  85         int mem_type = intel_region_to_ttm_type(mem);
  86         int ret;
  87
  88         ret = i915_ttm_buddy_man_init(bdev, mem_type, false,
  89                                       resource_size(&mem->region),
  90                                       mem->min_page_size, PAGE_SIZE);
  91         if (ret)
  92                 return ret;
  93
  94         mem->region_private = ttm_manager_type(bdev, mem_type);
  95
  96         return 0;
  97 }
  98
  99 /**
 100  * intel_region_ttm_fini - Finalize a TTM region.
 101  * @mem: The memory region
 102  *
 103  * This functions takes down the TTM resource manager associated with the
 104  * memory region, and if it was registered with the TTM device,
 105  * removes that registration.
 106  */
 107 int intel_region_ttm_fini(struct intel_memory_region *mem)
 108 {
 109         struct ttm_resource_manager *man = mem->region_private;
 110         int ret = -EBUSY;
 111         int count;
 112
 113         /*
 114          * Put the region's move fences. This releases requests that
 115          * may hold on to contexts and vms that may hold on to buffer
 116          * objects placed in this region.
 117          */
 118         if (man)
 119                 ttm_resource_manager_cleanup(man);
 120
 121         /* Flush objects from region. */
 122         for (count = 0; count < 10; ++count) {
 123                 i915_gem_flush_free_objects(mem->i915);
 124
 125                 mutex_lock(&mem->objects.lock);
 126                 if (list_empty(&mem->objects.list))
 127                         ret = 0;
 128                 mutex_unlock(&mem->objects.lock);
 129                 if (!ret)
 130                         break;
 131
 132                 msleep(20);
 133                 flush_delayed_work(&mem->i915->bdev.wq);
 134         }
 135
 136         /* If we leaked objects, Don't free the region causing use after free */
 137         if (ret || !man)
 138                 return ret;
 139
 140         ret = i915_ttm_buddy_man_fini(&mem->i915->bdev,
 141                                       intel_region_to_ttm_type(mem));
 142         GEM_WARN_ON(ret);
 143         mem->region_private = NULL;
 144
 145         return ret;
 146 }
 147
 148 /**
 149  * intel_region_ttm_resource_to_rsgt -
 150  * Convert an opaque TTM resource manager resource to a refcounted sg_table.
 151  * @mem: The memory region.
 152  * @res: The resource manager resource obtained from the TTM resource manager.
 153  *
 154  * The gem backends typically use sg-tables for operations on the underlying
 155  * io_memory. So provide a way for the backends to translate the
 156  * nodes they are handed from TTM to sg-tables.
 157  *
 158  * Return: A malloced sg_table on success, an error pointer on failure.
 159  */
 160 struct i915_refct_sgt *
 161 intel_region_ttm_resource_to_rsgt(struct intel_memory_region *mem,
 162                                   struct ttm_resource *res)
 163 {
 164         if (mem->is_range_manager) {
 165                 struct ttm_range_mgr_node *range_node =
 166                         to_ttm_range_mgr_node(res);
 167
 168                 return i915_rsgt_from_mm_node(&range_node->mm_nodes[0],
 169                                               mem->region.start);
 170         } else {
 171                 return i915_rsgt_from_buddy_resource(res, mem->region.start);
 172         }
 173 }
 174
 175 #ifdef CONFIG_DRM_I915_SELFTEST
 176 /**
 177  * intel_region_ttm_resource_alloc - Allocate memory resources from a region
 178  * @mem: The memory region,
 179  * @size: The requested size in bytes
 180  * @flags: Allocation flags
 181  *
 182  * This functionality is provided only for callers that need to allocate
 183  * memory from standalone TTM range managers, without the TTM eviction
 184  * functionality. Don't use if you are not completely sure that's the
 185  * case. The returned opaque node can be converted to an sg_table using
 186  * intel_region_ttm_resource_to_st(), and can be freed using
 187  * intel_region_ttm_resource_free().
 188  *
 189  * Return: A valid pointer on success, an error pointer on failure.
 190  */
 191 struct ttm_resource *
 192 intel_region_ttm_resource_alloc(struct intel_memory_region *mem,
 193                                 resource_size_t size,
 194                                 unsigned int flags)
 195 {
 196         struct ttm_resource_manager *man = mem->region_private;
 197         struct ttm_place place = {};
 198         struct ttm_buffer_object mock_bo = {};
 199         struct ttm_resource *res;
 200         int ret;
 201
 202         mock_bo.base.size = size;
 203         place.flags = flags;
 204
 205         ret = man->func->alloc(man, &mock_bo, &place, &res);
 206         if (ret == -ENOSPC)
 207                 ret = -ENXIO;
 208         return ret ? ERR_PTR(ret) : res;
 209 }
 210
 211 #endif
 212
 213 /**
 214  * intel_region_ttm_resource_free - Free a resource allocated from a resource manager
 215  * @mem: The region the resource was allocated from.
 216  * @res: The opaque resource representing an allocation.
 217  */
 218 void intel_region_ttm_resource_free(struct intel_memory_region *mem,
 219                                     struct ttm_resource *res)
 220 {
 221         struct ttm_resource_manager *man = mem->region_private;
 222
 223         man->func->free(man, res);
 224 }