drivers/gpu/drm/amd/amdgpu/amdgpu_irq.c

   1 /*
   2  * Copyright 2008 Advanced Micro Devices, Inc.
   3  * Copyright 2008 Red Hat Inc.
   4  * Copyright 2009 Jerome Glisse.
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a
   7  * copy of this software and associated documentation files (the "Software"),
   8  * to deal in the Software without restriction, including without limitation
   9  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
  10  * and/or sell copies of the Software, and to permit persons to whom the
  11  * Software is furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in
  14  * all copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL
  19  * THE COPYRIGHT HOLDER(S) OR AUTHOR(S) BE LIABLE FOR ANY CLAIM, DAMAGES OR
  20  * OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE,
  21  * ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR
  22  * OTHER DEALINGS IN THE SOFTWARE.
  23  *
  24  * Authors: Dave Airlie
  25  *          Alex Deucher
  26  *          Jerome Glisse
  27  */
  28
  29 /**
  30  * DOC: Interrupt Handling
  31  *
  32  * Interrupts generated within GPU hardware raise interrupt requests that are
  33  * passed to amdgpu IRQ handler which is responsible for detecting source and
  34  * type of the interrupt and dispatching matching handlers. If handling an
  35  * interrupt requires calling kernel functions that may sleep processing is
  36  * dispatched to work handlers.
  37  *
  38  * If MSI functionality is not disabled by module parameter then MSI
  39  * support will be enabled.
  40  *
  41  * For GPU interrupt sources that may be driven by another driver, IRQ domain
  42  * support is used (with mapping between virtual and hardware IRQs).
  43  */
  44
  45 #include <linux/irq.h>
  46 #include <linux/pci.h>
  47
  48 #include <drm/drm_vblank.h>
  49 #include <drm/amdgpu_drm.h>
  50 #include <drm/drm_drv.h>
  51 #include "amdgpu.h"
  52 #include "amdgpu_ih.h"
  53 #include "atom.h"
  54 #include "amdgpu_connectors.h"
  55 #include "amdgpu_trace.h"
  56 #include "amdgpu_amdkfd.h"
  57 #include "amdgpu_ras.h"
  58
  59 #include <linux/pm_runtime.h>
  60
  61 #ifdef CONFIG_DRM_AMD_DC
  62 #include "amdgpu_dm_irq.h"
  63 #endif
  64
  65 #define AMDGPU_WAIT_IDLE_TIMEOUT 200
  66
  67 const char *soc15_ih_clientid_name[] = {
  68         "IH",
  69         "SDMA2 or ACP",
  70         "ATHUB",
  71         "BIF",
  72         "SDMA3 or DCE",
  73         "SDMA4 or ISP",
  74         "VMC1 or PCIE0",
  75         "RLC",
  76         "SDMA0",
  77         "SDMA1",
  78         "SE0SH",
  79         "SE1SH",
  80         "SE2SH",
  81         "SE3SH",
  82         "VCN1 or UVD1",
  83         "THM",
  84         "VCN or UVD",
  85         "SDMA5 or VCE0",
  86         "VMC",
  87         "SDMA6 or XDMA",
  88         "GRBM_CP",
  89         "ATS",
  90         "ROM_SMUIO",
  91         "DF",
  92         "SDMA7 or VCE1",
  93         "PWR",
  94         "reserved",
  95         "UTCL2",
  96         "EA",
  97         "UTCL2LOG",
  98         "MP0",
  99         "MP1"
 100 };
 101
 102 const int node_id_to_phys_map[NODEID_MAX] = {
 103         [XCD0_NODEID] = 0,
 104         [XCD1_NODEID] = 1,
 105         [XCD2_NODEID] = 2,
 106         [XCD3_NODEID] = 3,
 107         [XCD4_NODEID] = 4,
 108         [XCD5_NODEID] = 5,
 109         [XCD6_NODEID] = 6,
 110         [XCD7_NODEID] = 7,
 111 };
 112
 113 /**
 114  * amdgpu_irq_disable_all - disable *all* interrupts
 115  *
 116  * @adev: amdgpu device pointer
 117  *
 118  * Disable all types of interrupts from all sources.
 119  */
 120 void amdgpu_irq_disable_all(struct amdgpu_device *adev)
 121 {
 122         unsigned long irqflags;
 123         unsigned i, j, k;
 124         int r;
 125
 126         spin_lock_irqsave(&adev->irq.lock, irqflags);
 127         for (i = 0; i < AMDGPU_IRQ_CLIENTID_MAX; ++i) {
 128                 if (!adev->irq.client[i].sources)
 129                         continue;
 130
 131                 for (j = 0; j < AMDGPU_MAX_IRQ_SRC_ID; ++j) {
 132                         struct amdgpu_irq_src *src = adev->irq.client[i].sources[j];
 133
 134                         if (!src || !src->funcs->set || !src->num_types)
 135                                 continue;
 136
 137                         for (k = 0; k < src->num_types; ++k) {
 138                                 atomic_set(&src->enabled_types[k], 0);
 139                                 r = src->funcs->set(adev, src, k,
 140                                                     AMDGPU_IRQ_STATE_DISABLE);
 141                                 if (r)
 142                                         DRM_ERROR("error disabling interrupt (%d)\n",
 143                                                   r);
 144                         }
 145                 }
 146         }
 147         spin_unlock_irqrestore(&adev->irq.lock, irqflags);
 148 }
 149
 150 /**
 151  * amdgpu_irq_handler - IRQ handler
 152  *
 153  * @irq: IRQ number (unused)
 154  * @arg: pointer to DRM device
 155  *
 156  * IRQ handler for amdgpu driver (all ASICs).
 157  *
 158  * Returns:
 159  * result of handling the IRQ, as defined by &irqreturn_t
 160  */
 161 static irqreturn_t amdgpu_irq_handler(int irq, void *arg)
 162 {
 163         struct drm_device *dev = (struct drm_device *) arg;
 164         struct amdgpu_device *adev = drm_to_adev(dev);
 165         irqreturn_t ret;
 166
 167         ret = amdgpu_ih_process(adev, &adev->irq.ih);
 168         if (ret == IRQ_HANDLED)
 169                 pm_runtime_mark_last_busy(dev->dev);
 170
 171         amdgpu_ras_interrupt_fatal_error_handler(adev);
 172
 173         return ret;
 174 }
 175
 176 /**
 177  * amdgpu_irq_handle_ih1 - kick of processing for IH1
 178  *
 179  * @work: work structure in struct amdgpu_irq
 180  *
 181  * Kick of processing IH ring 1.
 182  */
 183 static void amdgpu_irq_handle_ih1(struct work_struct *work)
 184 {
 185         struct amdgpu_device *adev = container_of(work, struct amdgpu_device,
 186                                                   irq.ih1_work);
 187
 188         amdgpu_ih_process(adev, &adev->irq.ih1);
 189 }
 190
 191 /**
 192  * amdgpu_irq_handle_ih2 - kick of processing for IH2
 193  *
 194  * @work: work structure in struct amdgpu_irq
 195  *
 196  * Kick of processing IH ring 2.
 197  */
 198 static void amdgpu_irq_handle_ih2(struct work_struct *work)
 199 {
 200         struct amdgpu_device *adev = container_of(work, struct amdgpu_device,
 201                                                   irq.ih2_work);
 202
 203         amdgpu_ih_process(adev, &adev->irq.ih2);
 204 }
 205
 206 /**
 207  * amdgpu_irq_handle_ih_soft - kick of processing for ih_soft
 208  *
 209  * @work: work structure in struct amdgpu_irq
 210  *
 211  * Kick of processing IH soft ring.
 212  */
 213 static void amdgpu_irq_handle_ih_soft(struct work_struct *work)
 214 {
 215         struct amdgpu_device *adev = container_of(work, struct amdgpu_device,
 216                                                   irq.ih_soft_work);
 217
 218         amdgpu_ih_process(adev, &adev->irq.ih_soft);
 219 }
 220
 221 /**
 222  * amdgpu_msi_ok - check whether MSI functionality is enabled
 223  *
 224  * @adev: amdgpu device pointer (unused)
 225  *
 226  * Checks whether MSI functionality has been disabled via module parameter
 227  * (all ASICs).
 228  *
 229  * Returns:
 230  * *true* if MSIs are allowed to be enabled or *false* otherwise
 231  */
 232 static bool amdgpu_msi_ok(struct amdgpu_device *adev)
 233 {
 234         if (amdgpu_msi == 1)
 235                 return true;
 236         else if (amdgpu_msi == 0)
 237                 return false;
 238
 239         return true;
 240 }
 241
 242 static void amdgpu_restore_msix(struct amdgpu_device *adev)
 243 {
 244         u16 ctrl;
 245
 246         pci_read_config_word(adev->pdev, adev->pdev->msix_cap + PCI_MSIX_FLAGS, &ctrl);
 247         if (!(ctrl & PCI_MSIX_FLAGS_ENABLE))
 248                 return;
 249
 250         /* VF FLR */
 251         ctrl &= ~PCI_MSIX_FLAGS_ENABLE;
 252         pci_write_config_word(adev->pdev, adev->pdev->msix_cap + PCI_MSIX_FLAGS, ctrl);
 253         ctrl |= PCI_MSIX_FLAGS_ENABLE;
 254         pci_write_config_word(adev->pdev, adev->pdev->msix_cap + PCI_MSIX_FLAGS, ctrl);
 255 }
 256
 257 /**
 258  * amdgpu_irq_init - initialize interrupt handling
 259  *
 260  * @adev: amdgpu device pointer
 261  *
 262  * Sets up work functions for hotplug and reset interrupts, enables MSI
 263  * functionality, initializes vblank, hotplug and reset interrupt handling.
 264  *
 265  * Returns:
 266  * 0 on success or error code on failure
 267  */
 268 int amdgpu_irq_init(struct amdgpu_device *adev)
 269 {
 270         int r = 0;
 271         unsigned int irq;
 272
 273         spin_lock_init(&adev->irq.lock);
 274
 275         /* Enable MSI if not disabled by module parameter */
 276         adev->irq.msi_enabled = false;
 277
 278         if (amdgpu_msi_ok(adev)) {
 279                 int nvec = pci_msix_vec_count(adev->pdev);
 280                 unsigned int flags;
 281
 282                 if (nvec <= 0) {
 283                         flags = PCI_IRQ_MSI;
 284                 } else {
 285                         flags = PCI_IRQ_MSI | PCI_IRQ_MSIX;
 286                 }
 287                 /* we only need one vector */
 288                 nvec = pci_alloc_irq_vectors(adev->pdev, 1, 1, flags);
 289                 if (nvec > 0) {
 290                         adev->irq.msi_enabled = true;
 291                         dev_dbg(adev->dev, "using MSI/MSI-X.\n");
 292                 }
 293         }
 294
 295         INIT_WORK(&adev->irq.ih1_work, amdgpu_irq_handle_ih1);
 296         INIT_WORK(&adev->irq.ih2_work, amdgpu_irq_handle_ih2);
 297         INIT_WORK(&adev->irq.ih_soft_work, amdgpu_irq_handle_ih_soft);
 298
 299         /* Use vector 0 for MSI-X. */
 300         r = pci_irq_vector(adev->pdev, 0);
 301         if (r < 0)
 302                 return r;
 303         irq = r;
 304
 305         /* PCI devices require shared interrupts. */
 306         r = request_irq(irq, amdgpu_irq_handler, IRQF_SHARED, adev_to_drm(adev)->driver->name,
 307                         adev_to_drm(adev));
 308         if (r)
 309                 return r;
 310         adev->irq.installed = true;
 311         adev->irq.irq = irq;
 312         adev_to_drm(adev)->max_vblank_count = 0x00ffffff;
 313
 314         DRM_DEBUG("amdgpu: irq initialized.\n");
 315         return 0;
 316 }
 317
 318
 319 void amdgpu_irq_fini_hw(struct amdgpu_device *adev)
 320 {
 321         if (adev->irq.installed) {
 322                 free_irq(adev->irq.irq, adev_to_drm(adev));
 323                 adev->irq.installed = false;
 324                 if (adev->irq.msi_enabled)
 325                         pci_free_irq_vectors(adev->pdev);
 326         }
 327
 328         amdgpu_ih_ring_fini(adev, &adev->irq.ih_soft);
 329         amdgpu_ih_ring_fini(adev, &adev->irq.ih);
 330         amdgpu_ih_ring_fini(adev, &adev->irq.ih1);
 331         amdgpu_ih_ring_fini(adev, &adev->irq.ih2);
 332 }
 333
 334 /**
 335  * amdgpu_irq_fini_sw - shut down interrupt handling
 336  *
 337  * @adev: amdgpu device pointer
 338  *
 339  * Tears down work functions for hotplug and reset interrupts, disables MSI
 340  * functionality, shuts down vblank, hotplug and reset interrupt handling,
 341  * turns off interrupts from all sources (all ASICs).
 342  */
 343 void amdgpu_irq_fini_sw(struct amdgpu_device *adev)
 344 {
 345         unsigned i, j;
 346
 347         for (i = 0; i < AMDGPU_IRQ_CLIENTID_MAX; ++i) {
 348                 if (!adev->irq.client[i].sources)
 349                         continue;
 350
 351                 for (j = 0; j < AMDGPU_MAX_IRQ_SRC_ID; ++j) {
 352                         struct amdgpu_irq_src *src = adev->irq.client[i].sources[j];
 353
 354                         if (!src)
 355                                 continue;
 356
 357                         kfree(src->enabled_types);
 358                         src->enabled_types = NULL;
 359                 }
 360                 kfree(adev->irq.client[i].sources);
 361                 adev->irq.client[i].sources = NULL;
 362         }
 363 }
 364
 365 /**
 366  * amdgpu_irq_add_id - register IRQ source
 367  *
 368  * @adev: amdgpu device pointer
 369  * @client_id: client id
 370  * @src_id: source id
 371  * @source: IRQ source pointer
 372  *
 373  * Registers IRQ source on a client.
 374  *
 375  * Returns:
 376  * 0 on success or error code otherwise
 377  */
 378 int amdgpu_irq_add_id(struct amdgpu_device *adev,
 379                       unsigned client_id, unsigned src_id,
 380                       struct amdgpu_irq_src *source)
 381 {
 382         if (client_id >= AMDGPU_IRQ_CLIENTID_MAX)
 383                 return -EINVAL;
 384
 385         if (src_id >= AMDGPU_MAX_IRQ_SRC_ID)
 386                 return -EINVAL;
 387
 388         if (!source->funcs)
 389                 return -EINVAL;
 390
 391         if (!adev->irq.client[client_id].sources) {
 392                 adev->irq.client[client_id].sources =
 393                         kcalloc(AMDGPU_MAX_IRQ_SRC_ID,
 394                                 sizeof(struct amdgpu_irq_src *),
 395                                 GFP_KERNEL);
 396                 if (!adev->irq.client[client_id].sources)
 397                         return -ENOMEM;
 398         }
 399
 400         if (adev->irq.client[client_id].sources[src_id] != NULL)
 401                 return -EINVAL;
 402
 403         if (source->num_types && !source->enabled_types) {
 404                 atomic_t *types;
 405
 406                 types = kcalloc(source->num_types, sizeof(atomic_t),
 407                                 GFP_KERNEL);
 408                 if (!types)
 409                         return -ENOMEM;
 410
 411                 source->enabled_types = types;
 412         }
 413
 414         adev->irq.client[client_id].sources[src_id] = source;
 415         return 0;
 416 }
 417
 418 /**
 419  * amdgpu_irq_dispatch - dispatch IRQ to IP blocks
 420  *
 421  * @adev: amdgpu device pointer
 422  * @ih: interrupt ring instance
 423  *
 424  * Dispatches IRQ to IP blocks.
 425  */
 426 void amdgpu_irq_dispatch(struct amdgpu_device *adev,
 427                          struct amdgpu_ih_ring *ih)
 428 {
 429         u32 ring_index = ih->rptr >> 2;
 430         struct amdgpu_iv_entry entry;
 431         unsigned client_id, src_id;
 432         struct amdgpu_irq_src *src;
 433         bool handled = false;
 434         int r;
 435
 436         entry.ih = ih;
 437         entry.iv_entry = (const uint32_t *)&ih->ring[ring_index];
 438         amdgpu_ih_decode_iv(adev, &entry);
 439
 440         trace_amdgpu_iv(ih - &adev->irq.ih, &entry);
 441
 442         client_id = entry.client_id;
 443         src_id = entry.src_id;
 444
 445         if (client_id >= AMDGPU_IRQ_CLIENTID_MAX) {
 446                 DRM_DEBUG("Invalid client_id in IV: %d\n", client_id);
 447
 448         } else  if (src_id >= AMDGPU_MAX_IRQ_SRC_ID) {
 449                 DRM_DEBUG("Invalid src_id in IV: %d\n", src_id);
 450
 451         } else if ((client_id == AMDGPU_IRQ_CLIENTID_LEGACY) &&
 452                    adev->irq.virq[src_id]) {
 453                 generic_handle_domain_irq(adev->irq.domain, src_id);
 454
 455         } else if (!adev->irq.client[client_id].sources) {
 456                 DRM_DEBUG("Unregistered interrupt client_id: %d src_id: %d\n",
 457                           client_id, src_id);
 458
 459         } else if ((src = adev->irq.client[client_id].sources[src_id])) {
 460                 r = src->funcs->process(adev, src, &entry);
 461                 if (r < 0)
 462                         DRM_ERROR("error processing interrupt (%d)\n", r);
 463                 else if (r)
 464                         handled = true;
 465
 466         } else {
 467                 DRM_DEBUG("Unhandled interrupt src_id: %d\n", src_id);
 468         }
 469
 470         /* Send it to amdkfd as well if it isn't already handled */
 471         if (!handled)
 472                 amdgpu_amdkfd_interrupt(adev, entry.iv_entry);
 473
 474         if (amdgpu_ih_ts_after(ih->processed_timestamp, entry.timestamp))
 475                 ih->processed_timestamp = entry.timestamp;
 476 }
 477
 478 /**
 479  * amdgpu_irq_delegate - delegate IV to soft IH ring
 480  *
 481  * @adev: amdgpu device pointer
 482  * @entry: IV entry
 483  * @num_dw: size of IV
 484  *
 485  * Delegate the IV to the soft IH ring and schedule processing of it. Used
 486  * if the hardware delegation to IH1 or IH2 doesn't work for some reason.
 487  */
 488 void amdgpu_irq_delegate(struct amdgpu_device *adev,
 489                          struct amdgpu_iv_entry *entry,
 490                          unsigned int num_dw)
 491 {
 492         amdgpu_ih_ring_write(&adev->irq.ih_soft, entry->iv_entry, num_dw);
 493         schedule_work(&adev->irq.ih_soft_work);
 494 }
 495
 496 /**
 497  * amdgpu_irq_update - update hardware interrupt state
 498  *
 499  * @adev: amdgpu device pointer
 500  * @src: interrupt source pointer
 501  * @type: type of interrupt
 502  *
 503  * Updates interrupt state for the specific source (all ASICs).
 504  */
 505 int amdgpu_irq_update(struct amdgpu_device *adev,
 506                              struct amdgpu_irq_src *src, unsigned type)
 507 {
 508         unsigned long irqflags;
 509         enum amdgpu_interrupt_state state;
 510         int r;
 511
 512         spin_lock_irqsave(&adev->irq.lock, irqflags);
 513
 514         /* We need to determine after taking the lock, otherwise
 515            we might disable just enabled interrupts again */
 516         if (amdgpu_irq_enabled(adev, src, type))
 517                 state = AMDGPU_IRQ_STATE_ENABLE;
 518         else
 519                 state = AMDGPU_IRQ_STATE_DISABLE;
 520
 521         r = src->funcs->set(adev, src, type, state);
 522         spin_unlock_irqrestore(&adev->irq.lock, irqflags);
 523         return r;
 524 }
 525
 526 /**
 527  * amdgpu_irq_gpu_reset_resume_helper - update interrupt states on all sources
 528  *
 529  * @adev: amdgpu device pointer
 530  *
 531  * Updates state of all types of interrupts on all sources on resume after
 532  * reset.
 533  */
 534 void amdgpu_irq_gpu_reset_resume_helper(struct amdgpu_device *adev)
 535 {
 536         int i, j, k;
 537
 538         if (amdgpu_sriov_vf(adev) || amdgpu_passthrough(adev))
 539                 amdgpu_restore_msix(adev);
 540
 541         for (i = 0; i < AMDGPU_IRQ_CLIENTID_MAX; ++i) {
 542                 if (!adev->irq.client[i].sources)
 543                         continue;
 544
 545                 for (j = 0; j < AMDGPU_MAX_IRQ_SRC_ID; ++j) {
 546                         struct amdgpu_irq_src *src = adev->irq.client[i].sources[j];
 547
 548                         if (!src || !src->funcs || !src->funcs->set)
 549                                 continue;
 550                         for (k = 0; k < src->num_types; k++)
 551                                 amdgpu_irq_update(adev, src, k);
 552                 }
 553         }
 554 }
 555
 556 /**
 557  * amdgpu_irq_get - enable interrupt
 558  *
 559  * @adev: amdgpu device pointer
 560  * @src: interrupt source pointer
 561  * @type: type of interrupt
 562  *
 563  * Enables specified type of interrupt on the specified source (all ASICs).
 564  *
 565  * Returns:
 566  * 0 on success or error code otherwise
 567  */
 568 int amdgpu_irq_get(struct amdgpu_device *adev, struct amdgpu_irq_src *src,
 569                    unsigned type)
 570 {
 571         if (!adev->irq.installed)
 572                 return -ENOENT;
 573
 574         if (type >= src->num_types)
 575                 return -EINVAL;
 576
 577         if (!src->enabled_types || !src->funcs->set)
 578                 return -EINVAL;
 579
 580         if (atomic_inc_return(&src->enabled_types[type]) == 1)
 581                 return amdgpu_irq_update(adev, src, type);
 582
 583         return 0;
 584 }
 585
 586 /**
 587  * amdgpu_irq_put - disable interrupt
 588  *
 589  * @adev: amdgpu device pointer
 590  * @src: interrupt source pointer
 591  * @type: type of interrupt
 592  *
 593  * Enables specified type of interrupt on the specified source (all ASICs).
 594  *
 595  * Returns:
 596  * 0 on success or error code otherwise
 597  */
 598 int amdgpu_irq_put(struct amdgpu_device *adev, struct amdgpu_irq_src *src,
 599                    unsigned type)
 600 {
 601         if (!adev->irq.installed)
 602                 return -ENOENT;
 603
 604         if (type >= src->num_types)
 605                 return -EINVAL;
 606
 607         if (!src->enabled_types || !src->funcs->set)
 608                 return -EINVAL;
 609
 610         if (WARN_ON(!amdgpu_irq_enabled(adev, src, type)))
 611                 return -EINVAL;
 612
 613         if (atomic_dec_and_test(&src->enabled_types[type]))
 614                 return amdgpu_irq_update(adev, src, type);
 615
 616         return 0;
 617 }
 618
 619 /**
 620  * amdgpu_irq_enabled - check whether interrupt is enabled or not
 621  *
 622  * @adev: amdgpu device pointer
 623  * @src: interrupt source pointer
 624  * @type: type of interrupt
 625  *
 626  * Checks whether the given type of interrupt is enabled on the given source.
 627  *
 628  * Returns:
 629  * *true* if interrupt is enabled, *false* if interrupt is disabled or on
 630  * invalid parameters
 631  */
 632 bool amdgpu_irq_enabled(struct amdgpu_device *adev, struct amdgpu_irq_src *src,
 633                         unsigned type)
 634 {
 635         if (!adev->irq.installed)
 636                 return false;
 637
 638         if (type >= src->num_types)
 639                 return false;
 640
 641         if (!src->enabled_types || !src->funcs->set)
 642                 return false;
 643
 644         return !!atomic_read(&src->enabled_types[type]);
 645 }
 646
 647 /* XXX: Generic IRQ handling */
 648 static void amdgpu_irq_mask(struct irq_data *irqd)
 649 {
 650         /* XXX */
 651 }
 652
 653 static void amdgpu_irq_unmask(struct irq_data *irqd)
 654 {
 655         /* XXX */
 656 }
 657
 658 /* amdgpu hardware interrupt chip descriptor */
 659 static struct irq_chip amdgpu_irq_chip = {
 660         .name = "amdgpu-ih",
 661         .irq_mask = amdgpu_irq_mask,
 662         .irq_unmask = amdgpu_irq_unmask,
 663 };
 664
 665 /**
 666  * amdgpu_irqdomain_map - create mapping between virtual and hardware IRQ numbers
 667  *
 668  * @d: amdgpu IRQ domain pointer (unused)
 669  * @irq: virtual IRQ number
 670  * @hwirq: hardware irq number
 671  *
 672  * Current implementation assigns simple interrupt handler to the given virtual
 673  * IRQ.
 674  *
 675  * Returns:
 676  * 0 on success or error code otherwise
 677  */
 678 static int amdgpu_irqdomain_map(struct irq_domain *d,
 679                                 unsigned int irq, irq_hw_number_t hwirq)
 680 {
 681         if (hwirq >= AMDGPU_MAX_IRQ_SRC_ID)
 682                 return -EPERM;
 683
 684         irq_set_chip_and_handler(irq,
 685                                  &amdgpu_irq_chip, handle_simple_irq);
 686         return 0;
 687 }
 688
 689 /* Implementation of methods for amdgpu IRQ domain */
 690 static const struct irq_domain_ops amdgpu_hw_irqdomain_ops = {
 691         .map = amdgpu_irqdomain_map,
 692 };
 693
 694 /**
 695  * amdgpu_irq_add_domain - create a linear IRQ domain
 696  *
 697  * @adev: amdgpu device pointer
 698  *
 699  * Creates an IRQ domain for GPU interrupt sources
 700  * that may be driven by another driver (e.g., ACP).
 701  *
 702  * Returns:
 703  * 0 on success or error code otherwise
 704  */
 705 int amdgpu_irq_add_domain(struct amdgpu_device *adev)
 706 {
 707         adev->irq.domain = irq_domain_add_linear(NULL, AMDGPU_MAX_IRQ_SRC_ID,
 708                                                  &amdgpu_hw_irqdomain_ops, adev);
 709         if (!adev->irq.domain) {
 710                 DRM_ERROR("GPU irq add domain failed\n");
 711                 return -ENODEV;
 712         }
 713
 714         return 0;
 715 }
 716
 717 /**
 718  * amdgpu_irq_remove_domain - remove the IRQ domain
 719  *
 720  * @adev: amdgpu device pointer
 721  *
 722  * Removes the IRQ domain for GPU interrupt sources
 723  * that may be driven by another driver (e.g., ACP).
 724  */
 725 void amdgpu_irq_remove_domain(struct amdgpu_device *adev)
 726 {
 727         if (adev->irq.domain) {
 728                 irq_domain_remove(adev->irq.domain);
 729                 adev->irq.domain = NULL;
 730         }
 731 }
 732
 733 /**
 734  * amdgpu_irq_create_mapping - create mapping between domain Linux IRQs
 735  *
 736  * @adev: amdgpu device pointer
 737  * @src_id: IH source id
 738  *
 739  * Creates mapping between a domain IRQ (GPU IH src id) and a Linux IRQ
 740  * Use this for components that generate a GPU interrupt, but are driven
 741  * by a different driver (e.g., ACP).
 742  *
 743  * Returns:
 744  * Linux IRQ
 745  */
 746 unsigned amdgpu_irq_create_mapping(struct amdgpu_device *adev, unsigned src_id)
 747 {
 748         adev->irq.virq[src_id] = irq_create_mapping(adev->irq.domain, src_id);
 749
 750         return adev->irq.virq[src_id];
 751 }