drivers/pci/controller/dwc/pcie-designware.h

   1 /* SPDX-License-Identifier: GPL-2.0 */
   2 /*
   3  * Synopsys DesignWare PCIe host controller driver
   4  *
   5  * Copyright (C) 2013 Samsung Electronics Co., Ltd.
   6  *              https://www.samsung.com
   7  *
   8  * Author: Jingoo Han <[email protected]>
   9  */
  10
  11 #ifndef _PCIE_DESIGNWARE_H
  12 #define _PCIE_DESIGNWARE_H
  13
  14 #include <linux/bitfield.h>
  15 #include <linux/bitops.h>
  16 #include <linux/clk.h>
  17 #include <linux/dma-mapping.h>
  18 #include <linux/gpio/consumer.h>
  19 #include <linux/irq.h>
  20 #include <linux/msi.h>
  21 #include <linux/pci.h>
  22 #include <linux/reset.h>
  23
  24 #include <linux/pci-epc.h>
  25 #include <linux/pci-epf.h>
  26
  27 /* DWC PCIe IP-core versions (native support since v4.70a) */
  28 #define DW_PCIE_VER_365A                0x3336352a
  29 #define DW_PCIE_VER_460A                0x3436302a
  30 #define DW_PCIE_VER_470A                0x3437302a
  31 #define DW_PCIE_VER_480A                0x3438302a
  32 #define DW_PCIE_VER_490A                0x3439302a
  33 #define DW_PCIE_VER_520A                0x3532302a
  34
  35 #define __dw_pcie_ver_cmp(_pci, _ver, _op) \
  36         ((_pci)->version _op DW_PCIE_VER_ ## _ver)
  37
  38 #define dw_pcie_ver_is(_pci, _ver) __dw_pcie_ver_cmp(_pci, _ver, ==)
  39
  40 #define dw_pcie_ver_is_ge(_pci, _ver) __dw_pcie_ver_cmp(_pci, _ver, >=)
  41
  42 #define dw_pcie_ver_type_is(_pci, _ver, _type) \
  43         (__dw_pcie_ver_cmp(_pci, _ver, ==) && \
  44          __dw_pcie_ver_cmp(_pci, TYPE_ ## _type, ==))
  45
  46 #define dw_pcie_ver_type_is_ge(_pci, _ver, _type) \
  47         (__dw_pcie_ver_cmp(_pci, _ver, ==) && \
  48          __dw_pcie_ver_cmp(_pci, TYPE_ ## _type, >=))
  49
  50 /* DWC PCIe controller capabilities */
  51 #define DW_PCIE_CAP_REQ_RES             0
  52 #define DW_PCIE_CAP_IATU_UNROLL         1
  53 #define DW_PCIE_CAP_CDM_CHECK           2
  54
  55 #define dw_pcie_cap_is(_pci, _cap) \
  56         test_bit(DW_PCIE_CAP_ ## _cap, &(_pci)->caps)
  57
  58 #define dw_pcie_cap_set(_pci, _cap) \
  59         set_bit(DW_PCIE_CAP_ ## _cap, &(_pci)->caps)
  60
  61 /* Parameters for the waiting for link up routine */
  62 #define LINK_WAIT_MAX_RETRIES           10
  63 #define LINK_WAIT_USLEEP_MIN            90000
  64 #define LINK_WAIT_USLEEP_MAX            100000
  65
  66 /* Parameters for the waiting for iATU enabled routine */
  67 #define LINK_WAIT_MAX_IATU_RETRIES      5
  68 #define LINK_WAIT_IATU                  9
  69
  70 /* Synopsys-specific PCIe configuration registers */
  71 #define PCIE_PORT_AFR                   0x70C
  72 #define PORT_AFR_N_FTS_MASK             GENMASK(15, 8)
  73 #define PORT_AFR_N_FTS(n)               FIELD_PREP(PORT_AFR_N_FTS_MASK, n)
  74 #define PORT_AFR_CC_N_FTS_MASK          GENMASK(23, 16)
  75 #define PORT_AFR_CC_N_FTS(n)            FIELD_PREP(PORT_AFR_CC_N_FTS_MASK, n)
  76 #define PORT_AFR_ENTER_ASPM             BIT(30)
  77 #define PORT_AFR_L0S_ENTRANCE_LAT_SHIFT 24
  78 #define PORT_AFR_L0S_ENTRANCE_LAT_MASK  GENMASK(26, 24)
  79 #define PORT_AFR_L1_ENTRANCE_LAT_SHIFT  27
  80 #define PORT_AFR_L1_ENTRANCE_LAT_MASK   GENMASK(29, 27)
  81
  82 #define PCIE_PORT_LINK_CONTROL          0x710
  83 #define PORT_LINK_DLL_LINK_EN           BIT(5)
  84 #define PORT_LINK_FAST_LINK_MODE        BIT(7)
  85 #define PORT_LINK_MODE_MASK             GENMASK(21, 16)
  86 #define PORT_LINK_MODE(n)               FIELD_PREP(PORT_LINK_MODE_MASK, n)
  87 #define PORT_LINK_MODE_1_LANES          PORT_LINK_MODE(0x1)
  88 #define PORT_LINK_MODE_2_LANES          PORT_LINK_MODE(0x3)
  89 #define PORT_LINK_MODE_4_LANES          PORT_LINK_MODE(0x7)
  90 #define PORT_LINK_MODE_8_LANES          PORT_LINK_MODE(0xf)
  91
  92 #define PCIE_PORT_DEBUG0                0x728
  93 #define PORT_LOGIC_LTSSM_STATE_MASK     0x1f
  94 #define PORT_LOGIC_LTSSM_STATE_L0       0x11
  95 #define PCIE_PORT_DEBUG1                0x72C
  96 #define PCIE_PORT_DEBUG1_LINK_UP                BIT(4)
  97 #define PCIE_PORT_DEBUG1_LINK_IN_TRAINING       BIT(29)
  98
  99 #define PCIE_LINK_WIDTH_SPEED_CONTROL   0x80C
 100 #define PORT_LOGIC_N_FTS_MASK           GENMASK(7, 0)
 101 #define PORT_LOGIC_SPEED_CHANGE         BIT(17)
 102 #define PORT_LOGIC_LINK_WIDTH_MASK      GENMASK(12, 8)
 103 #define PORT_LOGIC_LINK_WIDTH(n)        FIELD_PREP(PORT_LOGIC_LINK_WIDTH_MASK, n)
 104 #define PORT_LOGIC_LINK_WIDTH_1_LANES   PORT_LOGIC_LINK_WIDTH(0x1)
 105 #define PORT_LOGIC_LINK_WIDTH_2_LANES   PORT_LOGIC_LINK_WIDTH(0x2)
 106 #define PORT_LOGIC_LINK_WIDTH_4_LANES   PORT_LOGIC_LINK_WIDTH(0x4)
 107 #define PORT_LOGIC_LINK_WIDTH_8_LANES   PORT_LOGIC_LINK_WIDTH(0x8)
 108
 109 #define PCIE_MSI_ADDR_LO                0x820
 110 #define PCIE_MSI_ADDR_HI                0x824
 111 #define PCIE_MSI_INTR0_ENABLE           0x828
 112 #define PCIE_MSI_INTR0_MASK             0x82C
 113 #define PCIE_MSI_INTR0_STATUS           0x830
 114
 115 #define GEN3_RELATED_OFF                        0x890
 116 #define GEN3_RELATED_OFF_GEN3_ZRXDC_NONCOMPL    BIT(0)
 117 #define GEN3_RELATED_OFF_RXEQ_RGRDLESS_RXTS     BIT(13)
 118 #define GEN3_RELATED_OFF_GEN3_EQ_DISABLE        BIT(16)
 119 #define GEN3_RELATED_OFF_RATE_SHADOW_SEL_SHIFT  24
 120 #define GEN3_RELATED_OFF_RATE_SHADOW_SEL_MASK   GENMASK(25, 24)
 121
 122 #define PCIE_PORT_MULTI_LANE_CTRL       0x8C0
 123 #define PORT_MLTI_UPCFG_SUPPORT         BIT(7)
 124
 125 #define PCIE_VERSION_NUMBER             0x8F8
 126 #define PCIE_VERSION_TYPE               0x8FC
 127
 128 /*
 129  * iATU inbound and outbound windows CSRs. Before the IP-core v4.80a each
 130  * iATU region CSRs had been indirectly accessible by means of the dedicated
 131  * viewport selector. The iATU/eDMA CSRs space was re-designed in DWC PCIe
 132  * v4.80a in a way so the viewport was unrolled into the directly accessible
 133  * iATU/eDMA CSRs space.
 134  */
 135 #define PCIE_ATU_VIEWPORT               0x900
 136 #define PCIE_ATU_REGION_DIR_IB          BIT(31)
 137 #define PCIE_ATU_REGION_DIR_OB          0
 138 #define PCIE_ATU_VIEWPORT_BASE          0x904
 139 #define PCIE_ATU_UNROLL_BASE(dir, index) \
 140         (((index) << 9) | ((dir == PCIE_ATU_REGION_DIR_IB) ? BIT(8) : 0))
 141 #define PCIE_ATU_VIEWPORT_SIZE          0x2C
 142 #define PCIE_ATU_REGION_CTRL1           0x000
 143 #define PCIE_ATU_INCREASE_REGION_SIZE   BIT(13)
 144 #define PCIE_ATU_TYPE_MEM               0x0
 145 #define PCIE_ATU_TYPE_IO                0x2
 146 #define PCIE_ATU_TYPE_CFG0              0x4
 147 #define PCIE_ATU_TYPE_CFG1              0x5
 148 #define PCIE_ATU_TD                     BIT(8)
 149 #define PCIE_ATU_FUNC_NUM(pf)           ((pf) << 20)
 150 #define PCIE_ATU_REGION_CTRL2           0x004
 151 #define PCIE_ATU_ENABLE                 BIT(31)
 152 #define PCIE_ATU_BAR_MODE_ENABLE        BIT(30)
 153 #define PCIE_ATU_FUNC_NUM_MATCH_EN      BIT(19)
 154 #define PCIE_ATU_LOWER_BASE             0x008
 155 #define PCIE_ATU_UPPER_BASE             0x00C
 156 #define PCIE_ATU_LIMIT                  0x010
 157 #define PCIE_ATU_LOWER_TARGET           0x014
 158 #define PCIE_ATU_BUS(x)                 FIELD_PREP(GENMASK(31, 24), x)
 159 #define PCIE_ATU_DEV(x)                 FIELD_PREP(GENMASK(23, 19), x)
 160 #define PCIE_ATU_FUNC(x)                FIELD_PREP(GENMASK(18, 16), x)
 161 #define PCIE_ATU_UPPER_TARGET           0x018
 162 #define PCIE_ATU_UPPER_LIMIT            0x020
 163
 164 #define PCIE_MISC_CONTROL_1_OFF         0x8BC
 165 #define PCIE_DBI_RO_WR_EN               BIT(0)
 166
 167 #define PCIE_MSIX_DOORBELL              0x948
 168 #define PCIE_MSIX_DOORBELL_PF_SHIFT     24
 169
 170 #define PCIE_PL_CHK_REG_CONTROL_STATUS                  0xB20
 171 #define PCIE_PL_CHK_REG_CHK_REG_START                   BIT(0)
 172 #define PCIE_PL_CHK_REG_CHK_REG_CONTINUOUS              BIT(1)
 173 #define PCIE_PL_CHK_REG_CHK_REG_COMPARISON_ERROR        BIT(16)
 174 #define PCIE_PL_CHK_REG_CHK_REG_LOGIC_ERROR             BIT(17)
 175 #define PCIE_PL_CHK_REG_CHK_REG_COMPLETE                BIT(18)
 176
 177 #define PCIE_PL_CHK_REG_ERR_ADDR                        0xB28
 178
 179 /*
 180  * iATU Unroll-specific register definitions
 181  * From 4.80 core version the address translation will be made by unroll
 182  */
 183 #define PCIE_ATU_UNR_REGION_CTRL1       0x00
 184 #define PCIE_ATU_UNR_REGION_CTRL2       0x04
 185 #define PCIE_ATU_UNR_LOWER_BASE         0x08
 186 #define PCIE_ATU_UNR_UPPER_BASE         0x0C
 187 #define PCIE_ATU_UNR_LOWER_LIMIT        0x10
 188 #define PCIE_ATU_UNR_LOWER_TARGET       0x14
 189 #define PCIE_ATU_UNR_UPPER_TARGET       0x18
 190 #define PCIE_ATU_UNR_UPPER_LIMIT        0x20
 191
 192 /*
 193  * RAS-DES register definitions
 194  */
 195 #define PCIE_RAS_DES_EVENT_COUNTER_CONTROL      0x8
 196 #define EVENT_COUNTER_ALL_CLEAR         0x3
 197 #define EVENT_COUNTER_ENABLE_ALL        0x7
 198 #define EVENT_COUNTER_ENABLE_SHIFT      2
 199 #define EVENT_COUNTER_EVENT_SEL_MASK    GENMASK(7, 0)
 200 #define EVENT_COUNTER_EVENT_SEL_SHIFT   16
 201 #define EVENT_COUNTER_EVENT_Tx_L0S      0x2
 202 #define EVENT_COUNTER_EVENT_Rx_L0S      0x3
 203 #define EVENT_COUNTER_EVENT_L1          0x5
 204 #define EVENT_COUNTER_EVENT_L1_1        0x7
 205 #define EVENT_COUNTER_EVENT_L1_2        0x8
 206 #define EVENT_COUNTER_GROUP_SEL_SHIFT   24
 207 #define EVENT_COUNTER_GROUP_5           0x5
 208
 209 #define PCIE_RAS_DES_EVENT_COUNTER_DATA         0xc
 210
 211 /*
 212  * The default address offset between dbi_base and atu_base. Root controller
 213  * drivers are not required to initialize atu_base if the offset matches this
 214  * default; the driver core automatically derives atu_base from dbi_base using
 215  * this offset, if atu_base not set.
 216  */
 217 #define DEFAULT_DBI_ATU_OFFSET (0x3 << 20)
 218
 219 #define MAX_MSI_IRQS                    256
 220 #define MAX_MSI_IRQS_PER_CTRL           32
 221 #define MAX_MSI_CTRLS                   (MAX_MSI_IRQS / MAX_MSI_IRQS_PER_CTRL)
 222 #define MSI_REG_CTRL_BLOCK_SIZE         12
 223 #define MSI_DEF_NUM_VECTORS             32
 224
 225 /* Maximum number of inbound/outbound iATUs */
 226 #define MAX_IATU_IN                     256
 227 #define MAX_IATU_OUT                    256
 228
 229 struct dw_pcie;
 230 struct dw_pcie_rp;
 231 struct dw_pcie_ep;
 232
 233 enum dw_pcie_device_mode {
 234         DW_PCIE_UNKNOWN_TYPE,
 235         DW_PCIE_EP_TYPE,
 236         DW_PCIE_LEG_EP_TYPE,
 237         DW_PCIE_RC_TYPE,
 238 };
 239
 240 enum dw_pcie_app_clk {
 241         DW_PCIE_DBI_CLK,
 242         DW_PCIE_MSTR_CLK,
 243         DW_PCIE_SLV_CLK,
 244         DW_PCIE_NUM_APP_CLKS
 245 };
 246
 247 enum dw_pcie_core_clk {
 248         DW_PCIE_PIPE_CLK,
 249         DW_PCIE_CORE_CLK,
 250         DW_PCIE_AUX_CLK,
 251         DW_PCIE_REF_CLK,
 252         DW_PCIE_NUM_CORE_CLKS
 253 };
 254
 255 enum dw_pcie_app_rst {
 256         DW_PCIE_DBI_RST,
 257         DW_PCIE_MSTR_RST,
 258         DW_PCIE_SLV_RST,
 259         DW_PCIE_NUM_APP_RSTS
 260 };
 261
 262 enum dw_pcie_core_rst {
 263         DW_PCIE_NON_STICKY_RST,
 264         DW_PCIE_STICKY_RST,
 265         DW_PCIE_CORE_RST,
 266         DW_PCIE_PIPE_RST,
 267         DW_PCIE_PHY_RST,
 268         DW_PCIE_HOT_RST,
 269         DW_PCIE_PWR_RST,
 270         DW_PCIE_NUM_CORE_RSTS
 271 };
 272
 273 struct dw_pcie_host_ops {
 274         int (*host_init)(struct dw_pcie_rp *pp);
 275         void (*host_deinit)(struct dw_pcie_rp *pp);
 276         int (*msi_host_init)(struct dw_pcie_rp *pp);
 277 };
 278
 279 struct dw_pcie_rp {
 280         bool                    has_msi_ctrl:1;
 281         bool                    cfg0_io_shared:1;
 282         u64                     cfg0_base;
 283         void __iomem            *va_cfg0_base;
 284         u32                     cfg0_size;
 285         resource_size_t         io_base;
 286         phys_addr_t             io_bus_addr;
 287         u32                     io_size;
 288         int                     irq;
 289         const struct dw_pcie_host_ops *ops;
 290         int                     msi_irq[MAX_MSI_CTRLS];
 291         struct irq_domain       *irq_domain;
 292         struct irq_domain       *msi_domain;
 293         dma_addr_t              msi_data;
 294         struct irq_chip         *msi_irq_chip;
 295         u32                     num_vectors;
 296         u32                     irq_mask[MAX_MSI_CTRLS];
 297         struct pci_host_bridge  *bridge;
 298         raw_spinlock_t          lock;
 299         DECLARE_BITMAP(msi_irq_in_use, MAX_MSI_IRQS);
 300 };
 301
 302 struct dw_pcie_ep_ops {
 303         void    (*ep_init)(struct dw_pcie_ep *ep);
 304         int     (*raise_irq)(struct dw_pcie_ep *ep, u8 func_no,
 305                              enum pci_epc_irq_type type, u16 interrupt_num);
 306         const struct pci_epc_features* (*get_features)(struct dw_pcie_ep *ep);
 307         /*
 308          * Provide a method to implement the different func config space
 309          * access for different platform, if different func have different
 310          * offset, return the offset of func. if use write a register way
 311          * return a 0, and implement code in callback function of platform
 312          * driver.
 313          */
 314         unsigned int (*func_conf_select)(struct dw_pcie_ep *ep, u8 func_no);
 315 };
 316
 317 struct dw_pcie_ep_func {
 318         struct list_head        list;
 319         u8                      func_no;
 320         u8                      msi_cap;        /* MSI capability offset */
 321         u8                      msix_cap;       /* MSI-X capability offset */
 322 };
 323
 324 struct dw_pcie_ep {
 325         struct pci_epc          *epc;
 326         struct list_head        func_list;
 327         const struct dw_pcie_ep_ops *ops;
 328         phys_addr_t             phys_base;
 329         size_t                  addr_size;
 330         size_t                  page_size;
 331         u8                      bar_to_atu[PCI_STD_NUM_BARS];
 332         phys_addr_t             *outbound_addr;
 333         unsigned long           *ib_window_map;
 334         unsigned long           *ob_window_map;
 335         void __iomem            *msi_mem;
 336         phys_addr_t             msi_mem_phys;
 337         struct pci_epf_bar      *epf_bar[PCI_STD_NUM_BARS];
 338 };
 339
 340 struct dw_pcie_ops {
 341         u64     (*cpu_addr_fixup)(struct dw_pcie *pcie, u64 cpu_addr);
 342         u32     (*read_dbi)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
 343                             size_t size);
 344         void    (*write_dbi)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
 345                              size_t size, u32 val);
 346         void    (*write_dbi2)(struct dw_pcie *pcie, void __iomem *base, u32 reg,
 347                               size_t size, u32 val);
 348         int     (*link_up)(struct dw_pcie *pcie);
 349         int     (*start_link)(struct dw_pcie *pcie);
 350         void    (*stop_link)(struct dw_pcie *pcie);
 351 };
 352
 353 struct dw_pcie {
 354         struct device           *dev;
 355         void __iomem            *dbi_base;
 356         void __iomem            *dbi_base2;
 357         void __iomem            *atu_base;
 358         size_t                  atu_size;
 359         u32                     num_ib_windows;
 360         u32                     num_ob_windows;
 361         u32                     region_align;
 362         u64                     region_limit;
 363         struct dw_pcie_rp       pp;
 364         struct dw_pcie_ep       ep;
 365         const struct dw_pcie_ops *ops;
 366         u32                     version;
 367         u32                     type;
 368         unsigned long           caps;
 369         int                     num_lanes;
 370         int                     link_gen;
 371         u8                      n_fts[2];
 372         struct clk_bulk_data    app_clks[DW_PCIE_NUM_APP_CLKS];
 373         struct clk_bulk_data    core_clks[DW_PCIE_NUM_CORE_CLKS];
 374         struct reset_control_bulk_data  app_rsts[DW_PCIE_NUM_APP_RSTS];
 375         struct reset_control_bulk_data  core_rsts[DW_PCIE_NUM_CORE_RSTS];
 376         struct gpio_desc                *pe_rst;
 377 };
 378
 379 #define to_dw_pcie_from_pp(port) container_of((port), struct dw_pcie, pp)
 380
 381 #define to_dw_pcie_from_ep(endpoint)   \
 382                 container_of((endpoint), struct dw_pcie, ep)
 383
 384 int dw_pcie_get_resources(struct dw_pcie *pci);
 385
 386 void dw_pcie_version_detect(struct dw_pcie *pci);
 387
 388 u8 dw_pcie_find_capability(struct dw_pcie *pci, u8 cap);
 389 u16 dw_pcie_find_ext_capability(struct dw_pcie *pci, u8 cap);
 390
 391 int dw_pcie_read(void __iomem *addr, int size, u32 *val);
 392 int dw_pcie_write(void __iomem *addr, int size, u32 val);
 393
 394 u32 dw_pcie_read_dbi(struct dw_pcie *pci, u32 reg, size_t size);
 395 void dw_pcie_write_dbi(struct dw_pcie *pci, u32 reg, size_t size, u32 val);
 396 void dw_pcie_write_dbi2(struct dw_pcie *pci, u32 reg, size_t size, u32 val);
 397 int dw_pcie_link_up(struct dw_pcie *pci);
 398 void dw_pcie_upconfig_setup(struct dw_pcie *pci);
 399 int dw_pcie_wait_for_link(struct dw_pcie *pci);
 400 int dw_pcie_prog_outbound_atu(struct dw_pcie *pci, int index, int type,
 401                               u64 cpu_addr, u64 pci_addr, u64 size);
 402 int dw_pcie_prog_ep_outbound_atu(struct dw_pcie *pci, u8 func_no, int index,
 403                                  int type, u64 cpu_addr, u64 pci_addr, u64 size);
 404 int dw_pcie_prog_inbound_atu(struct dw_pcie *pci, int index, int type,
 405                              u64 cpu_addr, u64 pci_addr, u64 size);
 406 int dw_pcie_prog_ep_inbound_atu(struct dw_pcie *pci, u8 func_no, int index,
 407                                 int type, u64 cpu_addr, u8 bar);
 408 void dw_pcie_disable_atu(struct dw_pcie *pci, u32 dir, int index);
 409 void dw_pcie_setup(struct dw_pcie *pci);
 410 void dw_pcie_iatu_detect(struct dw_pcie *pci);
 411
 412 static inline void dw_pcie_writel_dbi(struct dw_pcie *pci, u32 reg, u32 val)
 413 {
 414         dw_pcie_write_dbi(pci, reg, 0x4, val);
 415 }
 416
 417 static inline u32 dw_pcie_readl_dbi(struct dw_pcie *pci, u32 reg)
 418 {
 419         return dw_pcie_read_dbi(pci, reg, 0x4);
 420 }
 421
 422 static inline void dw_pcie_writew_dbi(struct dw_pcie *pci, u32 reg, u16 val)
 423 {
 424         dw_pcie_write_dbi(pci, reg, 0x2, val);
 425 }
 426
 427 static inline u16 dw_pcie_readw_dbi(struct dw_pcie *pci, u32 reg)
 428 {
 429         return dw_pcie_read_dbi(pci, reg, 0x2);
 430 }
 431
 432 static inline void dw_pcie_writeb_dbi(struct dw_pcie *pci, u32 reg, u8 val)
 433 {
 434         dw_pcie_write_dbi(pci, reg, 0x1, val);
 435 }
 436
 437 static inline u8 dw_pcie_readb_dbi(struct dw_pcie *pci, u32 reg)
 438 {
 439         return dw_pcie_read_dbi(pci, reg, 0x1);
 440 }
 441
 442 static inline void dw_pcie_writel_dbi2(struct dw_pcie *pci, u32 reg, u32 val)
 443 {
 444         dw_pcie_write_dbi2(pci, reg, 0x4, val);
 445 }
 446
 447 static inline void dw_pcie_dbi_ro_wr_en(struct dw_pcie *pci)
 448 {
 449         u32 reg;
 450         u32 val;
 451
 452         reg = PCIE_MISC_CONTROL_1_OFF;
 453         val = dw_pcie_readl_dbi(pci, reg);
 454         val |= PCIE_DBI_RO_WR_EN;
 455         dw_pcie_writel_dbi(pci, reg, val);
 456 }
 457
 458 static inline void dw_pcie_dbi_ro_wr_dis(struct dw_pcie *pci)
 459 {
 460         u32 reg;
 461         u32 val;
 462
 463         reg = PCIE_MISC_CONTROL_1_OFF;
 464         val = dw_pcie_readl_dbi(pci, reg);
 465         val &= ~PCIE_DBI_RO_WR_EN;
 466         dw_pcie_writel_dbi(pci, reg, val);
 467 }
 468
 469 static inline int dw_pcie_start_link(struct dw_pcie *pci)
 470 {
 471         if (pci->ops && pci->ops->start_link)
 472                 return pci->ops->start_link(pci);
 473
 474         return 0;
 475 }
 476
 477 static inline void dw_pcie_stop_link(struct dw_pcie *pci)
 478 {
 479         if (pci->ops && pci->ops->stop_link)
 480                 pci->ops->stop_link(pci);
 481 }
 482
 483 #ifdef CONFIG_PCIE_DW_HOST
 484 irqreturn_t dw_handle_msi_irq(struct dw_pcie_rp *pp);
 485 int dw_pcie_setup_rc(struct dw_pcie_rp *pp);
 486 int dw_pcie_host_init(struct dw_pcie_rp *pp);
 487 void dw_pcie_host_deinit(struct dw_pcie_rp *pp);
 488 int dw_pcie_allocate_domains(struct dw_pcie_rp *pp);
 489 void __iomem *dw_pcie_own_conf_map_bus(struct pci_bus *bus, unsigned int devfn,
 490                                        int where);
 491 #else
 492 static inline irqreturn_t dw_handle_msi_irq(struct dw_pcie_rp *pp)
 493 {
 494         return IRQ_NONE;
 495 }
 496
 497 static inline int dw_pcie_setup_rc(struct dw_pcie_rp *pp)
 498 {
 499         return 0;
 500 }
 501
 502 static inline int dw_pcie_host_init(struct dw_pcie_rp *pp)
 503 {
 504         return 0;
 505 }
 506
 507 static inline void dw_pcie_host_deinit(struct dw_pcie_rp *pp)
 508 {
 509 }
 510
 511 static inline int dw_pcie_allocate_domains(struct dw_pcie_rp *pp)
 512 {
 513         return 0;
 514 }
 515 static inline void __iomem *dw_pcie_own_conf_map_bus(struct pci_bus *bus,
 516                                                      unsigned int devfn,
 517                                                      int where)
 518 {
 519         return NULL;
 520 }
 521 #endif
 522
 523 #ifdef CONFIG_PCIE_DW_EP
 524 void dw_pcie_ep_linkup(struct dw_pcie_ep *ep);
 525 int dw_pcie_ep_init(struct dw_pcie_ep *ep);
 526 int dw_pcie_ep_init_complete(struct dw_pcie_ep *ep);
 527 void dw_pcie_ep_init_notify(struct dw_pcie_ep *ep);
 528 void dw_pcie_ep_exit(struct dw_pcie_ep *ep);
 529 int dw_pcie_ep_raise_legacy_irq(struct dw_pcie_ep *ep, u8 func_no);
 530 int dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep *ep, u8 func_no,
 531                              u8 interrupt_num);
 532 int dw_pcie_ep_raise_msix_irq(struct dw_pcie_ep *ep, u8 func_no,
 533                              u16 interrupt_num);
 534 int dw_pcie_ep_raise_msix_irq_doorbell(struct dw_pcie_ep *ep, u8 func_no,
 535                                        u16 interrupt_num);
 536 void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar);
 537 struct dw_pcie_ep_func *
 538 dw_pcie_ep_get_func_from_ep(struct dw_pcie_ep *ep, u8 func_no);
 539 #else
 540 static inline void dw_pcie_ep_linkup(struct dw_pcie_ep *ep)
 541 {
 542 }
 543
 544 static inline int dw_pcie_ep_init(struct dw_pcie_ep *ep)
 545 {
 546         return 0;
 547 }
 548
 549 static inline int dw_pcie_ep_init_complete(struct dw_pcie_ep *ep)
 550 {
 551         return 0;
 552 }
 553
 554 static inline void dw_pcie_ep_init_notify(struct dw_pcie_ep *ep)
 555 {
 556 }
 557
 558 static inline void dw_pcie_ep_exit(struct dw_pcie_ep *ep)
 559 {
 560 }
 561
 562 static inline int dw_pcie_ep_raise_legacy_irq(struct dw_pcie_ep *ep, u8 func_no)
 563 {
 564         return 0;
 565 }
 566
 567 static inline int dw_pcie_ep_raise_msi_irq(struct dw_pcie_ep *ep, u8 func_no,
 568                                            u8 interrupt_num)
 569 {
 570         return 0;
 571 }
 572
 573 static inline int dw_pcie_ep_raise_msix_irq(struct dw_pcie_ep *ep, u8 func_no,
 574                                            u16 interrupt_num)
 575 {
 576         return 0;
 577 }
 578
 579 static inline int dw_pcie_ep_raise_msix_irq_doorbell(struct dw_pcie_ep *ep,
 580                                                      u8 func_no,
 581                                                      u16 interrupt_num)
 582 {
 583         return 0;
 584 }
 585
 586 static inline void dw_pcie_ep_reset_bar(struct dw_pcie *pci, enum pci_barno bar)
 587 {
 588 }
 589
 590 static inline struct dw_pcie_ep_func *
 591 dw_pcie_ep_get_func_from_ep(struct dw_pcie_ep *ep, u8 func_no)
 592 {
 593         return NULL;
 594 }
 595 #endif
 596 #endif /* _PCIE_DESIGNWARE_H */