]> Git Repo - linux.git/blob - drivers/net/ethernet/mediatek/airoha_eth.c
Linux 6.14-rc3
[linux.git] / drivers / net / ethernet / mediatek / airoha_eth.c
1 // SPDX-License-Identifier: GPL-2.0-only
2 /*
3  * Copyright (c) 2024 AIROHA Inc
4  * Author: Lorenzo Bianconi <[email protected]>
5  */
6 #include <linux/etherdevice.h>
7 #include <linux/iopoll.h>
8 #include <linux/kernel.h>
9 #include <linux/netdevice.h>
10 #include <linux/of.h>
11 #include <linux/of_net.h>
12 #include <linux/platform_device.h>
13 #include <linux/reset.h>
14 #include <linux/tcp.h>
15 #include <linux/u64_stats_sync.h>
16 #include <net/dsa.h>
17 #include <net/page_pool/helpers.h>
18 #include <net/pkt_cls.h>
19 #include <uapi/linux/ppp_defs.h>
20
21 #define AIROHA_MAX_NUM_GDM_PORTS        1
22 #define AIROHA_MAX_NUM_QDMA             2
23 #define AIROHA_MAX_NUM_RSTS             3
24 #define AIROHA_MAX_NUM_XSI_RSTS         5
25 #define AIROHA_MAX_MTU                  2000
26 #define AIROHA_MAX_PACKET_SIZE          2048
27 #define AIROHA_NUM_QOS_CHANNELS         4
28 #define AIROHA_NUM_QOS_QUEUES           8
29 #define AIROHA_NUM_TX_RING              32
30 #define AIROHA_NUM_RX_RING              32
31 #define AIROHA_NUM_NETDEV_TX_RINGS      (AIROHA_NUM_TX_RING + \
32                                          AIROHA_NUM_QOS_CHANNELS)
33 #define AIROHA_FE_MC_MAX_VLAN_TABLE     64
34 #define AIROHA_FE_MC_MAX_VLAN_PORT      16
35 #define AIROHA_NUM_TX_IRQ               2
36 #define HW_DSCP_NUM                     2048
37 #define IRQ_QUEUE_LEN(_n)               ((_n) ? 1024 : 2048)
38 #define TX_DSCP_NUM                     1024
39 #define RX_DSCP_NUM(_n)                 \
40         ((_n) ==  2 ? 128 :             \
41          (_n) == 11 ? 128 :             \
42          (_n) == 15 ? 128 :             \
43          (_n) ==  0 ? 1024 : 16)
44
45 #define PSE_RSV_PAGES                   128
46 #define PSE_QUEUE_RSV_PAGES             64
47
48 #define QDMA_METER_IDX(_n)              ((_n) & 0xff)
49 #define QDMA_METER_GROUP(_n)            (((_n) >> 8) & 0x3)
50
51 /* FE */
52 #define PSE_BASE                        0x0100
53 #define CSR_IFC_BASE                    0x0200
54 #define CDM1_BASE                       0x0400
55 #define GDM1_BASE                       0x0500
56 #define PPE1_BASE                       0x0c00
57
58 #define CDM2_BASE                       0x1400
59 #define GDM2_BASE                       0x1500
60
61 #define GDM3_BASE                       0x1100
62 #define GDM4_BASE                       0x2500
63
64 #define GDM_BASE(_n)                    \
65         ((_n) == 4 ? GDM4_BASE :        \
66          (_n) == 3 ? GDM3_BASE :        \
67          (_n) == 2 ? GDM2_BASE : GDM1_BASE)
68
69 #define REG_FE_DMA_GLO_CFG              0x0000
70 #define FE_DMA_GLO_L2_SPACE_MASK        GENMASK(7, 4)
71 #define FE_DMA_GLO_PG_SZ_MASK           BIT(3)
72
73 #define REG_FE_RST_GLO_CFG              0x0004
74 #define FE_RST_GDM4_MBI_ARB_MASK        BIT(3)
75 #define FE_RST_GDM3_MBI_ARB_MASK        BIT(2)
76 #define FE_RST_CORE_MASK                BIT(0)
77
78 #define REG_FE_WAN_MAC_H                0x0030
79 #define REG_FE_LAN_MAC_H                0x0040
80
81 #define REG_FE_MAC_LMIN(_n)             ((_n) + 0x04)
82 #define REG_FE_MAC_LMAX(_n)             ((_n) + 0x08)
83
84 #define REG_FE_CDM1_OQ_MAP0             0x0050
85 #define REG_FE_CDM1_OQ_MAP1             0x0054
86 #define REG_FE_CDM1_OQ_MAP2             0x0058
87 #define REG_FE_CDM1_OQ_MAP3             0x005c
88
89 #define REG_FE_PCE_CFG                  0x0070
90 #define PCE_DPI_EN_MASK                 BIT(2)
91 #define PCE_KA_EN_MASK                  BIT(1)
92 #define PCE_MC_EN_MASK                  BIT(0)
93
94 #define REG_FE_PSE_QUEUE_CFG_WR         0x0080
95 #define PSE_CFG_PORT_ID_MASK            GENMASK(27, 24)
96 #define PSE_CFG_QUEUE_ID_MASK           GENMASK(20, 16)
97 #define PSE_CFG_WR_EN_MASK              BIT(8)
98 #define PSE_CFG_OQRSV_SEL_MASK          BIT(0)
99
100 #define REG_FE_PSE_QUEUE_CFG_VAL        0x0084
101 #define PSE_CFG_OQ_RSV_MASK             GENMASK(13, 0)
102
103 #define PSE_FQ_CFG                      0x008c
104 #define PSE_FQ_LIMIT_MASK               GENMASK(14, 0)
105
106 #define REG_FE_PSE_BUF_SET              0x0090
107 #define PSE_SHARE_USED_LTHD_MASK        GENMASK(31, 16)
108 #define PSE_ALLRSV_MASK                 GENMASK(14, 0)
109
110 #define REG_PSE_SHARE_USED_THD          0x0094
111 #define PSE_SHARE_USED_MTHD_MASK        GENMASK(31, 16)
112 #define PSE_SHARE_USED_HTHD_MASK        GENMASK(15, 0)
113
114 #define REG_GDM_MISC_CFG                0x0148
115 #define GDM2_RDM_ACK_WAIT_PREF_MASK     BIT(9)
116 #define GDM2_CHN_VLD_MODE_MASK          BIT(5)
117
118 #define REG_FE_CSR_IFC_CFG              CSR_IFC_BASE
119 #define FE_IFC_EN_MASK                  BIT(0)
120
121 #define REG_FE_VIP_PORT_EN              0x01f0
122 #define REG_FE_IFC_PORT_EN              0x01f4
123
124 #define REG_PSE_IQ_REV1                 (PSE_BASE + 0x08)
125 #define PSE_IQ_RES1_P2_MASK             GENMASK(23, 16)
126
127 #define REG_PSE_IQ_REV2                 (PSE_BASE + 0x0c)
128 #define PSE_IQ_RES2_P5_MASK             GENMASK(15, 8)
129 #define PSE_IQ_RES2_P4_MASK             GENMASK(7, 0)
130
131 #define REG_FE_VIP_EN(_n)               (0x0300 + ((_n) << 3))
132 #define PATN_FCPU_EN_MASK               BIT(7)
133 #define PATN_SWP_EN_MASK                BIT(6)
134 #define PATN_DP_EN_MASK                 BIT(5)
135 #define PATN_SP_EN_MASK                 BIT(4)
136 #define PATN_TYPE_MASK                  GENMASK(3, 1)
137 #define PATN_EN_MASK                    BIT(0)
138
139 #define REG_FE_VIP_PATN(_n)             (0x0304 + ((_n) << 3))
140 #define PATN_DP_MASK                    GENMASK(31, 16)
141 #define PATN_SP_MASK                    GENMASK(15, 0)
142
143 #define REG_CDM1_VLAN_CTRL              CDM1_BASE
144 #define CDM1_VLAN_MASK                  GENMASK(31, 16)
145
146 #define REG_CDM1_FWD_CFG                (CDM1_BASE + 0x08)
147 #define CDM1_VIP_QSEL_MASK              GENMASK(24, 20)
148
149 #define REG_CDM1_CRSN_QSEL(_n)          (CDM1_BASE + 0x10 + ((_n) << 2))
150 #define CDM1_CRSN_QSEL_REASON_MASK(_n)  \
151         GENMASK(4 + (((_n) % 4) << 3),  (((_n) % 4) << 3))
152
153 #define REG_CDM2_FWD_CFG                (CDM2_BASE + 0x08)
154 #define CDM2_OAM_QSEL_MASK              GENMASK(31, 27)
155 #define CDM2_VIP_QSEL_MASK              GENMASK(24, 20)
156
157 #define REG_CDM2_CRSN_QSEL(_n)          (CDM2_BASE + 0x10 + ((_n) << 2))
158 #define CDM2_CRSN_QSEL_REASON_MASK(_n)  \
159         GENMASK(4 + (((_n) % 4) << 3),  (((_n) % 4) << 3))
160
161 #define REG_GDM_FWD_CFG(_n)             GDM_BASE(_n)
162 #define GDM_DROP_CRC_ERR                BIT(23)
163 #define GDM_IP4_CKSUM                   BIT(22)
164 #define GDM_TCP_CKSUM                   BIT(21)
165 #define GDM_UDP_CKSUM                   BIT(20)
166 #define GDM_UCFQ_MASK                   GENMASK(15, 12)
167 #define GDM_BCFQ_MASK                   GENMASK(11, 8)
168 #define GDM_MCFQ_MASK                   GENMASK(7, 4)
169 #define GDM_OCFQ_MASK                   GENMASK(3, 0)
170
171 #define REG_GDM_INGRESS_CFG(_n)         (GDM_BASE(_n) + 0x10)
172 #define GDM_INGRESS_FC_EN_MASK          BIT(1)
173 #define GDM_STAG_EN_MASK                BIT(0)
174
175 #define REG_GDM_LEN_CFG(_n)             (GDM_BASE(_n) + 0x14)
176 #define GDM_SHORT_LEN_MASK              GENMASK(13, 0)
177 #define GDM_LONG_LEN_MASK               GENMASK(29, 16)
178
179 #define REG_FE_CPORT_CFG                (GDM1_BASE + 0x40)
180 #define FE_CPORT_PAD                    BIT(26)
181 #define FE_CPORT_PORT_XFC_MASK          BIT(25)
182 #define FE_CPORT_QUEUE_XFC_MASK         BIT(24)
183
184 #define REG_FE_GDM_MIB_CLEAR(_n)        (GDM_BASE(_n) + 0xf0)
185 #define FE_GDM_MIB_RX_CLEAR_MASK        BIT(1)
186 #define FE_GDM_MIB_TX_CLEAR_MASK        BIT(0)
187
188 #define REG_FE_GDM1_MIB_CFG             (GDM1_BASE + 0xf4)
189 #define FE_STRICT_RFC2819_MODE_MASK     BIT(31)
190 #define FE_GDM1_TX_MIB_SPLIT_EN_MASK    BIT(17)
191 #define FE_GDM1_RX_MIB_SPLIT_EN_MASK    BIT(16)
192 #define FE_TX_MIB_ID_MASK               GENMASK(15, 8)
193 #define FE_RX_MIB_ID_MASK               GENMASK(7, 0)
194
195 #define REG_FE_GDM_TX_OK_PKT_CNT_L(_n)          (GDM_BASE(_n) + 0x104)
196 #define REG_FE_GDM_TX_OK_BYTE_CNT_L(_n)         (GDM_BASE(_n) + 0x10c)
197 #define REG_FE_GDM_TX_ETH_PKT_CNT_L(_n)         (GDM_BASE(_n) + 0x110)
198 #define REG_FE_GDM_TX_ETH_BYTE_CNT_L(_n)        (GDM_BASE(_n) + 0x114)
199 #define REG_FE_GDM_TX_ETH_DROP_CNT(_n)          (GDM_BASE(_n) + 0x118)
200 #define REG_FE_GDM_TX_ETH_BC_CNT(_n)            (GDM_BASE(_n) + 0x11c)
201 #define REG_FE_GDM_TX_ETH_MC_CNT(_n)            (GDM_BASE(_n) + 0x120)
202 #define REG_FE_GDM_TX_ETH_RUNT_CNT(_n)          (GDM_BASE(_n) + 0x124)
203 #define REG_FE_GDM_TX_ETH_LONG_CNT(_n)          (GDM_BASE(_n) + 0x128)
204 #define REG_FE_GDM_TX_ETH_E64_CNT_L(_n)         (GDM_BASE(_n) + 0x12c)
205 #define REG_FE_GDM_TX_ETH_L64_CNT_L(_n)         (GDM_BASE(_n) + 0x130)
206 #define REG_FE_GDM_TX_ETH_L127_CNT_L(_n)        (GDM_BASE(_n) + 0x134)
207 #define REG_FE_GDM_TX_ETH_L255_CNT_L(_n)        (GDM_BASE(_n) + 0x138)
208 #define REG_FE_GDM_TX_ETH_L511_CNT_L(_n)        (GDM_BASE(_n) + 0x13c)
209 #define REG_FE_GDM_TX_ETH_L1023_CNT_L(_n)       (GDM_BASE(_n) + 0x140)
210
211 #define REG_FE_GDM_RX_OK_PKT_CNT_L(_n)          (GDM_BASE(_n) + 0x148)
212 #define REG_FE_GDM_RX_FC_DROP_CNT(_n)           (GDM_BASE(_n) + 0x14c)
213 #define REG_FE_GDM_RX_RC_DROP_CNT(_n)           (GDM_BASE(_n) + 0x150)
214 #define REG_FE_GDM_RX_OVERFLOW_DROP_CNT(_n)     (GDM_BASE(_n) + 0x154)
215 #define REG_FE_GDM_RX_ERROR_DROP_CNT(_n)        (GDM_BASE(_n) + 0x158)
216 #define REG_FE_GDM_RX_OK_BYTE_CNT_L(_n)         (GDM_BASE(_n) + 0x15c)
217 #define REG_FE_GDM_RX_ETH_PKT_CNT_L(_n)         (GDM_BASE(_n) + 0x160)
218 #define REG_FE_GDM_RX_ETH_BYTE_CNT_L(_n)        (GDM_BASE(_n) + 0x164)
219 #define REG_FE_GDM_RX_ETH_DROP_CNT(_n)          (GDM_BASE(_n) + 0x168)
220 #define REG_FE_GDM_RX_ETH_BC_CNT(_n)            (GDM_BASE(_n) + 0x16c)
221 #define REG_FE_GDM_RX_ETH_MC_CNT(_n)            (GDM_BASE(_n) + 0x170)
222 #define REG_FE_GDM_RX_ETH_CRC_ERR_CNT(_n)       (GDM_BASE(_n) + 0x174)
223 #define REG_FE_GDM_RX_ETH_FRAG_CNT(_n)          (GDM_BASE(_n) + 0x178)
224 #define REG_FE_GDM_RX_ETH_JABBER_CNT(_n)        (GDM_BASE(_n) + 0x17c)
225 #define REG_FE_GDM_RX_ETH_RUNT_CNT(_n)          (GDM_BASE(_n) + 0x180)
226 #define REG_FE_GDM_RX_ETH_LONG_CNT(_n)          (GDM_BASE(_n) + 0x184)
227 #define REG_FE_GDM_RX_ETH_E64_CNT_L(_n)         (GDM_BASE(_n) + 0x188)
228 #define REG_FE_GDM_RX_ETH_L64_CNT_L(_n)         (GDM_BASE(_n) + 0x18c)
229 #define REG_FE_GDM_RX_ETH_L127_CNT_L(_n)        (GDM_BASE(_n) + 0x190)
230 #define REG_FE_GDM_RX_ETH_L255_CNT_L(_n)        (GDM_BASE(_n) + 0x194)
231 #define REG_FE_GDM_RX_ETH_L511_CNT_L(_n)        (GDM_BASE(_n) + 0x198)
232 #define REG_FE_GDM_RX_ETH_L1023_CNT_L(_n)       (GDM_BASE(_n) + 0x19c)
233
234 #define REG_PPE1_TB_HASH_CFG            (PPE1_BASE + 0x250)
235 #define PPE1_SRAM_TABLE_EN_MASK         BIT(0)
236 #define PPE1_SRAM_HASH1_EN_MASK         BIT(8)
237 #define PPE1_DRAM_TABLE_EN_MASK         BIT(16)
238 #define PPE1_DRAM_HASH1_EN_MASK         BIT(24)
239
240 #define REG_FE_GDM_TX_OK_PKT_CNT_H(_n)          (GDM_BASE(_n) + 0x280)
241 #define REG_FE_GDM_TX_OK_BYTE_CNT_H(_n)         (GDM_BASE(_n) + 0x284)
242 #define REG_FE_GDM_TX_ETH_PKT_CNT_H(_n)         (GDM_BASE(_n) + 0x288)
243 #define REG_FE_GDM_TX_ETH_BYTE_CNT_H(_n)        (GDM_BASE(_n) + 0x28c)
244
245 #define REG_FE_GDM_RX_OK_PKT_CNT_H(_n)          (GDM_BASE(_n) + 0x290)
246 #define REG_FE_GDM_RX_OK_BYTE_CNT_H(_n)         (GDM_BASE(_n) + 0x294)
247 #define REG_FE_GDM_RX_ETH_PKT_CNT_H(_n)         (GDM_BASE(_n) + 0x298)
248 #define REG_FE_GDM_RX_ETH_BYTE_CNT_H(_n)        (GDM_BASE(_n) + 0x29c)
249 #define REG_FE_GDM_TX_ETH_E64_CNT_H(_n)         (GDM_BASE(_n) + 0x2b8)
250 #define REG_FE_GDM_TX_ETH_L64_CNT_H(_n)         (GDM_BASE(_n) + 0x2bc)
251 #define REG_FE_GDM_TX_ETH_L127_CNT_H(_n)        (GDM_BASE(_n) + 0x2c0)
252 #define REG_FE_GDM_TX_ETH_L255_CNT_H(_n)        (GDM_BASE(_n) + 0x2c4)
253 #define REG_FE_GDM_TX_ETH_L511_CNT_H(_n)        (GDM_BASE(_n) + 0x2c8)
254 #define REG_FE_GDM_TX_ETH_L1023_CNT_H(_n)       (GDM_BASE(_n) + 0x2cc)
255 #define REG_FE_GDM_RX_ETH_E64_CNT_H(_n)         (GDM_BASE(_n) + 0x2e8)
256 #define REG_FE_GDM_RX_ETH_L64_CNT_H(_n)         (GDM_BASE(_n) + 0x2ec)
257 #define REG_FE_GDM_RX_ETH_L127_CNT_H(_n)        (GDM_BASE(_n) + 0x2f0)
258 #define REG_FE_GDM_RX_ETH_L255_CNT_H(_n)        (GDM_BASE(_n) + 0x2f4)
259 #define REG_FE_GDM_RX_ETH_L511_CNT_H(_n)        (GDM_BASE(_n) + 0x2f8)
260 #define REG_FE_GDM_RX_ETH_L1023_CNT_H(_n)       (GDM_BASE(_n) + 0x2fc)
261
262 #define REG_GDM2_CHN_RLS                (GDM2_BASE + 0x20)
263 #define MBI_RX_AGE_SEL_MASK             GENMASK(26, 25)
264 #define MBI_TX_AGE_SEL_MASK             GENMASK(18, 17)
265
266 #define REG_GDM3_FWD_CFG                GDM3_BASE
267 #define GDM3_PAD_EN_MASK                BIT(28)
268
269 #define REG_GDM4_FWD_CFG                GDM4_BASE
270 #define GDM4_PAD_EN_MASK                BIT(28)
271 #define GDM4_SPORT_OFFSET0_MASK         GENMASK(11, 8)
272
273 #define REG_GDM4_SRC_PORT_SET           (GDM4_BASE + 0x23c)
274 #define GDM4_SPORT_OFF2_MASK            GENMASK(19, 16)
275 #define GDM4_SPORT_OFF1_MASK            GENMASK(15, 12)
276 #define GDM4_SPORT_OFF0_MASK            GENMASK(11, 8)
277
278 #define REG_IP_FRAG_FP                  0x2010
279 #define IP_ASSEMBLE_PORT_MASK           GENMASK(24, 21)
280 #define IP_ASSEMBLE_NBQ_MASK            GENMASK(20, 16)
281 #define IP_FRAGMENT_PORT_MASK           GENMASK(8, 5)
282 #define IP_FRAGMENT_NBQ_MASK            GENMASK(4, 0)
283
284 #define REG_MC_VLAN_EN                  0x2100
285 #define MC_VLAN_EN_MASK                 BIT(0)
286
287 #define REG_MC_VLAN_CFG                 0x2104
288 #define MC_VLAN_CFG_CMD_DONE_MASK       BIT(31)
289 #define MC_VLAN_CFG_TABLE_ID_MASK       GENMASK(21, 16)
290 #define MC_VLAN_CFG_PORT_ID_MASK        GENMASK(11, 8)
291 #define MC_VLAN_CFG_TABLE_SEL_MASK      BIT(4)
292 #define MC_VLAN_CFG_RW_MASK             BIT(0)
293
294 #define REG_MC_VLAN_DATA                0x2108
295
296 #define REG_CDM5_RX_OQ1_DROP_CNT        0x29d4
297
298 /* QDMA */
299 #define REG_QDMA_GLOBAL_CFG                     0x0004
300 #define GLOBAL_CFG_RX_2B_OFFSET_MASK            BIT(31)
301 #define GLOBAL_CFG_DMA_PREFERENCE_MASK          GENMASK(30, 29)
302 #define GLOBAL_CFG_CPU_TXR_RR_MASK              BIT(28)
303 #define GLOBAL_CFG_DSCP_BYTE_SWAP_MASK          BIT(27)
304 #define GLOBAL_CFG_PAYLOAD_BYTE_SWAP_MASK       BIT(26)
305 #define GLOBAL_CFG_MULTICAST_MODIFY_FP_MASK     BIT(25)
306 #define GLOBAL_CFG_OAM_MODIFY_MASK              BIT(24)
307 #define GLOBAL_CFG_RESET_MASK                   BIT(23)
308 #define GLOBAL_CFG_RESET_DONE_MASK              BIT(22)
309 #define GLOBAL_CFG_MULTICAST_EN_MASK            BIT(21)
310 #define GLOBAL_CFG_IRQ1_EN_MASK                 BIT(20)
311 #define GLOBAL_CFG_IRQ0_EN_MASK                 BIT(19)
312 #define GLOBAL_CFG_LOOPCNT_EN_MASK              BIT(18)
313 #define GLOBAL_CFG_RD_BYPASS_WR_MASK            BIT(17)
314 #define GLOBAL_CFG_QDMA_LOOPBACK_MASK           BIT(16)
315 #define GLOBAL_CFG_LPBK_RXQ_SEL_MASK            GENMASK(13, 8)
316 #define GLOBAL_CFG_CHECK_DONE_MASK              BIT(7)
317 #define GLOBAL_CFG_TX_WB_DONE_MASK              BIT(6)
318 #define GLOBAL_CFG_MAX_ISSUE_NUM_MASK           GENMASK(5, 4)
319 #define GLOBAL_CFG_RX_DMA_BUSY_MASK             BIT(3)
320 #define GLOBAL_CFG_RX_DMA_EN_MASK               BIT(2)
321 #define GLOBAL_CFG_TX_DMA_BUSY_MASK             BIT(1)
322 #define GLOBAL_CFG_TX_DMA_EN_MASK               BIT(0)
323
324 #define REG_FWD_DSCP_BASE                       0x0010
325 #define REG_FWD_BUF_BASE                        0x0014
326
327 #define REG_HW_FWD_DSCP_CFG                     0x0018
328 #define HW_FWD_DSCP_PAYLOAD_SIZE_MASK           GENMASK(29, 28)
329 #define HW_FWD_DSCP_SCATTER_LEN_MASK            GENMASK(17, 16)
330 #define HW_FWD_DSCP_MIN_SCATTER_LEN_MASK        GENMASK(15, 0)
331
332 #define REG_INT_STATUS(_n)              \
333         (((_n) == 4) ? 0x0730 :         \
334          ((_n) == 3) ? 0x0724 :         \
335          ((_n) == 2) ? 0x0720 :         \
336          ((_n) == 1) ? 0x0024 : 0x0020)
337
338 #define REG_INT_ENABLE(_n)              \
339         (((_n) == 4) ? 0x0750 :         \
340          ((_n) == 3) ? 0x0744 :         \
341          ((_n) == 2) ? 0x0740 :         \
342          ((_n) == 1) ? 0x002c : 0x0028)
343
344 /* QDMA_CSR_INT_ENABLE1 */
345 #define RX15_COHERENT_INT_MASK          BIT(31)
346 #define RX14_COHERENT_INT_MASK          BIT(30)
347 #define RX13_COHERENT_INT_MASK          BIT(29)
348 #define RX12_COHERENT_INT_MASK          BIT(28)
349 #define RX11_COHERENT_INT_MASK          BIT(27)
350 #define RX10_COHERENT_INT_MASK          BIT(26)
351 #define RX9_COHERENT_INT_MASK           BIT(25)
352 #define RX8_COHERENT_INT_MASK           BIT(24)
353 #define RX7_COHERENT_INT_MASK           BIT(23)
354 #define RX6_COHERENT_INT_MASK           BIT(22)
355 #define RX5_COHERENT_INT_MASK           BIT(21)
356 #define RX4_COHERENT_INT_MASK           BIT(20)
357 #define RX3_COHERENT_INT_MASK           BIT(19)
358 #define RX2_COHERENT_INT_MASK           BIT(18)
359 #define RX1_COHERENT_INT_MASK           BIT(17)
360 #define RX0_COHERENT_INT_MASK           BIT(16)
361 #define TX7_COHERENT_INT_MASK           BIT(15)
362 #define TX6_COHERENT_INT_MASK           BIT(14)
363 #define TX5_COHERENT_INT_MASK           BIT(13)
364 #define TX4_COHERENT_INT_MASK           BIT(12)
365 #define TX3_COHERENT_INT_MASK           BIT(11)
366 #define TX2_COHERENT_INT_MASK           BIT(10)
367 #define TX1_COHERENT_INT_MASK           BIT(9)
368 #define TX0_COHERENT_INT_MASK           BIT(8)
369 #define CNT_OVER_FLOW_INT_MASK          BIT(7)
370 #define IRQ1_FULL_INT_MASK              BIT(5)
371 #define IRQ1_INT_MASK                   BIT(4)
372 #define HWFWD_DSCP_LOW_INT_MASK         BIT(3)
373 #define HWFWD_DSCP_EMPTY_INT_MASK       BIT(2)
374 #define IRQ0_FULL_INT_MASK              BIT(1)
375 #define IRQ0_INT_MASK                   BIT(0)
376
377 #define TX_DONE_INT_MASK(_n)                                    \
378         ((_n) ? IRQ1_INT_MASK | IRQ1_FULL_INT_MASK              \
379               : IRQ0_INT_MASK | IRQ0_FULL_INT_MASK)
380
381 #define INT_TX_MASK                                             \
382         (IRQ1_INT_MASK | IRQ1_FULL_INT_MASK |                   \
383          IRQ0_INT_MASK | IRQ0_FULL_INT_MASK)
384
385 #define INT_IDX0_MASK                                           \
386         (TX0_COHERENT_INT_MASK | TX1_COHERENT_INT_MASK |        \
387          TX2_COHERENT_INT_MASK | TX3_COHERENT_INT_MASK |        \
388          TX4_COHERENT_INT_MASK | TX5_COHERENT_INT_MASK |        \
389          TX6_COHERENT_INT_MASK | TX7_COHERENT_INT_MASK |        \
390          RX0_COHERENT_INT_MASK | RX1_COHERENT_INT_MASK |        \
391          RX2_COHERENT_INT_MASK | RX3_COHERENT_INT_MASK |        \
392          RX4_COHERENT_INT_MASK | RX7_COHERENT_INT_MASK |        \
393          RX8_COHERENT_INT_MASK | RX9_COHERENT_INT_MASK |        \
394          RX15_COHERENT_INT_MASK | INT_TX_MASK)
395
396 /* QDMA_CSR_INT_ENABLE2 */
397 #define RX15_NO_CPU_DSCP_INT_MASK       BIT(31)
398 #define RX14_NO_CPU_DSCP_INT_MASK       BIT(30)
399 #define RX13_NO_CPU_DSCP_INT_MASK       BIT(29)
400 #define RX12_NO_CPU_DSCP_INT_MASK       BIT(28)
401 #define RX11_NO_CPU_DSCP_INT_MASK       BIT(27)
402 #define RX10_NO_CPU_DSCP_INT_MASK       BIT(26)
403 #define RX9_NO_CPU_DSCP_INT_MASK        BIT(25)
404 #define RX8_NO_CPU_DSCP_INT_MASK        BIT(24)
405 #define RX7_NO_CPU_DSCP_INT_MASK        BIT(23)
406 #define RX6_NO_CPU_DSCP_INT_MASK        BIT(22)
407 #define RX5_NO_CPU_DSCP_INT_MASK        BIT(21)
408 #define RX4_NO_CPU_DSCP_INT_MASK        BIT(20)
409 #define RX3_NO_CPU_DSCP_INT_MASK        BIT(19)
410 #define RX2_NO_CPU_DSCP_INT_MASK        BIT(18)
411 #define RX1_NO_CPU_DSCP_INT_MASK        BIT(17)
412 #define RX0_NO_CPU_DSCP_INT_MASK        BIT(16)
413 #define RX15_DONE_INT_MASK              BIT(15)
414 #define RX14_DONE_INT_MASK              BIT(14)
415 #define RX13_DONE_INT_MASK              BIT(13)
416 #define RX12_DONE_INT_MASK              BIT(12)
417 #define RX11_DONE_INT_MASK              BIT(11)
418 #define RX10_DONE_INT_MASK              BIT(10)
419 #define RX9_DONE_INT_MASK               BIT(9)
420 #define RX8_DONE_INT_MASK               BIT(8)
421 #define RX7_DONE_INT_MASK               BIT(7)
422 #define RX6_DONE_INT_MASK               BIT(6)
423 #define RX5_DONE_INT_MASK               BIT(5)
424 #define RX4_DONE_INT_MASK               BIT(4)
425 #define RX3_DONE_INT_MASK               BIT(3)
426 #define RX2_DONE_INT_MASK               BIT(2)
427 #define RX1_DONE_INT_MASK               BIT(1)
428 #define RX0_DONE_INT_MASK               BIT(0)
429
430 #define RX_DONE_INT_MASK                                        \
431         (RX0_DONE_INT_MASK | RX1_DONE_INT_MASK |                \
432          RX2_DONE_INT_MASK | RX3_DONE_INT_MASK |                \
433          RX4_DONE_INT_MASK | RX7_DONE_INT_MASK |                \
434          RX8_DONE_INT_MASK | RX9_DONE_INT_MASK |                \
435          RX15_DONE_INT_MASK)
436 #define INT_IDX1_MASK                                           \
437         (RX_DONE_INT_MASK |                                     \
438          RX0_NO_CPU_DSCP_INT_MASK | RX1_NO_CPU_DSCP_INT_MASK |  \
439          RX2_NO_CPU_DSCP_INT_MASK | RX3_NO_CPU_DSCP_INT_MASK |  \
440          RX4_NO_CPU_DSCP_INT_MASK | RX7_NO_CPU_DSCP_INT_MASK |  \
441          RX8_NO_CPU_DSCP_INT_MASK | RX9_NO_CPU_DSCP_INT_MASK |  \
442          RX15_NO_CPU_DSCP_INT_MASK)
443
444 /* QDMA_CSR_INT_ENABLE5 */
445 #define TX31_COHERENT_INT_MASK          BIT(31)
446 #define TX30_COHERENT_INT_MASK          BIT(30)
447 #define TX29_COHERENT_INT_MASK          BIT(29)
448 #define TX28_COHERENT_INT_MASK          BIT(28)
449 #define TX27_COHERENT_INT_MASK          BIT(27)
450 #define TX26_COHERENT_INT_MASK          BIT(26)
451 #define TX25_COHERENT_INT_MASK          BIT(25)
452 #define TX24_COHERENT_INT_MASK          BIT(24)
453 #define TX23_COHERENT_INT_MASK          BIT(23)
454 #define TX22_COHERENT_INT_MASK          BIT(22)
455 #define TX21_COHERENT_INT_MASK          BIT(21)
456 #define TX20_COHERENT_INT_MASK          BIT(20)
457 #define TX19_COHERENT_INT_MASK          BIT(19)
458 #define TX18_COHERENT_INT_MASK          BIT(18)
459 #define TX17_COHERENT_INT_MASK          BIT(17)
460 #define TX16_COHERENT_INT_MASK          BIT(16)
461 #define TX15_COHERENT_INT_MASK          BIT(15)
462 #define TX14_COHERENT_INT_MASK          BIT(14)
463 #define TX13_COHERENT_INT_MASK          BIT(13)
464 #define TX12_COHERENT_INT_MASK          BIT(12)
465 #define TX11_COHERENT_INT_MASK          BIT(11)
466 #define TX10_COHERENT_INT_MASK          BIT(10)
467 #define TX9_COHERENT_INT_MASK           BIT(9)
468 #define TX8_COHERENT_INT_MASK           BIT(8)
469
470 #define INT_IDX4_MASK                                           \
471         (TX8_COHERENT_INT_MASK | TX9_COHERENT_INT_MASK |        \
472          TX10_COHERENT_INT_MASK | TX11_COHERENT_INT_MASK |      \
473          TX12_COHERENT_INT_MASK | TX13_COHERENT_INT_MASK |      \
474          TX14_COHERENT_INT_MASK | TX15_COHERENT_INT_MASK |      \
475          TX16_COHERENT_INT_MASK | TX17_COHERENT_INT_MASK |      \
476          TX18_COHERENT_INT_MASK | TX19_COHERENT_INT_MASK |      \
477          TX20_COHERENT_INT_MASK | TX21_COHERENT_INT_MASK |      \
478          TX22_COHERENT_INT_MASK | TX23_COHERENT_INT_MASK |      \
479          TX24_COHERENT_INT_MASK | TX25_COHERENT_INT_MASK |      \
480          TX26_COHERENT_INT_MASK | TX27_COHERENT_INT_MASK |      \
481          TX28_COHERENT_INT_MASK | TX29_COHERENT_INT_MASK |      \
482          TX30_COHERENT_INT_MASK | TX31_COHERENT_INT_MASK)
483
484 #define REG_TX_IRQ_BASE(_n)             ((_n) ? 0x0048 : 0x0050)
485
486 #define REG_TX_IRQ_CFG(_n)              ((_n) ? 0x004c : 0x0054)
487 #define TX_IRQ_THR_MASK                 GENMASK(27, 16)
488 #define TX_IRQ_DEPTH_MASK               GENMASK(11, 0)
489
490 #define REG_IRQ_CLEAR_LEN(_n)           ((_n) ? 0x0064 : 0x0058)
491 #define IRQ_CLEAR_LEN_MASK              GENMASK(7, 0)
492
493 #define REG_IRQ_STATUS(_n)              ((_n) ? 0x0068 : 0x005c)
494 #define IRQ_ENTRY_LEN_MASK              GENMASK(27, 16)
495 #define IRQ_HEAD_IDX_MASK               GENMASK(11, 0)
496
497 #define REG_TX_RING_BASE(_n)    \
498         (((_n) < 8) ? 0x0100 + ((_n) << 5) : 0x0b00 + (((_n) - 8) << 5))
499
500 #define REG_TX_RING_BLOCKING(_n)        \
501         (((_n) < 8) ? 0x0104 + ((_n) << 5) : 0x0b04 + (((_n) - 8) << 5))
502
503 #define TX_RING_IRQ_BLOCKING_MAP_MASK                   BIT(6)
504 #define TX_RING_IRQ_BLOCKING_CFG_MASK                   BIT(4)
505 #define TX_RING_IRQ_BLOCKING_TX_DROP_EN_MASK            BIT(2)
506 #define TX_RING_IRQ_BLOCKING_MAX_TH_TXRING_EN_MASK      BIT(1)
507 #define TX_RING_IRQ_BLOCKING_MIN_TH_TXRING_EN_MASK      BIT(0)
508
509 #define REG_TX_CPU_IDX(_n)      \
510         (((_n) < 8) ? 0x0108 + ((_n) << 5) : 0x0b08 + (((_n) - 8) << 5))
511
512 #define TX_RING_CPU_IDX_MASK            GENMASK(15, 0)
513
514 #define REG_TX_DMA_IDX(_n)      \
515         (((_n) < 8) ? 0x010c + ((_n) << 5) : 0x0b0c + (((_n) - 8) << 5))
516
517 #define TX_RING_DMA_IDX_MASK            GENMASK(15, 0)
518
519 #define IRQ_RING_IDX_MASK               GENMASK(20, 16)
520 #define IRQ_DESC_IDX_MASK               GENMASK(15, 0)
521
522 #define REG_RX_RING_BASE(_n)    \
523         (((_n) < 16) ? 0x0200 + ((_n) << 5) : 0x0e00 + (((_n) - 16) << 5))
524
525 #define REG_RX_RING_SIZE(_n)    \
526         (((_n) < 16) ? 0x0204 + ((_n) << 5) : 0x0e04 + (((_n) - 16) << 5))
527
528 #define RX_RING_THR_MASK                GENMASK(31, 16)
529 #define RX_RING_SIZE_MASK               GENMASK(15, 0)
530
531 #define REG_RX_CPU_IDX(_n)      \
532         (((_n) < 16) ? 0x0208 + ((_n) << 5) : 0x0e08 + (((_n) - 16) << 5))
533
534 #define RX_RING_CPU_IDX_MASK            GENMASK(15, 0)
535
536 #define REG_RX_DMA_IDX(_n)      \
537         (((_n) < 16) ? 0x020c + ((_n) << 5) : 0x0e0c + (((_n) - 16) << 5))
538
539 #define REG_RX_DELAY_INT_IDX(_n)        \
540         (((_n) < 16) ? 0x0210 + ((_n) << 5) : 0x0e10 + (((_n) - 16) << 5))
541
542 #define RX_DELAY_INT_MASK               GENMASK(15, 0)
543
544 #define RX_RING_DMA_IDX_MASK            GENMASK(15, 0)
545
546 #define REG_INGRESS_TRTCM_CFG           0x0070
547 #define INGRESS_TRTCM_EN_MASK           BIT(31)
548 #define INGRESS_TRTCM_MODE_MASK         BIT(30)
549 #define INGRESS_SLOW_TICK_RATIO_MASK    GENMASK(29, 16)
550 #define INGRESS_FAST_TICK_MASK          GENMASK(15, 0)
551
552 #define REG_QUEUE_CLOSE_CFG(_n)         (0x00a0 + ((_n) & 0xfc))
553 #define TXQ_DISABLE_CHAN_QUEUE_MASK(_n, _m)     BIT((_m) + (((_n) & 0x3) << 3))
554
555 #define REG_TXQ_DIS_CFG_BASE(_n)        ((_n) ? 0x20a0 : 0x00a0)
556 #define REG_TXQ_DIS_CFG(_n, _m)         (REG_TXQ_DIS_CFG_BASE((_n)) + (_m) << 2)
557
558 #define REG_CNTR_CFG(_n)                (0x0400 + ((_n) << 3))
559 #define CNTR_EN_MASK                    BIT(31)
560 #define CNTR_ALL_CHAN_EN_MASK           BIT(30)
561 #define CNTR_ALL_QUEUE_EN_MASK          BIT(29)
562 #define CNTR_ALL_DSCP_RING_EN_MASK      BIT(28)
563 #define CNTR_SRC_MASK                   GENMASK(27, 24)
564 #define CNTR_DSCP_RING_MASK             GENMASK(20, 16)
565 #define CNTR_CHAN_MASK                  GENMASK(7, 3)
566 #define CNTR_QUEUE_MASK                 GENMASK(2, 0)
567
568 #define REG_CNTR_VAL(_n)                (0x0404 + ((_n) << 3))
569
570 #define REG_LMGR_INIT_CFG               0x1000
571 #define LMGR_INIT_START                 BIT(31)
572 #define LMGR_SRAM_MODE_MASK             BIT(30)
573 #define HW_FWD_PKTSIZE_OVERHEAD_MASK    GENMASK(27, 20)
574 #define HW_FWD_DESC_NUM_MASK            GENMASK(16, 0)
575
576 #define REG_FWD_DSCP_LOW_THR            0x1004
577 #define FWD_DSCP_LOW_THR_MASK           GENMASK(17, 0)
578
579 #define REG_EGRESS_RATE_METER_CFG               0x100c
580 #define EGRESS_RATE_METER_EN_MASK               BIT(31)
581 #define EGRESS_RATE_METER_EQ_RATE_EN_MASK       BIT(17)
582 #define EGRESS_RATE_METER_WINDOW_SZ_MASK        GENMASK(16, 12)
583 #define EGRESS_RATE_METER_TIMESLICE_MASK        GENMASK(10, 0)
584
585 #define REG_EGRESS_TRTCM_CFG            0x1010
586 #define EGRESS_TRTCM_EN_MASK            BIT(31)
587 #define EGRESS_TRTCM_MODE_MASK          BIT(30)
588 #define EGRESS_SLOW_TICK_RATIO_MASK     GENMASK(29, 16)
589 #define EGRESS_FAST_TICK_MASK           GENMASK(15, 0)
590
591 #define TRTCM_PARAM_RW_MASK             BIT(31)
592 #define TRTCM_PARAM_RW_DONE_MASK        BIT(30)
593 #define TRTCM_PARAM_TYPE_MASK           GENMASK(29, 28)
594 #define TRTCM_METER_GROUP_MASK          GENMASK(27, 26)
595 #define TRTCM_PARAM_INDEX_MASK          GENMASK(23, 17)
596 #define TRTCM_PARAM_RATE_TYPE_MASK      BIT(16)
597
598 #define REG_TRTCM_CFG_PARAM(_n)         ((_n) + 0x4)
599 #define REG_TRTCM_DATA_LOW(_n)          ((_n) + 0x8)
600 #define REG_TRTCM_DATA_HIGH(_n)         ((_n) + 0xc)
601
602 #define REG_TXWRR_MODE_CFG              0x1020
603 #define TWRR_WEIGHT_SCALE_MASK          BIT(31)
604 #define TWRR_WEIGHT_BASE_MASK           BIT(3)
605
606 #define REG_TXWRR_WEIGHT_CFG            0x1024
607 #define TWRR_RW_CMD_MASK                BIT(31)
608 #define TWRR_RW_CMD_DONE                BIT(30)
609 #define TWRR_CHAN_IDX_MASK              GENMASK(23, 19)
610 #define TWRR_QUEUE_IDX_MASK             GENMASK(18, 16)
611 #define TWRR_VALUE_MASK                 GENMASK(15, 0)
612
613 #define REG_PSE_BUF_USAGE_CFG           0x1028
614 #define PSE_BUF_ESTIMATE_EN_MASK        BIT(29)
615
616 #define REG_CHAN_QOS_MODE(_n)           (0x1040 + ((_n) << 2))
617 #define CHAN_QOS_MODE_MASK(_n)          GENMASK(2 + ((_n) << 2), (_n) << 2)
618
619 #define REG_GLB_TRTCM_CFG               0x1080
620 #define GLB_TRTCM_EN_MASK               BIT(31)
621 #define GLB_TRTCM_MODE_MASK             BIT(30)
622 #define GLB_SLOW_TICK_RATIO_MASK        GENMASK(29, 16)
623 #define GLB_FAST_TICK_MASK              GENMASK(15, 0)
624
625 #define REG_TXQ_CNGST_CFG               0x10a0
626 #define TXQ_CNGST_DROP_EN               BIT(31)
627 #define TXQ_CNGST_DEI_DROP_EN           BIT(30)
628
629 #define REG_SLA_TRTCM_CFG               0x1150
630 #define SLA_TRTCM_EN_MASK               BIT(31)
631 #define SLA_TRTCM_MODE_MASK             BIT(30)
632 #define SLA_SLOW_TICK_RATIO_MASK        GENMASK(29, 16)
633 #define SLA_FAST_TICK_MASK              GENMASK(15, 0)
634
635 /* CTRL */
636 #define QDMA_DESC_DONE_MASK             BIT(31)
637 #define QDMA_DESC_DROP_MASK             BIT(30) /* tx: drop - rx: overflow */
638 #define QDMA_DESC_MORE_MASK             BIT(29) /* more SG elements */
639 #define QDMA_DESC_DEI_MASK              BIT(25)
640 #define QDMA_DESC_NO_DROP_MASK          BIT(24)
641 #define QDMA_DESC_LEN_MASK              GENMASK(15, 0)
642 /* DATA */
643 #define QDMA_DESC_NEXT_ID_MASK          GENMASK(15, 0)
644 /* TX MSG0 */
645 #define QDMA_ETH_TXMSG_MIC_IDX_MASK     BIT(30)
646 #define QDMA_ETH_TXMSG_SP_TAG_MASK      GENMASK(29, 14)
647 #define QDMA_ETH_TXMSG_ICO_MASK         BIT(13)
648 #define QDMA_ETH_TXMSG_UCO_MASK         BIT(12)
649 #define QDMA_ETH_TXMSG_TCO_MASK         BIT(11)
650 #define QDMA_ETH_TXMSG_TSO_MASK         BIT(10)
651 #define QDMA_ETH_TXMSG_FAST_MASK        BIT(9)
652 #define QDMA_ETH_TXMSG_OAM_MASK         BIT(8)
653 #define QDMA_ETH_TXMSG_CHAN_MASK        GENMASK(7, 3)
654 #define QDMA_ETH_TXMSG_QUEUE_MASK       GENMASK(2, 0)
655 /* TX MSG1 */
656 #define QDMA_ETH_TXMSG_NO_DROP          BIT(31)
657 #define QDMA_ETH_TXMSG_METER_MASK       GENMASK(30, 24) /* 0x7f no meters */
658 #define QDMA_ETH_TXMSG_FPORT_MASK       GENMASK(23, 20)
659 #define QDMA_ETH_TXMSG_NBOQ_MASK        GENMASK(19, 15)
660 #define QDMA_ETH_TXMSG_HWF_MASK         BIT(14)
661 #define QDMA_ETH_TXMSG_HOP_MASK         BIT(13)
662 #define QDMA_ETH_TXMSG_PTP_MASK         BIT(12)
663 #define QDMA_ETH_TXMSG_ACNT_G1_MASK     GENMASK(10, 6)  /* 0x1f do not count */
664 #define QDMA_ETH_TXMSG_ACNT_G0_MASK     GENMASK(5, 0)   /* 0x3f do not count */
665
666 /* RX MSG1 */
667 #define QDMA_ETH_RXMSG_DEI_MASK         BIT(31)
668 #define QDMA_ETH_RXMSG_IP6_MASK         BIT(30)
669 #define QDMA_ETH_RXMSG_IP4_MASK         BIT(29)
670 #define QDMA_ETH_RXMSG_IP4F_MASK        BIT(28)
671 #define QDMA_ETH_RXMSG_L4_VALID_MASK    BIT(27)
672 #define QDMA_ETH_RXMSG_L4F_MASK         BIT(26)
673 #define QDMA_ETH_RXMSG_SPORT_MASK       GENMASK(25, 21)
674 #define QDMA_ETH_RXMSG_CRSN_MASK        GENMASK(20, 16)
675 #define QDMA_ETH_RXMSG_PPE_ENTRY_MASK   GENMASK(15, 0)
676
677 struct airoha_qdma_desc {
678         __le32 rsv;
679         __le32 ctrl;
680         __le32 addr;
681         __le32 data;
682         __le32 msg0;
683         __le32 msg1;
684         __le32 msg2;
685         __le32 msg3;
686 };
687
688 /* CTRL0 */
689 #define QDMA_FWD_DESC_CTX_MASK          BIT(31)
690 #define QDMA_FWD_DESC_RING_MASK         GENMASK(30, 28)
691 #define QDMA_FWD_DESC_IDX_MASK          GENMASK(27, 16)
692 #define QDMA_FWD_DESC_LEN_MASK          GENMASK(15, 0)
693 /* CTRL1 */
694 #define QDMA_FWD_DESC_FIRST_IDX_MASK    GENMASK(15, 0)
695 /* CTRL2 */
696 #define QDMA_FWD_DESC_MORE_PKT_NUM_MASK GENMASK(2, 0)
697
698 struct airoha_qdma_fwd_desc {
699         __le32 addr;
700         __le32 ctrl0;
701         __le32 ctrl1;
702         __le32 ctrl2;
703         __le32 msg0;
704         __le32 msg1;
705         __le32 rsv0;
706         __le32 rsv1;
707 };
708
709 enum {
710         QDMA_INT_REG_IDX0,
711         QDMA_INT_REG_IDX1,
712         QDMA_INT_REG_IDX2,
713         QDMA_INT_REG_IDX3,
714         QDMA_INT_REG_IDX4,
715         QDMA_INT_REG_MAX
716 };
717
718 enum {
719         XSI_PCIE0_PORT,
720         XSI_PCIE1_PORT,
721         XSI_USB_PORT,
722         XSI_AE_PORT,
723         XSI_ETH_PORT,
724 };
725
726 enum {
727         XSI_PCIE0_VIP_PORT_MASK = BIT(22),
728         XSI_PCIE1_VIP_PORT_MASK = BIT(23),
729         XSI_USB_VIP_PORT_MASK   = BIT(25),
730         XSI_ETH_VIP_PORT_MASK   = BIT(24),
731 };
732
733 enum {
734         DEV_STATE_INITIALIZED,
735 };
736
737 enum {
738         CDM_CRSN_QSEL_Q1 = 1,
739         CDM_CRSN_QSEL_Q5 = 5,
740         CDM_CRSN_QSEL_Q6 = 6,
741         CDM_CRSN_QSEL_Q15 = 15,
742 };
743
744 enum {
745         CRSN_08 = 0x8,
746         CRSN_21 = 0x15, /* KA */
747         CRSN_22 = 0x16, /* hit bind and force route to CPU */
748         CRSN_24 = 0x18,
749         CRSN_25 = 0x19,
750 };
751
752 enum {
753         FE_PSE_PORT_CDM1,
754         FE_PSE_PORT_GDM1,
755         FE_PSE_PORT_GDM2,
756         FE_PSE_PORT_GDM3,
757         FE_PSE_PORT_PPE1,
758         FE_PSE_PORT_CDM2,
759         FE_PSE_PORT_CDM3,
760         FE_PSE_PORT_CDM4,
761         FE_PSE_PORT_PPE2,
762         FE_PSE_PORT_GDM4,
763         FE_PSE_PORT_CDM5,
764         FE_PSE_PORT_DROP = 0xf,
765 };
766
767 enum tx_sched_mode {
768         TC_SCH_WRR8,
769         TC_SCH_SP,
770         TC_SCH_WRR7,
771         TC_SCH_WRR6,
772         TC_SCH_WRR5,
773         TC_SCH_WRR4,
774         TC_SCH_WRR3,
775         TC_SCH_WRR2,
776 };
777
778 enum trtcm_param_type {
779         TRTCM_MISC_MODE, /* meter_en, pps_mode, tick_sel */
780         TRTCM_TOKEN_RATE_MODE,
781         TRTCM_BUCKETSIZE_SHIFT_MODE,
782         TRTCM_BUCKET_COUNTER_MODE,
783 };
784
785 enum trtcm_mode_type {
786         TRTCM_COMMIT_MODE,
787         TRTCM_PEAK_MODE,
788 };
789
790 enum trtcm_param {
791         TRTCM_TICK_SEL = BIT(0),
792         TRTCM_PKT_MODE = BIT(1),
793         TRTCM_METER_MODE = BIT(2),
794 };
795
796 #define MIN_TOKEN_SIZE                          4096
797 #define MAX_TOKEN_SIZE_OFFSET                   17
798 #define TRTCM_TOKEN_RATE_MASK                   GENMASK(23, 6)
799 #define TRTCM_TOKEN_RATE_FRACTION_MASK          GENMASK(5, 0)
800
801 struct airoha_queue_entry {
802         union {
803                 void *buf;
804                 struct sk_buff *skb;
805         };
806         dma_addr_t dma_addr;
807         u16 dma_len;
808 };
809
810 struct airoha_queue {
811         struct airoha_qdma *qdma;
812
813         /* protect concurrent queue accesses */
814         spinlock_t lock;
815         struct airoha_queue_entry *entry;
816         struct airoha_qdma_desc *desc;
817         u16 head;
818         u16 tail;
819
820         int queued;
821         int ndesc;
822         int free_thr;
823         int buf_size;
824
825         struct napi_struct napi;
826         struct page_pool *page_pool;
827 };
828
829 struct airoha_tx_irq_queue {
830         struct airoha_qdma *qdma;
831
832         struct napi_struct napi;
833
834         int size;
835         u32 *q;
836 };
837
838 struct airoha_hw_stats {
839         /* protect concurrent hw_stats accesses */
840         spinlock_t lock;
841         struct u64_stats_sync syncp;
842
843         /* get_stats64 */
844         u64 rx_ok_pkts;
845         u64 tx_ok_pkts;
846         u64 rx_ok_bytes;
847         u64 tx_ok_bytes;
848         u64 rx_multicast;
849         u64 rx_errors;
850         u64 rx_drops;
851         u64 tx_drops;
852         u64 rx_crc_error;
853         u64 rx_over_errors;
854         /* ethtool stats */
855         u64 tx_broadcast;
856         u64 tx_multicast;
857         u64 tx_len[7];
858         u64 rx_broadcast;
859         u64 rx_fragment;
860         u64 rx_jabber;
861         u64 rx_len[7];
862 };
863
864 struct airoha_qdma {
865         struct airoha_eth *eth;
866         void __iomem *regs;
867
868         /* protect concurrent irqmask accesses */
869         spinlock_t irq_lock;
870         u32 irqmask[QDMA_INT_REG_MAX];
871         int irq;
872
873         struct airoha_tx_irq_queue q_tx_irq[AIROHA_NUM_TX_IRQ];
874
875         struct airoha_queue q_tx[AIROHA_NUM_TX_RING];
876         struct airoha_queue q_rx[AIROHA_NUM_RX_RING];
877
878         /* descriptor and packet buffers for qdma hw forward */
879         struct {
880                 void *desc;
881                 void *q;
882         } hfwd;
883 };
884
885 struct airoha_gdm_port {
886         struct airoha_qdma *qdma;
887         struct net_device *dev;
888         int id;
889
890         struct airoha_hw_stats stats;
891
892         DECLARE_BITMAP(qos_sq_bmap, AIROHA_NUM_QOS_CHANNELS);
893
894         /* qos stats counters */
895         u64 cpu_tx_packets;
896         u64 fwd_tx_packets;
897 };
898
899 struct airoha_eth {
900         struct device *dev;
901
902         unsigned long state;
903         void __iomem *fe_regs;
904
905         struct reset_control_bulk_data rsts[AIROHA_MAX_NUM_RSTS];
906         struct reset_control_bulk_data xsi_rsts[AIROHA_MAX_NUM_XSI_RSTS];
907
908         struct net_device *napi_dev;
909
910         struct airoha_qdma qdma[AIROHA_MAX_NUM_QDMA];
911         struct airoha_gdm_port *ports[AIROHA_MAX_NUM_GDM_PORTS];
912 };
913
914 static u32 airoha_rr(void __iomem *base, u32 offset)
915 {
916         return readl(base + offset);
917 }
918
919 static void airoha_wr(void __iomem *base, u32 offset, u32 val)
920 {
921         writel(val, base + offset);
922 }
923
924 static u32 airoha_rmw(void __iomem *base, u32 offset, u32 mask, u32 val)
925 {
926         val |= (airoha_rr(base, offset) & ~mask);
927         airoha_wr(base, offset, val);
928
929         return val;
930 }
931
932 #define airoha_fe_rr(eth, offset)                               \
933         airoha_rr((eth)->fe_regs, (offset))
934 #define airoha_fe_wr(eth, offset, val)                          \
935         airoha_wr((eth)->fe_regs, (offset), (val))
936 #define airoha_fe_rmw(eth, offset, mask, val)                   \
937         airoha_rmw((eth)->fe_regs, (offset), (mask), (val))
938 #define airoha_fe_set(eth, offset, val)                         \
939         airoha_rmw((eth)->fe_regs, (offset), 0, (val))
940 #define airoha_fe_clear(eth, offset, val)                       \
941         airoha_rmw((eth)->fe_regs, (offset), (val), 0)
942
943 #define airoha_qdma_rr(qdma, offset)                            \
944         airoha_rr((qdma)->regs, (offset))
945 #define airoha_qdma_wr(qdma, offset, val)                       \
946         airoha_wr((qdma)->regs, (offset), (val))
947 #define airoha_qdma_rmw(qdma, offset, mask, val)                \
948         airoha_rmw((qdma)->regs, (offset), (mask), (val))
949 #define airoha_qdma_set(qdma, offset, val)                      \
950         airoha_rmw((qdma)->regs, (offset), 0, (val))
951 #define airoha_qdma_clear(qdma, offset, val)                    \
952         airoha_rmw((qdma)->regs, (offset), (val), 0)
953
954 static void airoha_qdma_set_irqmask(struct airoha_qdma *qdma, int index,
955                                     u32 clear, u32 set)
956 {
957         unsigned long flags;
958
959         if (WARN_ON_ONCE(index >= ARRAY_SIZE(qdma->irqmask)))
960                 return;
961
962         spin_lock_irqsave(&qdma->irq_lock, flags);
963
964         qdma->irqmask[index] &= ~clear;
965         qdma->irqmask[index] |= set;
966         airoha_qdma_wr(qdma, REG_INT_ENABLE(index), qdma->irqmask[index]);
967         /* Read irq_enable register in order to guarantee the update above
968          * completes in the spinlock critical section.
969          */
970         airoha_qdma_rr(qdma, REG_INT_ENABLE(index));
971
972         spin_unlock_irqrestore(&qdma->irq_lock, flags);
973 }
974
975 static void airoha_qdma_irq_enable(struct airoha_qdma *qdma, int index,
976                                    u32 mask)
977 {
978         airoha_qdma_set_irqmask(qdma, index, 0, mask);
979 }
980
981 static void airoha_qdma_irq_disable(struct airoha_qdma *qdma, int index,
982                                     u32 mask)
983 {
984         airoha_qdma_set_irqmask(qdma, index, mask, 0);
985 }
986
987 static bool airhoa_is_lan_gdm_port(struct airoha_gdm_port *port)
988 {
989         /* GDM1 port on EN7581 SoC is connected to the lan dsa switch.
990          * GDM{2,3,4} can be used as wan port connected to an external
991          * phy module.
992          */
993         return port->id == 1;
994 }
995
996 static void airoha_set_macaddr(struct airoha_gdm_port *port, const u8 *addr)
997 {
998         struct airoha_eth *eth = port->qdma->eth;
999         u32 val, reg;
1000
1001         reg = airhoa_is_lan_gdm_port(port) ? REG_FE_LAN_MAC_H
1002                                            : REG_FE_WAN_MAC_H;
1003         val = (addr[0] << 16) | (addr[1] << 8) | addr[2];
1004         airoha_fe_wr(eth, reg, val);
1005
1006         val = (addr[3] << 16) | (addr[4] << 8) | addr[5];
1007         airoha_fe_wr(eth, REG_FE_MAC_LMIN(reg), val);
1008         airoha_fe_wr(eth, REG_FE_MAC_LMAX(reg), val);
1009 }
1010
1011 static void airoha_set_gdm_port_fwd_cfg(struct airoha_eth *eth, u32 addr,
1012                                         u32 val)
1013 {
1014         airoha_fe_rmw(eth, addr, GDM_OCFQ_MASK,
1015                       FIELD_PREP(GDM_OCFQ_MASK, val));
1016         airoha_fe_rmw(eth, addr, GDM_MCFQ_MASK,
1017                       FIELD_PREP(GDM_MCFQ_MASK, val));
1018         airoha_fe_rmw(eth, addr, GDM_BCFQ_MASK,
1019                       FIELD_PREP(GDM_BCFQ_MASK, val));
1020         airoha_fe_rmw(eth, addr, GDM_UCFQ_MASK,
1021                       FIELD_PREP(GDM_UCFQ_MASK, val));
1022 }
1023
1024 static int airoha_set_gdm_port(struct airoha_eth *eth, int port, bool enable)
1025 {
1026         u32 val = enable ? FE_PSE_PORT_PPE1 : FE_PSE_PORT_DROP;
1027         u32 vip_port, cfg_addr;
1028
1029         switch (port) {
1030         case XSI_PCIE0_PORT:
1031                 vip_port = XSI_PCIE0_VIP_PORT_MASK;
1032                 cfg_addr = REG_GDM_FWD_CFG(3);
1033                 break;
1034         case XSI_PCIE1_PORT:
1035                 vip_port = XSI_PCIE1_VIP_PORT_MASK;
1036                 cfg_addr = REG_GDM_FWD_CFG(3);
1037                 break;
1038         case XSI_USB_PORT:
1039                 vip_port = XSI_USB_VIP_PORT_MASK;
1040                 cfg_addr = REG_GDM_FWD_CFG(4);
1041                 break;
1042         case XSI_ETH_PORT:
1043                 vip_port = XSI_ETH_VIP_PORT_MASK;
1044                 cfg_addr = REG_GDM_FWD_CFG(4);
1045                 break;
1046         default:
1047                 return -EINVAL;
1048         }
1049
1050         if (enable) {
1051                 airoha_fe_set(eth, REG_FE_VIP_PORT_EN, vip_port);
1052                 airoha_fe_set(eth, REG_FE_IFC_PORT_EN, vip_port);
1053         } else {
1054                 airoha_fe_clear(eth, REG_FE_VIP_PORT_EN, vip_port);
1055                 airoha_fe_clear(eth, REG_FE_IFC_PORT_EN, vip_port);
1056         }
1057
1058         airoha_set_gdm_port_fwd_cfg(eth, cfg_addr, val);
1059
1060         return 0;
1061 }
1062
1063 static int airoha_set_gdm_ports(struct airoha_eth *eth, bool enable)
1064 {
1065         const int port_list[] = {
1066                 XSI_PCIE0_PORT,
1067                 XSI_PCIE1_PORT,
1068                 XSI_USB_PORT,
1069                 XSI_ETH_PORT
1070         };
1071         int i, err;
1072
1073         for (i = 0; i < ARRAY_SIZE(port_list); i++) {
1074                 err = airoha_set_gdm_port(eth, port_list[i], enable);
1075                 if (err)
1076                         goto error;
1077         }
1078
1079         return 0;
1080
1081 error:
1082         for (i--; i >= 0; i--)
1083                 airoha_set_gdm_port(eth, port_list[i], false);
1084
1085         return err;
1086 }
1087
1088 static void airoha_fe_maccr_init(struct airoha_eth *eth)
1089 {
1090         int p;
1091
1092         for (p = 1; p <= ARRAY_SIZE(eth->ports); p++) {
1093                 airoha_fe_set(eth, REG_GDM_FWD_CFG(p),
1094                               GDM_TCP_CKSUM | GDM_UDP_CKSUM | GDM_IP4_CKSUM |
1095                               GDM_DROP_CRC_ERR);
1096                 airoha_set_gdm_port_fwd_cfg(eth, REG_GDM_FWD_CFG(p),
1097                                             FE_PSE_PORT_CDM1);
1098                 airoha_fe_rmw(eth, REG_GDM_LEN_CFG(p),
1099                               GDM_SHORT_LEN_MASK | GDM_LONG_LEN_MASK,
1100                               FIELD_PREP(GDM_SHORT_LEN_MASK, 60) |
1101                               FIELD_PREP(GDM_LONG_LEN_MASK, 4004));
1102         }
1103
1104         airoha_fe_rmw(eth, REG_CDM1_VLAN_CTRL, CDM1_VLAN_MASK,
1105                       FIELD_PREP(CDM1_VLAN_MASK, 0x8100));
1106
1107         airoha_fe_set(eth, REG_FE_CPORT_CFG, FE_CPORT_PAD);
1108 }
1109
1110 static void airoha_fe_vip_setup(struct airoha_eth *eth)
1111 {
1112         airoha_fe_wr(eth, REG_FE_VIP_PATN(3), ETH_P_PPP_DISC);
1113         airoha_fe_wr(eth, REG_FE_VIP_EN(3), PATN_FCPU_EN_MASK | PATN_EN_MASK);
1114
1115         airoha_fe_wr(eth, REG_FE_VIP_PATN(4), PPP_LCP);
1116         airoha_fe_wr(eth, REG_FE_VIP_EN(4),
1117                      PATN_FCPU_EN_MASK | FIELD_PREP(PATN_TYPE_MASK, 1) |
1118                      PATN_EN_MASK);
1119
1120         airoha_fe_wr(eth, REG_FE_VIP_PATN(6), PPP_IPCP);
1121         airoha_fe_wr(eth, REG_FE_VIP_EN(6),
1122                      PATN_FCPU_EN_MASK | FIELD_PREP(PATN_TYPE_MASK, 1) |
1123                      PATN_EN_MASK);
1124
1125         airoha_fe_wr(eth, REG_FE_VIP_PATN(7), PPP_CHAP);
1126         airoha_fe_wr(eth, REG_FE_VIP_EN(7),
1127                      PATN_FCPU_EN_MASK | FIELD_PREP(PATN_TYPE_MASK, 1) |
1128                      PATN_EN_MASK);
1129
1130         /* BOOTP (0x43) */
1131         airoha_fe_wr(eth, REG_FE_VIP_PATN(8), 0x43);
1132         airoha_fe_wr(eth, REG_FE_VIP_EN(8),
1133                      PATN_FCPU_EN_MASK | PATN_SP_EN_MASK |
1134                      FIELD_PREP(PATN_TYPE_MASK, 4) | PATN_EN_MASK);
1135
1136         /* BOOTP (0x44) */
1137         airoha_fe_wr(eth, REG_FE_VIP_PATN(9), 0x44);
1138         airoha_fe_wr(eth, REG_FE_VIP_EN(9),
1139                      PATN_FCPU_EN_MASK | PATN_SP_EN_MASK |
1140                      FIELD_PREP(PATN_TYPE_MASK, 4) | PATN_EN_MASK);
1141
1142         /* ISAKMP */
1143         airoha_fe_wr(eth, REG_FE_VIP_PATN(10), 0x1f401f4);
1144         airoha_fe_wr(eth, REG_FE_VIP_EN(10),
1145                      PATN_FCPU_EN_MASK | PATN_DP_EN_MASK | PATN_SP_EN_MASK |
1146                      FIELD_PREP(PATN_TYPE_MASK, 4) | PATN_EN_MASK);
1147
1148         airoha_fe_wr(eth, REG_FE_VIP_PATN(11), PPP_IPV6CP);
1149         airoha_fe_wr(eth, REG_FE_VIP_EN(11),
1150                      PATN_FCPU_EN_MASK | FIELD_PREP(PATN_TYPE_MASK, 1) |
1151                      PATN_EN_MASK);
1152
1153         /* DHCPv6 */
1154         airoha_fe_wr(eth, REG_FE_VIP_PATN(12), 0x2220223);
1155         airoha_fe_wr(eth, REG_FE_VIP_EN(12),
1156                      PATN_FCPU_EN_MASK | PATN_DP_EN_MASK | PATN_SP_EN_MASK |
1157                      FIELD_PREP(PATN_TYPE_MASK, 4) | PATN_EN_MASK);
1158
1159         airoha_fe_wr(eth, REG_FE_VIP_PATN(19), PPP_PAP);
1160         airoha_fe_wr(eth, REG_FE_VIP_EN(19),
1161                      PATN_FCPU_EN_MASK | FIELD_PREP(PATN_TYPE_MASK, 1) |
1162                      PATN_EN_MASK);
1163
1164         /* ETH->ETH_P_1905 (0x893a) */
1165         airoha_fe_wr(eth, REG_FE_VIP_PATN(20), 0x893a);
1166         airoha_fe_wr(eth, REG_FE_VIP_EN(20),
1167                      PATN_FCPU_EN_MASK | PATN_EN_MASK);
1168
1169         airoha_fe_wr(eth, REG_FE_VIP_PATN(21), ETH_P_LLDP);
1170         airoha_fe_wr(eth, REG_FE_VIP_EN(21),
1171                      PATN_FCPU_EN_MASK | PATN_EN_MASK);
1172 }
1173
1174 static u32 airoha_fe_get_pse_queue_rsv_pages(struct airoha_eth *eth,
1175                                              u32 port, u32 queue)
1176 {
1177         u32 val;
1178
1179         airoha_fe_rmw(eth, REG_FE_PSE_QUEUE_CFG_WR,
1180                       PSE_CFG_PORT_ID_MASK | PSE_CFG_QUEUE_ID_MASK,
1181                       FIELD_PREP(PSE_CFG_PORT_ID_MASK, port) |
1182                       FIELD_PREP(PSE_CFG_QUEUE_ID_MASK, queue));
1183         val = airoha_fe_rr(eth, REG_FE_PSE_QUEUE_CFG_VAL);
1184
1185         return FIELD_GET(PSE_CFG_OQ_RSV_MASK, val);
1186 }
1187
1188 static void airoha_fe_set_pse_queue_rsv_pages(struct airoha_eth *eth,
1189                                               u32 port, u32 queue, u32 val)
1190 {
1191         airoha_fe_rmw(eth, REG_FE_PSE_QUEUE_CFG_VAL, PSE_CFG_OQ_RSV_MASK,
1192                       FIELD_PREP(PSE_CFG_OQ_RSV_MASK, val));
1193         airoha_fe_rmw(eth, REG_FE_PSE_QUEUE_CFG_WR,
1194                       PSE_CFG_PORT_ID_MASK | PSE_CFG_QUEUE_ID_MASK |
1195                       PSE_CFG_WR_EN_MASK | PSE_CFG_OQRSV_SEL_MASK,
1196                       FIELD_PREP(PSE_CFG_PORT_ID_MASK, port) |
1197                       FIELD_PREP(PSE_CFG_QUEUE_ID_MASK, queue) |
1198                       PSE_CFG_WR_EN_MASK | PSE_CFG_OQRSV_SEL_MASK);
1199 }
1200
1201 static u32 airoha_fe_get_pse_all_rsv(struct airoha_eth *eth)
1202 {
1203         u32 val = airoha_fe_rr(eth, REG_FE_PSE_BUF_SET);
1204
1205         return FIELD_GET(PSE_ALLRSV_MASK, val);
1206 }
1207
1208 static int airoha_fe_set_pse_oq_rsv(struct airoha_eth *eth,
1209                                     u32 port, u32 queue, u32 val)
1210 {
1211         u32 orig_val = airoha_fe_get_pse_queue_rsv_pages(eth, port, queue);
1212         u32 tmp, all_rsv, fq_limit;
1213
1214         airoha_fe_set_pse_queue_rsv_pages(eth, port, queue, val);
1215
1216         /* modify all rsv */
1217         all_rsv = airoha_fe_get_pse_all_rsv(eth);
1218         all_rsv += (val - orig_val);
1219         airoha_fe_rmw(eth, REG_FE_PSE_BUF_SET, PSE_ALLRSV_MASK,
1220                       FIELD_PREP(PSE_ALLRSV_MASK, all_rsv));
1221
1222         /* modify hthd */
1223         tmp = airoha_fe_rr(eth, PSE_FQ_CFG);
1224         fq_limit = FIELD_GET(PSE_FQ_LIMIT_MASK, tmp);
1225         tmp = fq_limit - all_rsv - 0x20;
1226         airoha_fe_rmw(eth, REG_PSE_SHARE_USED_THD,
1227                       PSE_SHARE_USED_HTHD_MASK,
1228                       FIELD_PREP(PSE_SHARE_USED_HTHD_MASK, tmp));
1229
1230         tmp = fq_limit - all_rsv - 0x100;
1231         airoha_fe_rmw(eth, REG_PSE_SHARE_USED_THD,
1232                       PSE_SHARE_USED_MTHD_MASK,
1233                       FIELD_PREP(PSE_SHARE_USED_MTHD_MASK, tmp));
1234         tmp = (3 * tmp) >> 2;
1235         airoha_fe_rmw(eth, REG_FE_PSE_BUF_SET,
1236                       PSE_SHARE_USED_LTHD_MASK,
1237                       FIELD_PREP(PSE_SHARE_USED_LTHD_MASK, tmp));
1238
1239         return 0;
1240 }
1241
1242 static void airoha_fe_pse_ports_init(struct airoha_eth *eth)
1243 {
1244         const u32 pse_port_num_queues[] = {
1245                 [FE_PSE_PORT_CDM1] = 6,
1246                 [FE_PSE_PORT_GDM1] = 6,
1247                 [FE_PSE_PORT_GDM2] = 32,
1248                 [FE_PSE_PORT_GDM3] = 6,
1249                 [FE_PSE_PORT_PPE1] = 4,
1250                 [FE_PSE_PORT_CDM2] = 6,
1251                 [FE_PSE_PORT_CDM3] = 8,
1252                 [FE_PSE_PORT_CDM4] = 10,
1253                 [FE_PSE_PORT_PPE2] = 4,
1254                 [FE_PSE_PORT_GDM4] = 2,
1255                 [FE_PSE_PORT_CDM5] = 2,
1256         };
1257         u32 all_rsv;
1258         int q;
1259
1260         all_rsv = airoha_fe_get_pse_all_rsv(eth);
1261         /* hw misses PPE2 oq rsv */
1262         all_rsv += PSE_RSV_PAGES * pse_port_num_queues[FE_PSE_PORT_PPE2];
1263         airoha_fe_set(eth, REG_FE_PSE_BUF_SET, all_rsv);
1264
1265         /* CMD1 */
1266         for (q = 0; q < pse_port_num_queues[FE_PSE_PORT_CDM1]; q++)
1267                 airoha_fe_set_pse_oq_rsv(eth, FE_PSE_PORT_CDM1, q,
1268                                          PSE_QUEUE_RSV_PAGES);
1269         /* GMD1 */
1270         for (q = 0; q < pse_port_num_queues[FE_PSE_PORT_GDM1]; q++)
1271                 airoha_fe_set_pse_oq_rsv(eth, FE_PSE_PORT_GDM1, q,
1272                                          PSE_QUEUE_RSV_PAGES);
1273         /* GMD2 */
1274         for (q = 6; q < pse_port_num_queues[FE_PSE_PORT_GDM2]; q++)
1275                 airoha_fe_set_pse_oq_rsv(eth, FE_PSE_PORT_GDM2, q, 0);
1276         /* GMD3 */
1277         for (q = 0; q < pse_port_num_queues[FE_PSE_PORT_GDM3]; q++)
1278                 airoha_fe_set_pse_oq_rsv(eth, FE_PSE_PORT_GDM3, q,
1279                                          PSE_QUEUE_RSV_PAGES);
1280         /* PPE1 */
1281         for (q = 0; q < pse_port_num_queues[FE_PSE_PORT_PPE1]; q++) {
1282                 if (q < pse_port_num_queues[FE_PSE_PORT_PPE1])
1283                         airoha_fe_set_pse_oq_rsv(eth, FE_PSE_PORT_PPE1, q,
1284                                                  PSE_QUEUE_RSV_PAGES);
1285                 else
1286                         airoha_fe_set_pse_oq_rsv(eth, FE_PSE_PORT_PPE1, q, 0);
1287         }
1288         /* CDM2 */
1289         for (q = 0; q < pse_port_num_queues[FE_PSE_PORT_CDM2]; q++)
1290                 airoha_fe_set_pse_oq_rsv(eth, FE_PSE_PORT_CDM2, q,
1291                                          PSE_QUEUE_RSV_PAGES);
1292         /* CDM3 */
1293         for (q = 0; q < pse_port_num_queues[FE_PSE_PORT_CDM3] - 1; q++)
1294                 airoha_fe_set_pse_oq_rsv(eth, FE_PSE_PORT_CDM3, q, 0);
1295         /* CDM4 */
1296         for (q = 4; q < pse_port_num_queues[FE_PSE_PORT_CDM4]; q++)
1297                 airoha_fe_set_pse_oq_rsv(eth, FE_PSE_PORT_CDM4, q,
1298                                          PSE_QUEUE_RSV_PAGES);
1299         /* PPE2 */
1300         for (q = 0; q < pse_port_num_queues[FE_PSE_PORT_PPE2]; q++) {
1301                 if (q < pse_port_num_queues[FE_PSE_PORT_PPE2] / 2)
1302                         airoha_fe_set_pse_oq_rsv(eth, FE_PSE_PORT_PPE2, q,
1303                                                  PSE_QUEUE_RSV_PAGES);
1304                 else
1305                         airoha_fe_set_pse_oq_rsv(eth, FE_PSE_PORT_PPE2, q, 0);
1306         }
1307         /* GMD4 */
1308         for (q = 0; q < pse_port_num_queues[FE_PSE_PORT_GDM4]; q++)
1309                 airoha_fe_set_pse_oq_rsv(eth, FE_PSE_PORT_GDM4, q,
1310                                          PSE_QUEUE_RSV_PAGES);
1311         /* CDM5 */
1312         for (q = 0; q < pse_port_num_queues[FE_PSE_PORT_CDM5]; q++)
1313                 airoha_fe_set_pse_oq_rsv(eth, FE_PSE_PORT_CDM5, q,
1314                                          PSE_QUEUE_RSV_PAGES);
1315 }
1316
1317 static int airoha_fe_mc_vlan_clear(struct airoha_eth *eth)
1318 {
1319         int i;
1320
1321         for (i = 0; i < AIROHA_FE_MC_MAX_VLAN_TABLE; i++) {
1322                 int err, j;
1323                 u32 val;
1324
1325                 airoha_fe_wr(eth, REG_MC_VLAN_DATA, 0x0);
1326
1327                 val = FIELD_PREP(MC_VLAN_CFG_TABLE_ID_MASK, i) |
1328                       MC_VLAN_CFG_TABLE_SEL_MASK | MC_VLAN_CFG_RW_MASK;
1329                 airoha_fe_wr(eth, REG_MC_VLAN_CFG, val);
1330                 err = read_poll_timeout(airoha_fe_rr, val,
1331                                         val & MC_VLAN_CFG_CMD_DONE_MASK,
1332                                         USEC_PER_MSEC, 5 * USEC_PER_MSEC,
1333                                         false, eth, REG_MC_VLAN_CFG);
1334                 if (err)
1335                         return err;
1336
1337                 for (j = 0; j < AIROHA_FE_MC_MAX_VLAN_PORT; j++) {
1338                         airoha_fe_wr(eth, REG_MC_VLAN_DATA, 0x0);
1339
1340                         val = FIELD_PREP(MC_VLAN_CFG_TABLE_ID_MASK, i) |
1341                               FIELD_PREP(MC_VLAN_CFG_PORT_ID_MASK, j) |
1342                               MC_VLAN_CFG_RW_MASK;
1343                         airoha_fe_wr(eth, REG_MC_VLAN_CFG, val);
1344                         err = read_poll_timeout(airoha_fe_rr, val,
1345                                                 val & MC_VLAN_CFG_CMD_DONE_MASK,
1346                                                 USEC_PER_MSEC,
1347                                                 5 * USEC_PER_MSEC, false, eth,
1348                                                 REG_MC_VLAN_CFG);
1349                         if (err)
1350                                 return err;
1351                 }
1352         }
1353
1354         return 0;
1355 }
1356
1357 static void airoha_fe_crsn_qsel_init(struct airoha_eth *eth)
1358 {
1359         /* CDM1_CRSN_QSEL */
1360         airoha_fe_rmw(eth, REG_CDM1_CRSN_QSEL(CRSN_22 >> 2),
1361                       CDM1_CRSN_QSEL_REASON_MASK(CRSN_22),
1362                       FIELD_PREP(CDM1_CRSN_QSEL_REASON_MASK(CRSN_22),
1363                                  CDM_CRSN_QSEL_Q1));
1364         airoha_fe_rmw(eth, REG_CDM1_CRSN_QSEL(CRSN_08 >> 2),
1365                       CDM1_CRSN_QSEL_REASON_MASK(CRSN_08),
1366                       FIELD_PREP(CDM1_CRSN_QSEL_REASON_MASK(CRSN_08),
1367                                  CDM_CRSN_QSEL_Q1));
1368         airoha_fe_rmw(eth, REG_CDM1_CRSN_QSEL(CRSN_21 >> 2),
1369                       CDM1_CRSN_QSEL_REASON_MASK(CRSN_21),
1370                       FIELD_PREP(CDM1_CRSN_QSEL_REASON_MASK(CRSN_21),
1371                                  CDM_CRSN_QSEL_Q1));
1372         airoha_fe_rmw(eth, REG_CDM1_CRSN_QSEL(CRSN_24 >> 2),
1373                       CDM1_CRSN_QSEL_REASON_MASK(CRSN_24),
1374                       FIELD_PREP(CDM1_CRSN_QSEL_REASON_MASK(CRSN_24),
1375                                  CDM_CRSN_QSEL_Q6));
1376         airoha_fe_rmw(eth, REG_CDM1_CRSN_QSEL(CRSN_25 >> 2),
1377                       CDM1_CRSN_QSEL_REASON_MASK(CRSN_25),
1378                       FIELD_PREP(CDM1_CRSN_QSEL_REASON_MASK(CRSN_25),
1379                                  CDM_CRSN_QSEL_Q1));
1380         /* CDM2_CRSN_QSEL */
1381         airoha_fe_rmw(eth, REG_CDM2_CRSN_QSEL(CRSN_08 >> 2),
1382                       CDM2_CRSN_QSEL_REASON_MASK(CRSN_08),
1383                       FIELD_PREP(CDM2_CRSN_QSEL_REASON_MASK(CRSN_08),
1384                                  CDM_CRSN_QSEL_Q1));
1385         airoha_fe_rmw(eth, REG_CDM2_CRSN_QSEL(CRSN_21 >> 2),
1386                       CDM2_CRSN_QSEL_REASON_MASK(CRSN_21),
1387                       FIELD_PREP(CDM2_CRSN_QSEL_REASON_MASK(CRSN_21),
1388                                  CDM_CRSN_QSEL_Q1));
1389         airoha_fe_rmw(eth, REG_CDM2_CRSN_QSEL(CRSN_22 >> 2),
1390                       CDM2_CRSN_QSEL_REASON_MASK(CRSN_22),
1391                       FIELD_PREP(CDM2_CRSN_QSEL_REASON_MASK(CRSN_22),
1392                                  CDM_CRSN_QSEL_Q1));
1393         airoha_fe_rmw(eth, REG_CDM2_CRSN_QSEL(CRSN_24 >> 2),
1394                       CDM2_CRSN_QSEL_REASON_MASK(CRSN_24),
1395                       FIELD_PREP(CDM2_CRSN_QSEL_REASON_MASK(CRSN_24),
1396                                  CDM_CRSN_QSEL_Q6));
1397         airoha_fe_rmw(eth, REG_CDM2_CRSN_QSEL(CRSN_25 >> 2),
1398                       CDM2_CRSN_QSEL_REASON_MASK(CRSN_25),
1399                       FIELD_PREP(CDM2_CRSN_QSEL_REASON_MASK(CRSN_25),
1400                                  CDM_CRSN_QSEL_Q1));
1401 }
1402
1403 static int airoha_fe_init(struct airoha_eth *eth)
1404 {
1405         airoha_fe_maccr_init(eth);
1406
1407         /* PSE IQ reserve */
1408         airoha_fe_rmw(eth, REG_PSE_IQ_REV1, PSE_IQ_RES1_P2_MASK,
1409                       FIELD_PREP(PSE_IQ_RES1_P2_MASK, 0x10));
1410         airoha_fe_rmw(eth, REG_PSE_IQ_REV2,
1411                       PSE_IQ_RES2_P5_MASK | PSE_IQ_RES2_P4_MASK,
1412                       FIELD_PREP(PSE_IQ_RES2_P5_MASK, 0x40) |
1413                       FIELD_PREP(PSE_IQ_RES2_P4_MASK, 0x34));
1414
1415         /* enable FE copy engine for MC/KA/DPI */
1416         airoha_fe_wr(eth, REG_FE_PCE_CFG,
1417                      PCE_DPI_EN_MASK | PCE_KA_EN_MASK | PCE_MC_EN_MASK);
1418         /* set vip queue selection to ring 1 */
1419         airoha_fe_rmw(eth, REG_CDM1_FWD_CFG, CDM1_VIP_QSEL_MASK,
1420                       FIELD_PREP(CDM1_VIP_QSEL_MASK, 0x4));
1421         airoha_fe_rmw(eth, REG_CDM2_FWD_CFG, CDM2_VIP_QSEL_MASK,
1422                       FIELD_PREP(CDM2_VIP_QSEL_MASK, 0x4));
1423         /* set GDM4 source interface offset to 8 */
1424         airoha_fe_rmw(eth, REG_GDM4_SRC_PORT_SET,
1425                       GDM4_SPORT_OFF2_MASK |
1426                       GDM4_SPORT_OFF1_MASK |
1427                       GDM4_SPORT_OFF0_MASK,
1428                       FIELD_PREP(GDM4_SPORT_OFF2_MASK, 8) |
1429                       FIELD_PREP(GDM4_SPORT_OFF1_MASK, 8) |
1430                       FIELD_PREP(GDM4_SPORT_OFF0_MASK, 8));
1431
1432         /* set PSE Page as 128B */
1433         airoha_fe_rmw(eth, REG_FE_DMA_GLO_CFG,
1434                       FE_DMA_GLO_L2_SPACE_MASK | FE_DMA_GLO_PG_SZ_MASK,
1435                       FIELD_PREP(FE_DMA_GLO_L2_SPACE_MASK, 2) |
1436                       FE_DMA_GLO_PG_SZ_MASK);
1437         airoha_fe_wr(eth, REG_FE_RST_GLO_CFG,
1438                      FE_RST_CORE_MASK | FE_RST_GDM3_MBI_ARB_MASK |
1439                      FE_RST_GDM4_MBI_ARB_MASK);
1440         usleep_range(1000, 2000);
1441
1442         /* connect RxRing1 and RxRing15 to PSE Port0 OQ-1
1443          * connect other rings to PSE Port0 OQ-0
1444          */
1445         airoha_fe_wr(eth, REG_FE_CDM1_OQ_MAP0, BIT(4));
1446         airoha_fe_wr(eth, REG_FE_CDM1_OQ_MAP1, BIT(28));
1447         airoha_fe_wr(eth, REG_FE_CDM1_OQ_MAP2, BIT(4));
1448         airoha_fe_wr(eth, REG_FE_CDM1_OQ_MAP3, BIT(28));
1449
1450         airoha_fe_vip_setup(eth);
1451         airoha_fe_pse_ports_init(eth);
1452
1453         airoha_fe_set(eth, REG_GDM_MISC_CFG,
1454                       GDM2_RDM_ACK_WAIT_PREF_MASK |
1455                       GDM2_CHN_VLD_MODE_MASK);
1456         airoha_fe_rmw(eth, REG_CDM2_FWD_CFG, CDM2_OAM_QSEL_MASK,
1457                       FIELD_PREP(CDM2_OAM_QSEL_MASK, 15));
1458
1459         /* init fragment and assemble Force Port */
1460         /* NPU Core-3, NPU Bridge Channel-3 */
1461         airoha_fe_rmw(eth, REG_IP_FRAG_FP,
1462                       IP_FRAGMENT_PORT_MASK | IP_FRAGMENT_NBQ_MASK,
1463                       FIELD_PREP(IP_FRAGMENT_PORT_MASK, 6) |
1464                       FIELD_PREP(IP_FRAGMENT_NBQ_MASK, 3));
1465         /* QDMA LAN, RX Ring-22 */
1466         airoha_fe_rmw(eth, REG_IP_FRAG_FP,
1467                       IP_ASSEMBLE_PORT_MASK | IP_ASSEMBLE_NBQ_MASK,
1468                       FIELD_PREP(IP_ASSEMBLE_PORT_MASK, 0) |
1469                       FIELD_PREP(IP_ASSEMBLE_NBQ_MASK, 22));
1470
1471         airoha_fe_set(eth, REG_GDM3_FWD_CFG, GDM3_PAD_EN_MASK);
1472         airoha_fe_set(eth, REG_GDM4_FWD_CFG, GDM4_PAD_EN_MASK);
1473
1474         airoha_fe_crsn_qsel_init(eth);
1475
1476         airoha_fe_clear(eth, REG_FE_CPORT_CFG, FE_CPORT_QUEUE_XFC_MASK);
1477         airoha_fe_set(eth, REG_FE_CPORT_CFG, FE_CPORT_PORT_XFC_MASK);
1478
1479         /* default aging mode for mbi unlock issue */
1480         airoha_fe_rmw(eth, REG_GDM2_CHN_RLS,
1481                       MBI_RX_AGE_SEL_MASK | MBI_TX_AGE_SEL_MASK,
1482                       FIELD_PREP(MBI_RX_AGE_SEL_MASK, 3) |
1483                       FIELD_PREP(MBI_TX_AGE_SEL_MASK, 3));
1484
1485         /* disable IFC by default */
1486         airoha_fe_clear(eth, REG_FE_CSR_IFC_CFG, FE_IFC_EN_MASK);
1487
1488         /* enable 1:N vlan action, init vlan table */
1489         airoha_fe_set(eth, REG_MC_VLAN_EN, MC_VLAN_EN_MASK);
1490
1491         return airoha_fe_mc_vlan_clear(eth);
1492 }
1493
1494 static int airoha_qdma_fill_rx_queue(struct airoha_queue *q)
1495 {
1496         enum dma_data_direction dir = page_pool_get_dma_dir(q->page_pool);
1497         struct airoha_qdma *qdma = q->qdma;
1498         struct airoha_eth *eth = qdma->eth;
1499         int qid = q - &qdma->q_rx[0];
1500         int nframes = 0;
1501
1502         while (q->queued < q->ndesc - 1) {
1503                 struct airoha_queue_entry *e = &q->entry[q->head];
1504                 struct airoha_qdma_desc *desc = &q->desc[q->head];
1505                 struct page *page;
1506                 int offset;
1507                 u32 val;
1508
1509                 page = page_pool_dev_alloc_frag(q->page_pool, &offset,
1510                                                 q->buf_size);
1511                 if (!page)
1512                         break;
1513
1514                 q->head = (q->head + 1) % q->ndesc;
1515                 q->queued++;
1516                 nframes++;
1517
1518                 e->buf = page_address(page) + offset;
1519                 e->dma_addr = page_pool_get_dma_addr(page) + offset;
1520                 e->dma_len = SKB_WITH_OVERHEAD(q->buf_size);
1521
1522                 dma_sync_single_for_device(eth->dev, e->dma_addr, e->dma_len,
1523                                            dir);
1524
1525                 val = FIELD_PREP(QDMA_DESC_LEN_MASK, e->dma_len);
1526                 WRITE_ONCE(desc->ctrl, cpu_to_le32(val));
1527                 WRITE_ONCE(desc->addr, cpu_to_le32(e->dma_addr));
1528                 val = FIELD_PREP(QDMA_DESC_NEXT_ID_MASK, q->head);
1529                 WRITE_ONCE(desc->data, cpu_to_le32(val));
1530                 WRITE_ONCE(desc->msg0, 0);
1531                 WRITE_ONCE(desc->msg1, 0);
1532                 WRITE_ONCE(desc->msg2, 0);
1533                 WRITE_ONCE(desc->msg3, 0);
1534
1535                 airoha_qdma_rmw(qdma, REG_RX_CPU_IDX(qid),
1536                                 RX_RING_CPU_IDX_MASK,
1537                                 FIELD_PREP(RX_RING_CPU_IDX_MASK, q->head));
1538         }
1539
1540         return nframes;
1541 }
1542
1543 static int airoha_qdma_get_gdm_port(struct airoha_eth *eth,
1544                                     struct airoha_qdma_desc *desc)
1545 {
1546         u32 port, sport, msg1 = le32_to_cpu(desc->msg1);
1547
1548         sport = FIELD_GET(QDMA_ETH_RXMSG_SPORT_MASK, msg1);
1549         switch (sport) {
1550         case 0x10 ... 0x13:
1551                 port = 0;
1552                 break;
1553         case 0x2 ... 0x4:
1554                 port = sport - 1;
1555                 break;
1556         default:
1557                 return -EINVAL;
1558         }
1559
1560         return port >= ARRAY_SIZE(eth->ports) ? -EINVAL : port;
1561 }
1562
1563 static int airoha_qdma_rx_process(struct airoha_queue *q, int budget)
1564 {
1565         enum dma_data_direction dir = page_pool_get_dma_dir(q->page_pool);
1566         struct airoha_qdma *qdma = q->qdma;
1567         struct airoha_eth *eth = qdma->eth;
1568         int qid = q - &qdma->q_rx[0];
1569         int done = 0;
1570
1571         while (done < budget) {
1572                 struct airoha_queue_entry *e = &q->entry[q->tail];
1573                 struct airoha_qdma_desc *desc = &q->desc[q->tail];
1574                 dma_addr_t dma_addr = le32_to_cpu(desc->addr);
1575                 u32 desc_ctrl = le32_to_cpu(desc->ctrl);
1576                 struct sk_buff *skb;
1577                 int len, p;
1578
1579                 if (!(desc_ctrl & QDMA_DESC_DONE_MASK))
1580                         break;
1581
1582                 if (!dma_addr)
1583                         break;
1584
1585                 len = FIELD_GET(QDMA_DESC_LEN_MASK, desc_ctrl);
1586                 if (!len)
1587                         break;
1588
1589                 q->tail = (q->tail + 1) % q->ndesc;
1590                 q->queued--;
1591
1592                 dma_sync_single_for_cpu(eth->dev, dma_addr,
1593                                         SKB_WITH_OVERHEAD(q->buf_size), dir);
1594
1595                 p = airoha_qdma_get_gdm_port(eth, desc);
1596                 if (p < 0 || !eth->ports[p]) {
1597                         page_pool_put_full_page(q->page_pool,
1598                                                 virt_to_head_page(e->buf),
1599                                                 true);
1600                         continue;
1601                 }
1602
1603                 skb = napi_build_skb(e->buf, q->buf_size);
1604                 if (!skb) {
1605                         page_pool_put_full_page(q->page_pool,
1606                                                 virt_to_head_page(e->buf),
1607                                                 true);
1608                         break;
1609                 }
1610
1611                 skb_reserve(skb, 2);
1612                 __skb_put(skb, len);
1613                 skb_mark_for_recycle(skb);
1614                 skb->dev = eth->ports[p]->dev;
1615                 skb->protocol = eth_type_trans(skb, skb->dev);
1616                 skb->ip_summed = CHECKSUM_UNNECESSARY;
1617                 skb_record_rx_queue(skb, qid);
1618                 napi_gro_receive(&q->napi, skb);
1619
1620                 done++;
1621         }
1622         airoha_qdma_fill_rx_queue(q);
1623
1624         return done;
1625 }
1626
1627 static int airoha_qdma_rx_napi_poll(struct napi_struct *napi, int budget)
1628 {
1629         struct airoha_queue *q = container_of(napi, struct airoha_queue, napi);
1630         int cur, done = 0;
1631
1632         do {
1633                 cur = airoha_qdma_rx_process(q, budget - done);
1634                 done += cur;
1635         } while (cur && done < budget);
1636
1637         if (done < budget && napi_complete(napi))
1638                 airoha_qdma_irq_enable(q->qdma, QDMA_INT_REG_IDX1,
1639                                        RX_DONE_INT_MASK);
1640
1641         return done;
1642 }
1643
1644 static int airoha_qdma_init_rx_queue(struct airoha_queue *q,
1645                                      struct airoha_qdma *qdma, int ndesc)
1646 {
1647         const struct page_pool_params pp_params = {
1648                 .order = 0,
1649                 .pool_size = 256,
1650                 .flags = PP_FLAG_DMA_MAP | PP_FLAG_DMA_SYNC_DEV,
1651                 .dma_dir = DMA_FROM_DEVICE,
1652                 .max_len = PAGE_SIZE,
1653                 .nid = NUMA_NO_NODE,
1654                 .dev = qdma->eth->dev,
1655                 .napi = &q->napi,
1656         };
1657         struct airoha_eth *eth = qdma->eth;
1658         int qid = q - &qdma->q_rx[0], thr;
1659         dma_addr_t dma_addr;
1660
1661         q->buf_size = PAGE_SIZE / 2;
1662         q->ndesc = ndesc;
1663         q->qdma = qdma;
1664
1665         q->entry = devm_kzalloc(eth->dev, q->ndesc * sizeof(*q->entry),
1666                                 GFP_KERNEL);
1667         if (!q->entry)
1668                 return -ENOMEM;
1669
1670         q->page_pool = page_pool_create(&pp_params);
1671         if (IS_ERR(q->page_pool)) {
1672                 int err = PTR_ERR(q->page_pool);
1673
1674                 q->page_pool = NULL;
1675                 return err;
1676         }
1677
1678         q->desc = dmam_alloc_coherent(eth->dev, q->ndesc * sizeof(*q->desc),
1679                                       &dma_addr, GFP_KERNEL);
1680         if (!q->desc)
1681                 return -ENOMEM;
1682
1683         netif_napi_add(eth->napi_dev, &q->napi, airoha_qdma_rx_napi_poll);
1684
1685         airoha_qdma_wr(qdma, REG_RX_RING_BASE(qid), dma_addr);
1686         airoha_qdma_rmw(qdma, REG_RX_RING_SIZE(qid),
1687                         RX_RING_SIZE_MASK,
1688                         FIELD_PREP(RX_RING_SIZE_MASK, ndesc));
1689
1690         thr = clamp(ndesc >> 3, 1, 32);
1691         airoha_qdma_rmw(qdma, REG_RX_RING_SIZE(qid), RX_RING_THR_MASK,
1692                         FIELD_PREP(RX_RING_THR_MASK, thr));
1693         airoha_qdma_rmw(qdma, REG_RX_DMA_IDX(qid), RX_RING_DMA_IDX_MASK,
1694                         FIELD_PREP(RX_RING_DMA_IDX_MASK, q->head));
1695
1696         airoha_qdma_fill_rx_queue(q);
1697
1698         return 0;
1699 }
1700
1701 static void airoha_qdma_cleanup_rx_queue(struct airoha_queue *q)
1702 {
1703         struct airoha_eth *eth = q->qdma->eth;
1704
1705         while (q->queued) {
1706                 struct airoha_queue_entry *e = &q->entry[q->tail];
1707                 struct page *page = virt_to_head_page(e->buf);
1708
1709                 dma_sync_single_for_cpu(eth->dev, e->dma_addr, e->dma_len,
1710                                         page_pool_get_dma_dir(q->page_pool));
1711                 page_pool_put_full_page(q->page_pool, page, false);
1712                 q->tail = (q->tail + 1) % q->ndesc;
1713                 q->queued--;
1714         }
1715 }
1716
1717 static int airoha_qdma_init_rx(struct airoha_qdma *qdma)
1718 {
1719         int i;
1720
1721         for (i = 0; i < ARRAY_SIZE(qdma->q_rx); i++) {
1722                 int err;
1723
1724                 if (!(RX_DONE_INT_MASK & BIT(i))) {
1725                         /* rx-queue not binded to irq */
1726                         continue;
1727                 }
1728
1729                 err = airoha_qdma_init_rx_queue(&qdma->q_rx[i], qdma,
1730                                                 RX_DSCP_NUM(i));
1731                 if (err)
1732                         return err;
1733         }
1734
1735         return 0;
1736 }
1737
1738 static int airoha_qdma_tx_napi_poll(struct napi_struct *napi, int budget)
1739 {
1740         struct airoha_tx_irq_queue *irq_q;
1741         int id, done = 0, irq_queued;
1742         struct airoha_qdma *qdma;
1743         struct airoha_eth *eth;
1744         u32 status, head;
1745
1746         irq_q = container_of(napi, struct airoha_tx_irq_queue, napi);
1747         qdma = irq_q->qdma;
1748         id = irq_q - &qdma->q_tx_irq[0];
1749         eth = qdma->eth;
1750
1751         status = airoha_qdma_rr(qdma, REG_IRQ_STATUS(id));
1752         head = FIELD_GET(IRQ_HEAD_IDX_MASK, status);
1753         head = head % irq_q->size;
1754         irq_queued = FIELD_GET(IRQ_ENTRY_LEN_MASK, status);
1755
1756         while (irq_queued > 0 && done < budget) {
1757                 u32 qid, val = irq_q->q[head];
1758                 struct airoha_qdma_desc *desc;
1759                 struct airoha_queue_entry *e;
1760                 struct airoha_queue *q;
1761                 u32 index, desc_ctrl;
1762                 struct sk_buff *skb;
1763
1764                 if (val == 0xff)
1765                         break;
1766
1767                 irq_q->q[head] = 0xff; /* mark as done */
1768                 head = (head + 1) % irq_q->size;
1769                 irq_queued--;
1770                 done++;
1771
1772                 qid = FIELD_GET(IRQ_RING_IDX_MASK, val);
1773                 if (qid >= ARRAY_SIZE(qdma->q_tx))
1774                         continue;
1775
1776                 q = &qdma->q_tx[qid];
1777                 if (!q->ndesc)
1778                         continue;
1779
1780                 index = FIELD_GET(IRQ_DESC_IDX_MASK, val);
1781                 if (index >= q->ndesc)
1782                         continue;
1783
1784                 spin_lock_bh(&q->lock);
1785
1786                 if (!q->queued)
1787                         goto unlock;
1788
1789                 desc = &q->desc[index];
1790                 desc_ctrl = le32_to_cpu(desc->ctrl);
1791
1792                 if (!(desc_ctrl & QDMA_DESC_DONE_MASK) &&
1793                     !(desc_ctrl & QDMA_DESC_DROP_MASK))
1794                         goto unlock;
1795
1796                 e = &q->entry[index];
1797                 skb = e->skb;
1798
1799                 dma_unmap_single(eth->dev, e->dma_addr, e->dma_len,
1800                                  DMA_TO_DEVICE);
1801                 memset(e, 0, sizeof(*e));
1802                 WRITE_ONCE(desc->msg0, 0);
1803                 WRITE_ONCE(desc->msg1, 0);
1804                 q->queued--;
1805
1806                 /* completion ring can report out-of-order indexes if hw QoS
1807                  * is enabled and packets with different priority are queued
1808                  * to same DMA ring. Take into account possible out-of-order
1809                  * reports incrementing DMA ring tail pointer
1810                  */
1811                 while (q->tail != q->head && !q->entry[q->tail].dma_addr)
1812                         q->tail = (q->tail + 1) % q->ndesc;
1813
1814                 if (skb) {
1815                         u16 queue = skb_get_queue_mapping(skb);
1816                         struct netdev_queue *txq;
1817
1818                         txq = netdev_get_tx_queue(skb->dev, queue);
1819                         netdev_tx_completed_queue(txq, 1, skb->len);
1820                         if (netif_tx_queue_stopped(txq) &&
1821                             q->ndesc - q->queued >= q->free_thr)
1822                                 netif_tx_wake_queue(txq);
1823
1824                         dev_kfree_skb_any(skb);
1825                 }
1826 unlock:
1827                 spin_unlock_bh(&q->lock);
1828         }
1829
1830         if (done) {
1831                 int i, len = done >> 7;
1832
1833                 for (i = 0; i < len; i++)
1834                         airoha_qdma_rmw(qdma, REG_IRQ_CLEAR_LEN(id),
1835                                         IRQ_CLEAR_LEN_MASK, 0x80);
1836                 airoha_qdma_rmw(qdma, REG_IRQ_CLEAR_LEN(id),
1837                                 IRQ_CLEAR_LEN_MASK, (done & 0x7f));
1838         }
1839
1840         if (done < budget && napi_complete(napi))
1841                 airoha_qdma_irq_enable(qdma, QDMA_INT_REG_IDX0,
1842                                        TX_DONE_INT_MASK(id));
1843
1844         return done;
1845 }
1846
1847 static int airoha_qdma_init_tx_queue(struct airoha_queue *q,
1848                                      struct airoha_qdma *qdma, int size)
1849 {
1850         struct airoha_eth *eth = qdma->eth;
1851         int i, qid = q - &qdma->q_tx[0];
1852         dma_addr_t dma_addr;
1853
1854         spin_lock_init(&q->lock);
1855         q->ndesc = size;
1856         q->qdma = qdma;
1857         q->free_thr = 1 + MAX_SKB_FRAGS;
1858
1859         q->entry = devm_kzalloc(eth->dev, q->ndesc * sizeof(*q->entry),
1860                                 GFP_KERNEL);
1861         if (!q->entry)
1862                 return -ENOMEM;
1863
1864         q->desc = dmam_alloc_coherent(eth->dev, q->ndesc * sizeof(*q->desc),
1865                                       &dma_addr, GFP_KERNEL);
1866         if (!q->desc)
1867                 return -ENOMEM;
1868
1869         for (i = 0; i < q->ndesc; i++) {
1870                 u32 val;
1871
1872                 val = FIELD_PREP(QDMA_DESC_DONE_MASK, 1);
1873                 WRITE_ONCE(q->desc[i].ctrl, cpu_to_le32(val));
1874         }
1875
1876         /* xmit ring drop default setting */
1877         airoha_qdma_set(qdma, REG_TX_RING_BLOCKING(qid),
1878                         TX_RING_IRQ_BLOCKING_TX_DROP_EN_MASK);
1879
1880         airoha_qdma_wr(qdma, REG_TX_RING_BASE(qid), dma_addr);
1881         airoha_qdma_rmw(qdma, REG_TX_CPU_IDX(qid), TX_RING_CPU_IDX_MASK,
1882                         FIELD_PREP(TX_RING_CPU_IDX_MASK, q->head));
1883         airoha_qdma_rmw(qdma, REG_TX_DMA_IDX(qid), TX_RING_DMA_IDX_MASK,
1884                         FIELD_PREP(TX_RING_DMA_IDX_MASK, q->head));
1885
1886         return 0;
1887 }
1888
1889 static int airoha_qdma_tx_irq_init(struct airoha_tx_irq_queue *irq_q,
1890                                    struct airoha_qdma *qdma, int size)
1891 {
1892         int id = irq_q - &qdma->q_tx_irq[0];
1893         struct airoha_eth *eth = qdma->eth;
1894         dma_addr_t dma_addr;
1895
1896         netif_napi_add_tx(eth->napi_dev, &irq_q->napi,
1897                           airoha_qdma_tx_napi_poll);
1898         irq_q->q = dmam_alloc_coherent(eth->dev, size * sizeof(u32),
1899                                        &dma_addr, GFP_KERNEL);
1900         if (!irq_q->q)
1901                 return -ENOMEM;
1902
1903         memset(irq_q->q, 0xff, size * sizeof(u32));
1904         irq_q->size = size;
1905         irq_q->qdma = qdma;
1906
1907         airoha_qdma_wr(qdma, REG_TX_IRQ_BASE(id), dma_addr);
1908         airoha_qdma_rmw(qdma, REG_TX_IRQ_CFG(id), TX_IRQ_DEPTH_MASK,
1909                         FIELD_PREP(TX_IRQ_DEPTH_MASK, size));
1910         airoha_qdma_rmw(qdma, REG_TX_IRQ_CFG(id), TX_IRQ_THR_MASK,
1911                         FIELD_PREP(TX_IRQ_THR_MASK, 1));
1912
1913         return 0;
1914 }
1915
1916 static int airoha_qdma_init_tx(struct airoha_qdma *qdma)
1917 {
1918         int i, err;
1919
1920         for (i = 0; i < ARRAY_SIZE(qdma->q_tx_irq); i++) {
1921                 err = airoha_qdma_tx_irq_init(&qdma->q_tx_irq[i], qdma,
1922                                               IRQ_QUEUE_LEN(i));
1923                 if (err)
1924                         return err;
1925         }
1926
1927         for (i = 0; i < ARRAY_SIZE(qdma->q_tx); i++) {
1928                 err = airoha_qdma_init_tx_queue(&qdma->q_tx[i], qdma,
1929                                                 TX_DSCP_NUM);
1930                 if (err)
1931                         return err;
1932         }
1933
1934         return 0;
1935 }
1936
1937 static void airoha_qdma_cleanup_tx_queue(struct airoha_queue *q)
1938 {
1939         struct airoha_eth *eth = q->qdma->eth;
1940
1941         spin_lock_bh(&q->lock);
1942         while (q->queued) {
1943                 struct airoha_queue_entry *e = &q->entry[q->tail];
1944
1945                 dma_unmap_single(eth->dev, e->dma_addr, e->dma_len,
1946                                  DMA_TO_DEVICE);
1947                 dev_kfree_skb_any(e->skb);
1948                 e->skb = NULL;
1949
1950                 q->tail = (q->tail + 1) % q->ndesc;
1951                 q->queued--;
1952         }
1953         spin_unlock_bh(&q->lock);
1954 }
1955
1956 static int airoha_qdma_init_hfwd_queues(struct airoha_qdma *qdma)
1957 {
1958         struct airoha_eth *eth = qdma->eth;
1959         dma_addr_t dma_addr;
1960         u32 status;
1961         int size;
1962
1963         size = HW_DSCP_NUM * sizeof(struct airoha_qdma_fwd_desc);
1964         qdma->hfwd.desc = dmam_alloc_coherent(eth->dev, size, &dma_addr,
1965                                               GFP_KERNEL);
1966         if (!qdma->hfwd.desc)
1967                 return -ENOMEM;
1968
1969         airoha_qdma_wr(qdma, REG_FWD_DSCP_BASE, dma_addr);
1970
1971         size = AIROHA_MAX_PACKET_SIZE * HW_DSCP_NUM;
1972         qdma->hfwd.q = dmam_alloc_coherent(eth->dev, size, &dma_addr,
1973                                            GFP_KERNEL);
1974         if (!qdma->hfwd.q)
1975                 return -ENOMEM;
1976
1977         airoha_qdma_wr(qdma, REG_FWD_BUF_BASE, dma_addr);
1978
1979         airoha_qdma_rmw(qdma, REG_HW_FWD_DSCP_CFG,
1980                         HW_FWD_DSCP_PAYLOAD_SIZE_MASK,
1981                         FIELD_PREP(HW_FWD_DSCP_PAYLOAD_SIZE_MASK, 0));
1982         airoha_qdma_rmw(qdma, REG_FWD_DSCP_LOW_THR, FWD_DSCP_LOW_THR_MASK,
1983                         FIELD_PREP(FWD_DSCP_LOW_THR_MASK, 128));
1984         airoha_qdma_rmw(qdma, REG_LMGR_INIT_CFG,
1985                         LMGR_INIT_START | LMGR_SRAM_MODE_MASK |
1986                         HW_FWD_DESC_NUM_MASK,
1987                         FIELD_PREP(HW_FWD_DESC_NUM_MASK, HW_DSCP_NUM) |
1988                         LMGR_INIT_START);
1989
1990         return read_poll_timeout(airoha_qdma_rr, status,
1991                                  !(status & LMGR_INIT_START), USEC_PER_MSEC,
1992                                  30 * USEC_PER_MSEC, true, qdma,
1993                                  REG_LMGR_INIT_CFG);
1994 }
1995
1996 static void airoha_qdma_init_qos(struct airoha_qdma *qdma)
1997 {
1998         airoha_qdma_clear(qdma, REG_TXWRR_MODE_CFG, TWRR_WEIGHT_SCALE_MASK);
1999         airoha_qdma_set(qdma, REG_TXWRR_MODE_CFG, TWRR_WEIGHT_BASE_MASK);
2000
2001         airoha_qdma_clear(qdma, REG_PSE_BUF_USAGE_CFG,
2002                           PSE_BUF_ESTIMATE_EN_MASK);
2003
2004         airoha_qdma_set(qdma, REG_EGRESS_RATE_METER_CFG,
2005                         EGRESS_RATE_METER_EN_MASK |
2006                         EGRESS_RATE_METER_EQ_RATE_EN_MASK);
2007         /* 2047us x 31 = 63.457ms */
2008         airoha_qdma_rmw(qdma, REG_EGRESS_RATE_METER_CFG,
2009                         EGRESS_RATE_METER_WINDOW_SZ_MASK,
2010                         FIELD_PREP(EGRESS_RATE_METER_WINDOW_SZ_MASK, 0x1f));
2011         airoha_qdma_rmw(qdma, REG_EGRESS_RATE_METER_CFG,
2012                         EGRESS_RATE_METER_TIMESLICE_MASK,
2013                         FIELD_PREP(EGRESS_RATE_METER_TIMESLICE_MASK, 0x7ff));
2014
2015         /* ratelimit init */
2016         airoha_qdma_set(qdma, REG_GLB_TRTCM_CFG, GLB_TRTCM_EN_MASK);
2017         /* fast-tick 25us */
2018         airoha_qdma_rmw(qdma, REG_GLB_TRTCM_CFG, GLB_FAST_TICK_MASK,
2019                         FIELD_PREP(GLB_FAST_TICK_MASK, 25));
2020         airoha_qdma_rmw(qdma, REG_GLB_TRTCM_CFG, GLB_SLOW_TICK_RATIO_MASK,
2021                         FIELD_PREP(GLB_SLOW_TICK_RATIO_MASK, 40));
2022
2023         airoha_qdma_set(qdma, REG_EGRESS_TRTCM_CFG, EGRESS_TRTCM_EN_MASK);
2024         airoha_qdma_rmw(qdma, REG_EGRESS_TRTCM_CFG, EGRESS_FAST_TICK_MASK,
2025                         FIELD_PREP(EGRESS_FAST_TICK_MASK, 25));
2026         airoha_qdma_rmw(qdma, REG_EGRESS_TRTCM_CFG,
2027                         EGRESS_SLOW_TICK_RATIO_MASK,
2028                         FIELD_PREP(EGRESS_SLOW_TICK_RATIO_MASK, 40));
2029
2030         airoha_qdma_set(qdma, REG_INGRESS_TRTCM_CFG, INGRESS_TRTCM_EN_MASK);
2031         airoha_qdma_clear(qdma, REG_INGRESS_TRTCM_CFG,
2032                           INGRESS_TRTCM_MODE_MASK);
2033         airoha_qdma_rmw(qdma, REG_INGRESS_TRTCM_CFG, INGRESS_FAST_TICK_MASK,
2034                         FIELD_PREP(INGRESS_FAST_TICK_MASK, 125));
2035         airoha_qdma_rmw(qdma, REG_INGRESS_TRTCM_CFG,
2036                         INGRESS_SLOW_TICK_RATIO_MASK,
2037                         FIELD_PREP(INGRESS_SLOW_TICK_RATIO_MASK, 8));
2038
2039         airoha_qdma_set(qdma, REG_SLA_TRTCM_CFG, SLA_TRTCM_EN_MASK);
2040         airoha_qdma_rmw(qdma, REG_SLA_TRTCM_CFG, SLA_FAST_TICK_MASK,
2041                         FIELD_PREP(SLA_FAST_TICK_MASK, 25));
2042         airoha_qdma_rmw(qdma, REG_SLA_TRTCM_CFG, SLA_SLOW_TICK_RATIO_MASK,
2043                         FIELD_PREP(SLA_SLOW_TICK_RATIO_MASK, 40));
2044 }
2045
2046 static void airoha_qdma_init_qos_stats(struct airoha_qdma *qdma)
2047 {
2048         int i;
2049
2050         for (i = 0; i < AIROHA_NUM_QOS_CHANNELS; i++) {
2051                 /* Tx-cpu transferred count */
2052                 airoha_qdma_wr(qdma, REG_CNTR_VAL(i << 1), 0);
2053                 airoha_qdma_wr(qdma, REG_CNTR_CFG(i << 1),
2054                                CNTR_EN_MASK | CNTR_ALL_QUEUE_EN_MASK |
2055                                CNTR_ALL_DSCP_RING_EN_MASK |
2056                                FIELD_PREP(CNTR_CHAN_MASK, i));
2057                 /* Tx-fwd transferred count */
2058                 airoha_qdma_wr(qdma, REG_CNTR_VAL((i << 1) + 1), 0);
2059                 airoha_qdma_wr(qdma, REG_CNTR_CFG(i << 1),
2060                                CNTR_EN_MASK | CNTR_ALL_QUEUE_EN_MASK |
2061                                CNTR_ALL_DSCP_RING_EN_MASK |
2062                                FIELD_PREP(CNTR_SRC_MASK, 1) |
2063                                FIELD_PREP(CNTR_CHAN_MASK, i));
2064         }
2065 }
2066
2067 static int airoha_qdma_hw_init(struct airoha_qdma *qdma)
2068 {
2069         int i;
2070
2071         /* clear pending irqs */
2072         for (i = 0; i < ARRAY_SIZE(qdma->irqmask); i++)
2073                 airoha_qdma_wr(qdma, REG_INT_STATUS(i), 0xffffffff);
2074
2075         /* setup irqs */
2076         airoha_qdma_irq_enable(qdma, QDMA_INT_REG_IDX0, INT_IDX0_MASK);
2077         airoha_qdma_irq_enable(qdma, QDMA_INT_REG_IDX1, INT_IDX1_MASK);
2078         airoha_qdma_irq_enable(qdma, QDMA_INT_REG_IDX4, INT_IDX4_MASK);
2079
2080         /* setup irq binding */
2081         for (i = 0; i < ARRAY_SIZE(qdma->q_tx); i++) {
2082                 if (!qdma->q_tx[i].ndesc)
2083                         continue;
2084
2085                 if (TX_RING_IRQ_BLOCKING_MAP_MASK & BIT(i))
2086                         airoha_qdma_set(qdma, REG_TX_RING_BLOCKING(i),
2087                                         TX_RING_IRQ_BLOCKING_CFG_MASK);
2088                 else
2089                         airoha_qdma_clear(qdma, REG_TX_RING_BLOCKING(i),
2090                                           TX_RING_IRQ_BLOCKING_CFG_MASK);
2091         }
2092
2093         airoha_qdma_wr(qdma, REG_QDMA_GLOBAL_CFG,
2094                        GLOBAL_CFG_RX_2B_OFFSET_MASK |
2095                        FIELD_PREP(GLOBAL_CFG_DMA_PREFERENCE_MASK, 3) |
2096                        GLOBAL_CFG_CPU_TXR_RR_MASK |
2097                        GLOBAL_CFG_PAYLOAD_BYTE_SWAP_MASK |
2098                        GLOBAL_CFG_MULTICAST_MODIFY_FP_MASK |
2099                        GLOBAL_CFG_MULTICAST_EN_MASK |
2100                        GLOBAL_CFG_IRQ0_EN_MASK | GLOBAL_CFG_IRQ1_EN_MASK |
2101                        GLOBAL_CFG_TX_WB_DONE_MASK |
2102                        FIELD_PREP(GLOBAL_CFG_MAX_ISSUE_NUM_MASK, 2));
2103
2104         airoha_qdma_init_qos(qdma);
2105
2106         /* disable qdma rx delay interrupt */
2107         for (i = 0; i < ARRAY_SIZE(qdma->q_rx); i++) {
2108                 if (!qdma->q_rx[i].ndesc)
2109                         continue;
2110
2111                 airoha_qdma_clear(qdma, REG_RX_DELAY_INT_IDX(i),
2112                                   RX_DELAY_INT_MASK);
2113         }
2114
2115         airoha_qdma_set(qdma, REG_TXQ_CNGST_CFG,
2116                         TXQ_CNGST_DROP_EN | TXQ_CNGST_DEI_DROP_EN);
2117         airoha_qdma_init_qos_stats(qdma);
2118
2119         return 0;
2120 }
2121
2122 static irqreturn_t airoha_irq_handler(int irq, void *dev_instance)
2123 {
2124         struct airoha_qdma *qdma = dev_instance;
2125         u32 intr[ARRAY_SIZE(qdma->irqmask)];
2126         int i;
2127
2128         for (i = 0; i < ARRAY_SIZE(qdma->irqmask); i++) {
2129                 intr[i] = airoha_qdma_rr(qdma, REG_INT_STATUS(i));
2130                 intr[i] &= qdma->irqmask[i];
2131                 airoha_qdma_wr(qdma, REG_INT_STATUS(i), intr[i]);
2132         }
2133
2134         if (!test_bit(DEV_STATE_INITIALIZED, &qdma->eth->state))
2135                 return IRQ_NONE;
2136
2137         if (intr[1] & RX_DONE_INT_MASK) {
2138                 airoha_qdma_irq_disable(qdma, QDMA_INT_REG_IDX1,
2139                                         RX_DONE_INT_MASK);
2140
2141                 for (i = 0; i < ARRAY_SIZE(qdma->q_rx); i++) {
2142                         if (!qdma->q_rx[i].ndesc)
2143                                 continue;
2144
2145                         if (intr[1] & BIT(i))
2146                                 napi_schedule(&qdma->q_rx[i].napi);
2147                 }
2148         }
2149
2150         if (intr[0] & INT_TX_MASK) {
2151                 for (i = 0; i < ARRAY_SIZE(qdma->q_tx_irq); i++) {
2152                         if (!(intr[0] & TX_DONE_INT_MASK(i)))
2153                                 continue;
2154
2155                         airoha_qdma_irq_disable(qdma, QDMA_INT_REG_IDX0,
2156                                                 TX_DONE_INT_MASK(i));
2157                         napi_schedule(&qdma->q_tx_irq[i].napi);
2158                 }
2159         }
2160
2161         return IRQ_HANDLED;
2162 }
2163
2164 static int airoha_qdma_init(struct platform_device *pdev,
2165                             struct airoha_eth *eth,
2166                             struct airoha_qdma *qdma)
2167 {
2168         int err, id = qdma - &eth->qdma[0];
2169         const char *res;
2170
2171         spin_lock_init(&qdma->irq_lock);
2172         qdma->eth = eth;
2173
2174         res = devm_kasprintf(eth->dev, GFP_KERNEL, "qdma%d", id);
2175         if (!res)
2176                 return -ENOMEM;
2177
2178         qdma->regs = devm_platform_ioremap_resource_byname(pdev, res);
2179         if (IS_ERR(qdma->regs))
2180                 return dev_err_probe(eth->dev, PTR_ERR(qdma->regs),
2181                                      "failed to iomap qdma%d regs\n", id);
2182
2183         qdma->irq = platform_get_irq(pdev, 4 * id);
2184         if (qdma->irq < 0)
2185                 return qdma->irq;
2186
2187         err = devm_request_irq(eth->dev, qdma->irq, airoha_irq_handler,
2188                                IRQF_SHARED, KBUILD_MODNAME, qdma);
2189         if (err)
2190                 return err;
2191
2192         err = airoha_qdma_init_rx(qdma);
2193         if (err)
2194                 return err;
2195
2196         err = airoha_qdma_init_tx(qdma);
2197         if (err)
2198                 return err;
2199
2200         err = airoha_qdma_init_hfwd_queues(qdma);
2201         if (err)
2202                 return err;
2203
2204         return airoha_qdma_hw_init(qdma);
2205 }
2206
2207 static int airoha_hw_init(struct platform_device *pdev,
2208                           struct airoha_eth *eth)
2209 {
2210         int err, i;
2211
2212         /* disable xsi */
2213         err = reset_control_bulk_assert(ARRAY_SIZE(eth->xsi_rsts),
2214                                         eth->xsi_rsts);
2215         if (err)
2216                 return err;
2217
2218         err = reset_control_bulk_assert(ARRAY_SIZE(eth->rsts), eth->rsts);
2219         if (err)
2220                 return err;
2221
2222         msleep(20);
2223         err = reset_control_bulk_deassert(ARRAY_SIZE(eth->rsts), eth->rsts);
2224         if (err)
2225                 return err;
2226
2227         msleep(20);
2228         err = airoha_fe_init(eth);
2229         if (err)
2230                 return err;
2231
2232         for (i = 0; i < ARRAY_SIZE(eth->qdma); i++) {
2233                 err = airoha_qdma_init(pdev, eth, &eth->qdma[i]);
2234                 if (err)
2235                         return err;
2236         }
2237
2238         set_bit(DEV_STATE_INITIALIZED, &eth->state);
2239
2240         return 0;
2241 }
2242
2243 static void airoha_hw_cleanup(struct airoha_qdma *qdma)
2244 {
2245         int i;
2246
2247         for (i = 0; i < ARRAY_SIZE(qdma->q_rx); i++) {
2248                 if (!qdma->q_rx[i].ndesc)
2249                         continue;
2250
2251                 netif_napi_del(&qdma->q_rx[i].napi);
2252                 airoha_qdma_cleanup_rx_queue(&qdma->q_rx[i]);
2253                 if (qdma->q_rx[i].page_pool)
2254                         page_pool_destroy(qdma->q_rx[i].page_pool);
2255         }
2256
2257         for (i = 0; i < ARRAY_SIZE(qdma->q_tx_irq); i++)
2258                 netif_napi_del(&qdma->q_tx_irq[i].napi);
2259
2260         for (i = 0; i < ARRAY_SIZE(qdma->q_tx); i++) {
2261                 if (!qdma->q_tx[i].ndesc)
2262                         continue;
2263
2264                 airoha_qdma_cleanup_tx_queue(&qdma->q_tx[i]);
2265         }
2266 }
2267
2268 static void airoha_qdma_start_napi(struct airoha_qdma *qdma)
2269 {
2270         int i;
2271
2272         for (i = 0; i < ARRAY_SIZE(qdma->q_tx_irq); i++)
2273                 napi_enable(&qdma->q_tx_irq[i].napi);
2274
2275         for (i = 0; i < ARRAY_SIZE(qdma->q_rx); i++) {
2276                 if (!qdma->q_rx[i].ndesc)
2277                         continue;
2278
2279                 napi_enable(&qdma->q_rx[i].napi);
2280         }
2281 }
2282
2283 static void airoha_qdma_stop_napi(struct airoha_qdma *qdma)
2284 {
2285         int i;
2286
2287         for (i = 0; i < ARRAY_SIZE(qdma->q_tx_irq); i++)
2288                 napi_disable(&qdma->q_tx_irq[i].napi);
2289
2290         for (i = 0; i < ARRAY_SIZE(qdma->q_rx); i++) {
2291                 if (!qdma->q_rx[i].ndesc)
2292                         continue;
2293
2294                 napi_disable(&qdma->q_rx[i].napi);
2295         }
2296 }
2297
2298 static void airoha_update_hw_stats(struct airoha_gdm_port *port)
2299 {
2300         struct airoha_eth *eth = port->qdma->eth;
2301         u32 val, i = 0;
2302
2303         spin_lock(&port->stats.lock);
2304         u64_stats_update_begin(&port->stats.syncp);
2305
2306         /* TX */
2307         val = airoha_fe_rr(eth, REG_FE_GDM_TX_OK_PKT_CNT_H(port->id));
2308         port->stats.tx_ok_pkts += ((u64)val << 32);
2309         val = airoha_fe_rr(eth, REG_FE_GDM_TX_OK_PKT_CNT_L(port->id));
2310         port->stats.tx_ok_pkts += val;
2311
2312         val = airoha_fe_rr(eth, REG_FE_GDM_TX_OK_BYTE_CNT_H(port->id));
2313         port->stats.tx_ok_bytes += ((u64)val << 32);
2314         val = airoha_fe_rr(eth, REG_FE_GDM_TX_OK_BYTE_CNT_L(port->id));
2315         port->stats.tx_ok_bytes += val;
2316
2317         val = airoha_fe_rr(eth, REG_FE_GDM_TX_ETH_DROP_CNT(port->id));
2318         port->stats.tx_drops += val;
2319
2320         val = airoha_fe_rr(eth, REG_FE_GDM_TX_ETH_BC_CNT(port->id));
2321         port->stats.tx_broadcast += val;
2322
2323         val = airoha_fe_rr(eth, REG_FE_GDM_TX_ETH_MC_CNT(port->id));
2324         port->stats.tx_multicast += val;
2325
2326         val = airoha_fe_rr(eth, REG_FE_GDM_TX_ETH_RUNT_CNT(port->id));
2327         port->stats.tx_len[i] += val;
2328
2329         val = airoha_fe_rr(eth, REG_FE_GDM_TX_ETH_E64_CNT_H(port->id));
2330         port->stats.tx_len[i] += ((u64)val << 32);
2331         val = airoha_fe_rr(eth, REG_FE_GDM_TX_ETH_E64_CNT_L(port->id));
2332         port->stats.tx_len[i++] += val;
2333
2334         val = airoha_fe_rr(eth, REG_FE_GDM_TX_ETH_L64_CNT_H(port->id));
2335         port->stats.tx_len[i] += ((u64)val << 32);
2336         val = airoha_fe_rr(eth, REG_FE_GDM_TX_ETH_L64_CNT_L(port->id));
2337         port->stats.tx_len[i++] += val;
2338
2339         val = airoha_fe_rr(eth, REG_FE_GDM_TX_ETH_L127_CNT_H(port->id));
2340         port->stats.tx_len[i] += ((u64)val << 32);
2341         val = airoha_fe_rr(eth, REG_FE_GDM_TX_ETH_L127_CNT_L(port->id));
2342         port->stats.tx_len[i++] += val;
2343
2344         val = airoha_fe_rr(eth, REG_FE_GDM_TX_ETH_L255_CNT_H(port->id));
2345         port->stats.tx_len[i] += ((u64)val << 32);
2346         val = airoha_fe_rr(eth, REG_FE_GDM_TX_ETH_L255_CNT_L(port->id));
2347         port->stats.tx_len[i++] += val;
2348
2349         val = airoha_fe_rr(eth, REG_FE_GDM_TX_ETH_L511_CNT_H(port->id));
2350         port->stats.tx_len[i] += ((u64)val << 32);
2351         val = airoha_fe_rr(eth, REG_FE_GDM_TX_ETH_L511_CNT_L(port->id));
2352         port->stats.tx_len[i++] += val;
2353
2354         val = airoha_fe_rr(eth, REG_FE_GDM_TX_ETH_L1023_CNT_H(port->id));
2355         port->stats.tx_len[i] += ((u64)val << 32);
2356         val = airoha_fe_rr(eth, REG_FE_GDM_TX_ETH_L1023_CNT_L(port->id));
2357         port->stats.tx_len[i++] += val;
2358
2359         val = airoha_fe_rr(eth, REG_FE_GDM_TX_ETH_LONG_CNT(port->id));
2360         port->stats.tx_len[i++] += val;
2361
2362         /* RX */
2363         val = airoha_fe_rr(eth, REG_FE_GDM_RX_OK_PKT_CNT_H(port->id));
2364         port->stats.rx_ok_pkts += ((u64)val << 32);
2365         val = airoha_fe_rr(eth, REG_FE_GDM_RX_OK_PKT_CNT_L(port->id));
2366         port->stats.rx_ok_pkts += val;
2367
2368         val = airoha_fe_rr(eth, REG_FE_GDM_RX_OK_BYTE_CNT_H(port->id));
2369         port->stats.rx_ok_bytes += ((u64)val << 32);
2370         val = airoha_fe_rr(eth, REG_FE_GDM_RX_OK_BYTE_CNT_L(port->id));
2371         port->stats.rx_ok_bytes += val;
2372
2373         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_DROP_CNT(port->id));
2374         port->stats.rx_drops += val;
2375
2376         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_BC_CNT(port->id));
2377         port->stats.rx_broadcast += val;
2378
2379         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_MC_CNT(port->id));
2380         port->stats.rx_multicast += val;
2381
2382         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ERROR_DROP_CNT(port->id));
2383         port->stats.rx_errors += val;
2384
2385         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_CRC_ERR_CNT(port->id));
2386         port->stats.rx_crc_error += val;
2387
2388         val = airoha_fe_rr(eth, REG_FE_GDM_RX_OVERFLOW_DROP_CNT(port->id));
2389         port->stats.rx_over_errors += val;
2390
2391         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_FRAG_CNT(port->id));
2392         port->stats.rx_fragment += val;
2393
2394         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_JABBER_CNT(port->id));
2395         port->stats.rx_jabber += val;
2396
2397         i = 0;
2398         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_RUNT_CNT(port->id));
2399         port->stats.rx_len[i] += val;
2400
2401         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_E64_CNT_H(port->id));
2402         port->stats.rx_len[i] += ((u64)val << 32);
2403         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_E64_CNT_L(port->id));
2404         port->stats.rx_len[i++] += val;
2405
2406         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_L64_CNT_H(port->id));
2407         port->stats.rx_len[i] += ((u64)val << 32);
2408         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_L64_CNT_L(port->id));
2409         port->stats.rx_len[i++] += val;
2410
2411         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_L127_CNT_H(port->id));
2412         port->stats.rx_len[i] += ((u64)val << 32);
2413         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_L127_CNT_L(port->id));
2414         port->stats.rx_len[i++] += val;
2415
2416         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_L255_CNT_H(port->id));
2417         port->stats.rx_len[i] += ((u64)val << 32);
2418         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_L255_CNT_L(port->id));
2419         port->stats.rx_len[i++] += val;
2420
2421         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_L511_CNT_H(port->id));
2422         port->stats.rx_len[i] += ((u64)val << 32);
2423         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_L511_CNT_L(port->id));
2424         port->stats.rx_len[i++] += val;
2425
2426         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_L1023_CNT_H(port->id));
2427         port->stats.rx_len[i] += ((u64)val << 32);
2428         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_L1023_CNT_L(port->id));
2429         port->stats.rx_len[i++] += val;
2430
2431         val = airoha_fe_rr(eth, REG_FE_GDM_RX_ETH_LONG_CNT(port->id));
2432         port->stats.rx_len[i++] += val;
2433
2434         /* reset mib counters */
2435         airoha_fe_set(eth, REG_FE_GDM_MIB_CLEAR(port->id),
2436                       FE_GDM_MIB_RX_CLEAR_MASK | FE_GDM_MIB_TX_CLEAR_MASK);
2437
2438         u64_stats_update_end(&port->stats.syncp);
2439         spin_unlock(&port->stats.lock);
2440 }
2441
2442 static int airoha_dev_open(struct net_device *dev)
2443 {
2444         struct airoha_gdm_port *port = netdev_priv(dev);
2445         struct airoha_qdma *qdma = port->qdma;
2446         int err;
2447
2448         netif_tx_start_all_queues(dev);
2449         err = airoha_set_gdm_ports(qdma->eth, true);
2450         if (err)
2451                 return err;
2452
2453         if (netdev_uses_dsa(dev))
2454                 airoha_fe_set(qdma->eth, REG_GDM_INGRESS_CFG(port->id),
2455                               GDM_STAG_EN_MASK);
2456         else
2457                 airoha_fe_clear(qdma->eth, REG_GDM_INGRESS_CFG(port->id),
2458                                 GDM_STAG_EN_MASK);
2459
2460         airoha_qdma_set(qdma, REG_QDMA_GLOBAL_CFG,
2461                         GLOBAL_CFG_TX_DMA_EN_MASK |
2462                         GLOBAL_CFG_RX_DMA_EN_MASK);
2463
2464         return 0;
2465 }
2466
2467 static int airoha_dev_stop(struct net_device *dev)
2468 {
2469         struct airoha_gdm_port *port = netdev_priv(dev);
2470         struct airoha_qdma *qdma = port->qdma;
2471         int i, err;
2472
2473         netif_tx_disable(dev);
2474         err = airoha_set_gdm_ports(qdma->eth, false);
2475         if (err)
2476                 return err;
2477
2478         airoha_qdma_clear(qdma, REG_QDMA_GLOBAL_CFG,
2479                           GLOBAL_CFG_TX_DMA_EN_MASK |
2480                           GLOBAL_CFG_RX_DMA_EN_MASK);
2481
2482         for (i = 0; i < ARRAY_SIZE(qdma->q_tx); i++) {
2483                 if (!qdma->q_tx[i].ndesc)
2484                         continue;
2485
2486                 airoha_qdma_cleanup_tx_queue(&qdma->q_tx[i]);
2487                 netdev_tx_reset_subqueue(dev, i);
2488         }
2489
2490         return 0;
2491 }
2492
2493 static int airoha_dev_set_macaddr(struct net_device *dev, void *p)
2494 {
2495         struct airoha_gdm_port *port = netdev_priv(dev);
2496         int err;
2497
2498         err = eth_mac_addr(dev, p);
2499         if (err)
2500                 return err;
2501
2502         airoha_set_macaddr(port, dev->dev_addr);
2503
2504         return 0;
2505 }
2506
2507 static int airoha_dev_init(struct net_device *dev)
2508 {
2509         struct airoha_gdm_port *port = netdev_priv(dev);
2510
2511         airoha_set_macaddr(port, dev->dev_addr);
2512
2513         return 0;
2514 }
2515
2516 static void airoha_dev_get_stats64(struct net_device *dev,
2517                                    struct rtnl_link_stats64 *storage)
2518 {
2519         struct airoha_gdm_port *port = netdev_priv(dev);
2520         unsigned int start;
2521
2522         airoha_update_hw_stats(port);
2523         do {
2524                 start = u64_stats_fetch_begin(&port->stats.syncp);
2525                 storage->rx_packets = port->stats.rx_ok_pkts;
2526                 storage->tx_packets = port->stats.tx_ok_pkts;
2527                 storage->rx_bytes = port->stats.rx_ok_bytes;
2528                 storage->tx_bytes = port->stats.tx_ok_bytes;
2529                 storage->multicast = port->stats.rx_multicast;
2530                 storage->rx_errors = port->stats.rx_errors;
2531                 storage->rx_dropped = port->stats.rx_drops;
2532                 storage->tx_dropped = port->stats.tx_drops;
2533                 storage->rx_crc_errors = port->stats.rx_crc_error;
2534                 storage->rx_over_errors = port->stats.rx_over_errors;
2535         } while (u64_stats_fetch_retry(&port->stats.syncp, start));
2536 }
2537
2538 static u16 airoha_dev_select_queue(struct net_device *dev, struct sk_buff *skb,
2539                                    struct net_device *sb_dev)
2540 {
2541         struct airoha_gdm_port *port = netdev_priv(dev);
2542         int queue, channel;
2543
2544         /* For dsa device select QoS channel according to the dsa user port
2545          * index, rely on port id otherwise. Select QoS queue based on the
2546          * skb priority.
2547          */
2548         channel = netdev_uses_dsa(dev) ? skb_get_queue_mapping(skb) : port->id;
2549         channel = channel % AIROHA_NUM_QOS_CHANNELS;
2550         queue = (skb->priority - 1) % AIROHA_NUM_QOS_QUEUES; /* QoS queue */
2551         queue = channel * AIROHA_NUM_QOS_QUEUES + queue;
2552
2553         return queue < dev->num_tx_queues ? queue : 0;
2554 }
2555
2556 static netdev_tx_t airoha_dev_xmit(struct sk_buff *skb,
2557                                    struct net_device *dev)
2558 {
2559         struct skb_shared_info *sinfo = skb_shinfo(skb);
2560         struct airoha_gdm_port *port = netdev_priv(dev);
2561         u32 msg0, msg1, len = skb_headlen(skb);
2562         struct airoha_qdma *qdma = port->qdma;
2563         u32 nr_frags = 1 + sinfo->nr_frags;
2564         struct netdev_queue *txq;
2565         struct airoha_queue *q;
2566         void *data = skb->data;
2567         int i, qid;
2568         u16 index;
2569         u8 fport;
2570
2571         qid = skb_get_queue_mapping(skb) % ARRAY_SIZE(qdma->q_tx);
2572         msg0 = FIELD_PREP(QDMA_ETH_TXMSG_CHAN_MASK,
2573                           qid / AIROHA_NUM_QOS_QUEUES) |
2574                FIELD_PREP(QDMA_ETH_TXMSG_QUEUE_MASK,
2575                           qid % AIROHA_NUM_QOS_QUEUES);
2576         if (skb->ip_summed == CHECKSUM_PARTIAL)
2577                 msg0 |= FIELD_PREP(QDMA_ETH_TXMSG_TCO_MASK, 1) |
2578                         FIELD_PREP(QDMA_ETH_TXMSG_UCO_MASK, 1) |
2579                         FIELD_PREP(QDMA_ETH_TXMSG_ICO_MASK, 1);
2580
2581         /* TSO: fill MSS info in tcp checksum field */
2582         if (skb_is_gso(skb)) {
2583                 if (skb_cow_head(skb, 0))
2584                         goto error;
2585
2586                 if (sinfo->gso_type & (SKB_GSO_TCPV4 | SKB_GSO_TCPV6)) {
2587                         __be16 csum = cpu_to_be16(sinfo->gso_size);
2588
2589                         tcp_hdr(skb)->check = (__force __sum16)csum;
2590                         msg0 |= FIELD_PREP(QDMA_ETH_TXMSG_TSO_MASK, 1);
2591                 }
2592         }
2593
2594         fport = port->id == 4 ? FE_PSE_PORT_GDM4 : port->id;
2595         msg1 = FIELD_PREP(QDMA_ETH_TXMSG_FPORT_MASK, fport) |
2596                FIELD_PREP(QDMA_ETH_TXMSG_METER_MASK, 0x7f);
2597
2598         q = &qdma->q_tx[qid];
2599         if (WARN_ON_ONCE(!q->ndesc))
2600                 goto error;
2601
2602         spin_lock_bh(&q->lock);
2603
2604         txq = netdev_get_tx_queue(dev, qid);
2605         if (q->queued + nr_frags > q->ndesc) {
2606                 /* not enough space in the queue */
2607                 netif_tx_stop_queue(txq);
2608                 spin_unlock_bh(&q->lock);
2609                 return NETDEV_TX_BUSY;
2610         }
2611
2612         index = q->head;
2613         for (i = 0; i < nr_frags; i++) {
2614                 struct airoha_qdma_desc *desc = &q->desc[index];
2615                 struct airoha_queue_entry *e = &q->entry[index];
2616                 skb_frag_t *frag = &sinfo->frags[i];
2617                 dma_addr_t addr;
2618                 u32 val;
2619
2620                 addr = dma_map_single(dev->dev.parent, data, len,
2621                                       DMA_TO_DEVICE);
2622                 if (unlikely(dma_mapping_error(dev->dev.parent, addr)))
2623                         goto error_unmap;
2624
2625                 index = (index + 1) % q->ndesc;
2626
2627                 val = FIELD_PREP(QDMA_DESC_LEN_MASK, len);
2628                 if (i < nr_frags - 1)
2629                         val |= FIELD_PREP(QDMA_DESC_MORE_MASK, 1);
2630                 WRITE_ONCE(desc->ctrl, cpu_to_le32(val));
2631                 WRITE_ONCE(desc->addr, cpu_to_le32(addr));
2632                 val = FIELD_PREP(QDMA_DESC_NEXT_ID_MASK, index);
2633                 WRITE_ONCE(desc->data, cpu_to_le32(val));
2634                 WRITE_ONCE(desc->msg0, cpu_to_le32(msg0));
2635                 WRITE_ONCE(desc->msg1, cpu_to_le32(msg1));
2636                 WRITE_ONCE(desc->msg2, cpu_to_le32(0xffff));
2637
2638                 e->skb = i ? NULL : skb;
2639                 e->dma_addr = addr;
2640                 e->dma_len = len;
2641
2642                 data = skb_frag_address(frag);
2643                 len = skb_frag_size(frag);
2644         }
2645
2646         q->head = index;
2647         q->queued += i;
2648
2649         skb_tx_timestamp(skb);
2650         netdev_tx_sent_queue(txq, skb->len);
2651
2652         if (netif_xmit_stopped(txq) || !netdev_xmit_more())
2653                 airoha_qdma_rmw(qdma, REG_TX_CPU_IDX(qid),
2654                                 TX_RING_CPU_IDX_MASK,
2655                                 FIELD_PREP(TX_RING_CPU_IDX_MASK, q->head));
2656
2657         if (q->ndesc - q->queued < q->free_thr)
2658                 netif_tx_stop_queue(txq);
2659
2660         spin_unlock_bh(&q->lock);
2661
2662         return NETDEV_TX_OK;
2663
2664 error_unmap:
2665         for (i--; i >= 0; i--) {
2666                 index = (q->head + i) % q->ndesc;
2667                 dma_unmap_single(dev->dev.parent, q->entry[index].dma_addr,
2668                                  q->entry[index].dma_len, DMA_TO_DEVICE);
2669         }
2670
2671         spin_unlock_bh(&q->lock);
2672 error:
2673         dev_kfree_skb_any(skb);
2674         dev->stats.tx_dropped++;
2675
2676         return NETDEV_TX_OK;
2677 }
2678
2679 static void airoha_ethtool_get_drvinfo(struct net_device *dev,
2680                                        struct ethtool_drvinfo *info)
2681 {
2682         struct airoha_gdm_port *port = netdev_priv(dev);
2683         struct airoha_eth *eth = port->qdma->eth;
2684
2685         strscpy(info->driver, eth->dev->driver->name, sizeof(info->driver));
2686         strscpy(info->bus_info, dev_name(eth->dev), sizeof(info->bus_info));
2687 }
2688
2689 static void airoha_ethtool_get_mac_stats(struct net_device *dev,
2690                                          struct ethtool_eth_mac_stats *stats)
2691 {
2692         struct airoha_gdm_port *port = netdev_priv(dev);
2693         unsigned int start;
2694
2695         airoha_update_hw_stats(port);
2696         do {
2697                 start = u64_stats_fetch_begin(&port->stats.syncp);
2698                 stats->MulticastFramesXmittedOK = port->stats.tx_multicast;
2699                 stats->BroadcastFramesXmittedOK = port->stats.tx_broadcast;
2700                 stats->BroadcastFramesReceivedOK = port->stats.rx_broadcast;
2701         } while (u64_stats_fetch_retry(&port->stats.syncp, start));
2702 }
2703
2704 static const struct ethtool_rmon_hist_range airoha_ethtool_rmon_ranges[] = {
2705         {    0,    64 },
2706         {   65,   127 },
2707         {  128,   255 },
2708         {  256,   511 },
2709         {  512,  1023 },
2710         { 1024,  1518 },
2711         { 1519, 10239 },
2712         {},
2713 };
2714
2715 static void
2716 airoha_ethtool_get_rmon_stats(struct net_device *dev,
2717                               struct ethtool_rmon_stats *stats,
2718                               const struct ethtool_rmon_hist_range **ranges)
2719 {
2720         struct airoha_gdm_port *port = netdev_priv(dev);
2721         struct airoha_hw_stats *hw_stats = &port->stats;
2722         unsigned int start;
2723
2724         BUILD_BUG_ON(ARRAY_SIZE(airoha_ethtool_rmon_ranges) !=
2725                      ARRAY_SIZE(hw_stats->tx_len) + 1);
2726         BUILD_BUG_ON(ARRAY_SIZE(airoha_ethtool_rmon_ranges) !=
2727                      ARRAY_SIZE(hw_stats->rx_len) + 1);
2728
2729         *ranges = airoha_ethtool_rmon_ranges;
2730         airoha_update_hw_stats(port);
2731         do {
2732                 int i;
2733
2734                 start = u64_stats_fetch_begin(&port->stats.syncp);
2735                 stats->fragments = hw_stats->rx_fragment;
2736                 stats->jabbers = hw_stats->rx_jabber;
2737                 for (i = 0; i < ARRAY_SIZE(airoha_ethtool_rmon_ranges) - 1;
2738                      i++) {
2739                         stats->hist[i] = hw_stats->rx_len[i];
2740                         stats->hist_tx[i] = hw_stats->tx_len[i];
2741                 }
2742         } while (u64_stats_fetch_retry(&port->stats.syncp, start));
2743 }
2744
2745 static int airoha_qdma_set_chan_tx_sched(struct airoha_gdm_port *port,
2746                                          int channel, enum tx_sched_mode mode,
2747                                          const u16 *weights, u8 n_weights)
2748 {
2749         int i;
2750
2751         for (i = 0; i < AIROHA_NUM_TX_RING; i++)
2752                 airoha_qdma_clear(port->qdma, REG_QUEUE_CLOSE_CFG(channel),
2753                                   TXQ_DISABLE_CHAN_QUEUE_MASK(channel, i));
2754
2755         for (i = 0; i < n_weights; i++) {
2756                 u32 status;
2757                 int err;
2758
2759                 airoha_qdma_wr(port->qdma, REG_TXWRR_WEIGHT_CFG,
2760                                TWRR_RW_CMD_MASK |
2761                                FIELD_PREP(TWRR_CHAN_IDX_MASK, channel) |
2762                                FIELD_PREP(TWRR_QUEUE_IDX_MASK, i) |
2763                                FIELD_PREP(TWRR_VALUE_MASK, weights[i]));
2764                 err = read_poll_timeout(airoha_qdma_rr, status,
2765                                         status & TWRR_RW_CMD_DONE,
2766                                         USEC_PER_MSEC, 10 * USEC_PER_MSEC,
2767                                         true, port->qdma,
2768                                         REG_TXWRR_WEIGHT_CFG);
2769                 if (err)
2770                         return err;
2771         }
2772
2773         airoha_qdma_rmw(port->qdma, REG_CHAN_QOS_MODE(channel >> 3),
2774                         CHAN_QOS_MODE_MASK(channel),
2775                         mode << __ffs(CHAN_QOS_MODE_MASK(channel)));
2776
2777         return 0;
2778 }
2779
2780 static int airoha_qdma_set_tx_prio_sched(struct airoha_gdm_port *port,
2781                                          int channel)
2782 {
2783         static const u16 w[AIROHA_NUM_QOS_QUEUES] = {};
2784
2785         return airoha_qdma_set_chan_tx_sched(port, channel, TC_SCH_SP, w,
2786                                              ARRAY_SIZE(w));
2787 }
2788
2789 static int airoha_qdma_set_tx_ets_sched(struct airoha_gdm_port *port,
2790                                         int channel,
2791                                         struct tc_ets_qopt_offload *opt)
2792 {
2793         struct tc_ets_qopt_offload_replace_params *p = &opt->replace_params;
2794         enum tx_sched_mode mode = TC_SCH_SP;
2795         u16 w[AIROHA_NUM_QOS_QUEUES] = {};
2796         int i, nstrict = 0, nwrr, qidx;
2797
2798         if (p->bands > AIROHA_NUM_QOS_QUEUES)
2799                 return -EINVAL;
2800
2801         for (i = 0; i < p->bands; i++) {
2802                 if (!p->quanta[i])
2803                         nstrict++;
2804         }
2805
2806         /* this configuration is not supported by the hw */
2807         if (nstrict == AIROHA_NUM_QOS_QUEUES - 1)
2808                 return -EINVAL;
2809
2810         /* EN7581 SoC supports fixed QoS band priority where WRR queues have
2811          * lowest priorities with respect to SP ones.
2812          * e.g: WRR0, WRR1, .., WRRm, SP0, SP1, .., SPn
2813          */
2814         nwrr = p->bands - nstrict;
2815         qidx = nstrict && nwrr ? nstrict : 0;
2816         for (i = 1; i <= p->bands; i++) {
2817                 if (p->priomap[i % AIROHA_NUM_QOS_QUEUES] != qidx)
2818                         return -EINVAL;
2819
2820                 qidx = i == nwrr ? 0 : qidx + 1;
2821         }
2822
2823         for (i = 0; i < nwrr; i++)
2824                 w[i] = p->weights[nstrict + i];
2825
2826         if (!nstrict)
2827                 mode = TC_SCH_WRR8;
2828         else if (nstrict < AIROHA_NUM_QOS_QUEUES - 1)
2829                 mode = nstrict + 1;
2830
2831         return airoha_qdma_set_chan_tx_sched(port, channel, mode, w,
2832                                              ARRAY_SIZE(w));
2833 }
2834
2835 static int airoha_qdma_get_tx_ets_stats(struct airoha_gdm_port *port,
2836                                         int channel,
2837                                         struct tc_ets_qopt_offload *opt)
2838 {
2839         u64 cpu_tx_packets = airoha_qdma_rr(port->qdma,
2840                                             REG_CNTR_VAL(channel << 1));
2841         u64 fwd_tx_packets = airoha_qdma_rr(port->qdma,
2842                                             REG_CNTR_VAL((channel << 1) + 1));
2843         u64 tx_packets = (cpu_tx_packets - port->cpu_tx_packets) +
2844                          (fwd_tx_packets - port->fwd_tx_packets);
2845         _bstats_update(opt->stats.bstats, 0, tx_packets);
2846
2847         port->cpu_tx_packets = cpu_tx_packets;
2848         port->fwd_tx_packets = fwd_tx_packets;
2849
2850         return 0;
2851 }
2852
2853 static int airoha_tc_setup_qdisc_ets(struct airoha_gdm_port *port,
2854                                      struct tc_ets_qopt_offload *opt)
2855 {
2856         int channel;
2857
2858         if (opt->parent == TC_H_ROOT)
2859                 return -EINVAL;
2860
2861         channel = TC_H_MAJ(opt->handle) >> 16;
2862         channel = channel % AIROHA_NUM_QOS_CHANNELS;
2863
2864         switch (opt->command) {
2865         case TC_ETS_REPLACE:
2866                 return airoha_qdma_set_tx_ets_sched(port, channel, opt);
2867         case TC_ETS_DESTROY:
2868                 /* PRIO is default qdisc scheduler */
2869                 return airoha_qdma_set_tx_prio_sched(port, channel);
2870         case TC_ETS_STATS:
2871                 return airoha_qdma_get_tx_ets_stats(port, channel, opt);
2872         default:
2873                 return -EOPNOTSUPP;
2874         }
2875 }
2876
2877 static int airoha_qdma_get_trtcm_param(struct airoha_qdma *qdma, int channel,
2878                                        u32 addr, enum trtcm_param_type param,
2879                                        enum trtcm_mode_type mode,
2880                                        u32 *val_low, u32 *val_high)
2881 {
2882         u32 idx = QDMA_METER_IDX(channel), group = QDMA_METER_GROUP(channel);
2883         u32 val, config = FIELD_PREP(TRTCM_PARAM_TYPE_MASK, param) |
2884                           FIELD_PREP(TRTCM_METER_GROUP_MASK, group) |
2885                           FIELD_PREP(TRTCM_PARAM_INDEX_MASK, idx) |
2886                           FIELD_PREP(TRTCM_PARAM_RATE_TYPE_MASK, mode);
2887
2888         airoha_qdma_wr(qdma, REG_TRTCM_CFG_PARAM(addr), config);
2889         if (read_poll_timeout(airoha_qdma_rr, val,
2890                               val & TRTCM_PARAM_RW_DONE_MASK,
2891                               USEC_PER_MSEC, 10 * USEC_PER_MSEC, true,
2892                               qdma, REG_TRTCM_CFG_PARAM(addr)))
2893                 return -ETIMEDOUT;
2894
2895         *val_low = airoha_qdma_rr(qdma, REG_TRTCM_DATA_LOW(addr));
2896         if (val_high)
2897                 *val_high = airoha_qdma_rr(qdma, REG_TRTCM_DATA_HIGH(addr));
2898
2899         return 0;
2900 }
2901
2902 static int airoha_qdma_set_trtcm_param(struct airoha_qdma *qdma, int channel,
2903                                        u32 addr, enum trtcm_param_type param,
2904                                        enum trtcm_mode_type mode, u32 val)
2905 {
2906         u32 idx = QDMA_METER_IDX(channel), group = QDMA_METER_GROUP(channel);
2907         u32 config = TRTCM_PARAM_RW_MASK |
2908                      FIELD_PREP(TRTCM_PARAM_TYPE_MASK, param) |
2909                      FIELD_PREP(TRTCM_METER_GROUP_MASK, group) |
2910                      FIELD_PREP(TRTCM_PARAM_INDEX_MASK, idx) |
2911                      FIELD_PREP(TRTCM_PARAM_RATE_TYPE_MASK, mode);
2912
2913         airoha_qdma_wr(qdma, REG_TRTCM_DATA_LOW(addr), val);
2914         airoha_qdma_wr(qdma, REG_TRTCM_CFG_PARAM(addr), config);
2915
2916         return read_poll_timeout(airoha_qdma_rr, val,
2917                                  val & TRTCM_PARAM_RW_DONE_MASK,
2918                                  USEC_PER_MSEC, 10 * USEC_PER_MSEC, true,
2919                                  qdma, REG_TRTCM_CFG_PARAM(addr));
2920 }
2921
2922 static int airoha_qdma_set_trtcm_config(struct airoha_qdma *qdma, int channel,
2923                                         u32 addr, enum trtcm_mode_type mode,
2924                                         bool enable, u32 enable_mask)
2925 {
2926         u32 val;
2927
2928         if (airoha_qdma_get_trtcm_param(qdma, channel, addr, TRTCM_MISC_MODE,
2929                                         mode, &val, NULL))
2930                 return -EINVAL;
2931
2932         val = enable ? val | enable_mask : val & ~enable_mask;
2933
2934         return airoha_qdma_set_trtcm_param(qdma, channel, addr, TRTCM_MISC_MODE,
2935                                            mode, val);
2936 }
2937
2938 static int airoha_qdma_set_trtcm_token_bucket(struct airoha_qdma *qdma,
2939                                               int channel, u32 addr,
2940                                               enum trtcm_mode_type mode,
2941                                               u32 rate_val, u32 bucket_size)
2942 {
2943         u32 val, config, tick, unit, rate, rate_frac;
2944         int err;
2945
2946         if (airoha_qdma_get_trtcm_param(qdma, channel, addr, TRTCM_MISC_MODE,
2947                                         mode, &config, NULL))
2948                 return -EINVAL;
2949
2950         val = airoha_qdma_rr(qdma, addr);
2951         tick = FIELD_GET(INGRESS_FAST_TICK_MASK, val);
2952         if (config & TRTCM_TICK_SEL)
2953                 tick *= FIELD_GET(INGRESS_SLOW_TICK_RATIO_MASK, val);
2954         if (!tick)
2955                 return -EINVAL;
2956
2957         unit = (config & TRTCM_PKT_MODE) ? 1000000 / tick : 8000 / tick;
2958         if (!unit)
2959                 return -EINVAL;
2960
2961         rate = rate_val / unit;
2962         rate_frac = rate_val % unit;
2963         rate_frac = FIELD_PREP(TRTCM_TOKEN_RATE_MASK, rate_frac) / unit;
2964         rate = FIELD_PREP(TRTCM_TOKEN_RATE_MASK, rate) |
2965                FIELD_PREP(TRTCM_TOKEN_RATE_FRACTION_MASK, rate_frac);
2966
2967         err = airoha_qdma_set_trtcm_param(qdma, channel, addr,
2968                                           TRTCM_TOKEN_RATE_MODE, mode, rate);
2969         if (err)
2970                 return err;
2971
2972         val = max_t(u32, bucket_size, MIN_TOKEN_SIZE);
2973         val = min_t(u32, __fls(val), MAX_TOKEN_SIZE_OFFSET);
2974
2975         return airoha_qdma_set_trtcm_param(qdma, channel, addr,
2976                                            TRTCM_BUCKETSIZE_SHIFT_MODE,
2977                                            mode, val);
2978 }
2979
2980 static int airoha_qdma_set_tx_rate_limit(struct airoha_gdm_port *port,
2981                                          int channel, u32 rate,
2982                                          u32 bucket_size)
2983 {
2984         int i, err;
2985
2986         for (i = 0; i <= TRTCM_PEAK_MODE; i++) {
2987                 err = airoha_qdma_set_trtcm_config(port->qdma, channel,
2988                                                    REG_EGRESS_TRTCM_CFG, i,
2989                                                    !!rate, TRTCM_METER_MODE);
2990                 if (err)
2991                         return err;
2992
2993                 err = airoha_qdma_set_trtcm_token_bucket(port->qdma, channel,
2994                                                          REG_EGRESS_TRTCM_CFG,
2995                                                          i, rate, bucket_size);
2996                 if (err)
2997                         return err;
2998         }
2999
3000         return 0;
3001 }
3002
3003 static int airoha_tc_htb_alloc_leaf_queue(struct airoha_gdm_port *port,
3004                                           struct tc_htb_qopt_offload *opt)
3005 {
3006         u32 channel = TC_H_MIN(opt->classid) % AIROHA_NUM_QOS_CHANNELS;
3007         u32 rate = div_u64(opt->rate, 1000) << 3; /* kbps */
3008         struct net_device *dev = port->dev;
3009         int num_tx_queues = dev->real_num_tx_queues;
3010         int err;
3011
3012         if (opt->parent_classid != TC_HTB_CLASSID_ROOT) {
3013                 NL_SET_ERR_MSG_MOD(opt->extack, "invalid parent classid");
3014                 return -EINVAL;
3015         }
3016
3017         err = airoha_qdma_set_tx_rate_limit(port, channel, rate, opt->quantum);
3018         if (err) {
3019                 NL_SET_ERR_MSG_MOD(opt->extack,
3020                                    "failed configuring htb offload");
3021                 return err;
3022         }
3023
3024         if (opt->command == TC_HTB_NODE_MODIFY)
3025                 return 0;
3026
3027         err = netif_set_real_num_tx_queues(dev, num_tx_queues + 1);
3028         if (err) {
3029                 airoha_qdma_set_tx_rate_limit(port, channel, 0, opt->quantum);
3030                 NL_SET_ERR_MSG_MOD(opt->extack,
3031                                    "failed setting real_num_tx_queues");
3032                 return err;
3033         }
3034
3035         set_bit(channel, port->qos_sq_bmap);
3036         opt->qid = AIROHA_NUM_TX_RING + channel;
3037
3038         return 0;
3039 }
3040
3041 static void airoha_tc_remove_htb_queue(struct airoha_gdm_port *port, int queue)
3042 {
3043         struct net_device *dev = port->dev;
3044
3045         netif_set_real_num_tx_queues(dev, dev->real_num_tx_queues - 1);
3046         airoha_qdma_set_tx_rate_limit(port, queue + 1, 0, 0);
3047         clear_bit(queue, port->qos_sq_bmap);
3048 }
3049
3050 static int airoha_tc_htb_delete_leaf_queue(struct airoha_gdm_port *port,
3051                                            struct tc_htb_qopt_offload *opt)
3052 {
3053         u32 channel = TC_H_MIN(opt->classid) % AIROHA_NUM_QOS_CHANNELS;
3054
3055         if (!test_bit(channel, port->qos_sq_bmap)) {
3056                 NL_SET_ERR_MSG_MOD(opt->extack, "invalid queue id");
3057                 return -EINVAL;
3058         }
3059
3060         airoha_tc_remove_htb_queue(port, channel);
3061
3062         return 0;
3063 }
3064
3065 static int airoha_tc_htb_destroy(struct airoha_gdm_port *port)
3066 {
3067         int q;
3068
3069         for_each_set_bit(q, port->qos_sq_bmap, AIROHA_NUM_QOS_CHANNELS)
3070                 airoha_tc_remove_htb_queue(port, q);
3071
3072         return 0;
3073 }
3074
3075 static int airoha_tc_get_htb_get_leaf_queue(struct airoha_gdm_port *port,
3076                                             struct tc_htb_qopt_offload *opt)
3077 {
3078         u32 channel = TC_H_MIN(opt->classid) % AIROHA_NUM_QOS_CHANNELS;
3079
3080         if (!test_bit(channel, port->qos_sq_bmap)) {
3081                 NL_SET_ERR_MSG_MOD(opt->extack, "invalid queue id");
3082                 return -EINVAL;
3083         }
3084
3085         opt->qid = channel;
3086
3087         return 0;
3088 }
3089
3090 static int airoha_tc_setup_qdisc_htb(struct airoha_gdm_port *port,
3091                                      struct tc_htb_qopt_offload *opt)
3092 {
3093         switch (opt->command) {
3094         case TC_HTB_CREATE:
3095                 break;
3096         case TC_HTB_DESTROY:
3097                 return airoha_tc_htb_destroy(port);
3098         case TC_HTB_NODE_MODIFY:
3099         case TC_HTB_LEAF_ALLOC_QUEUE:
3100                 return airoha_tc_htb_alloc_leaf_queue(port, opt);
3101         case TC_HTB_LEAF_DEL:
3102         case TC_HTB_LEAF_DEL_LAST:
3103         case TC_HTB_LEAF_DEL_LAST_FORCE:
3104                 return airoha_tc_htb_delete_leaf_queue(port, opt);
3105         case TC_HTB_LEAF_QUERY_QUEUE:
3106                 return airoha_tc_get_htb_get_leaf_queue(port, opt);
3107         default:
3108                 return -EOPNOTSUPP;
3109         }
3110
3111         return 0;
3112 }
3113
3114 static int airoha_dev_tc_setup(struct net_device *dev, enum tc_setup_type type,
3115                                void *type_data)
3116 {
3117         struct airoha_gdm_port *port = netdev_priv(dev);
3118
3119         switch (type) {
3120         case TC_SETUP_QDISC_ETS:
3121                 return airoha_tc_setup_qdisc_ets(port, type_data);
3122         case TC_SETUP_QDISC_HTB:
3123                 return airoha_tc_setup_qdisc_htb(port, type_data);
3124         default:
3125                 return -EOPNOTSUPP;
3126         }
3127 }
3128
3129 static const struct net_device_ops airoha_netdev_ops = {
3130         .ndo_init               = airoha_dev_init,
3131         .ndo_open               = airoha_dev_open,
3132         .ndo_stop               = airoha_dev_stop,
3133         .ndo_select_queue       = airoha_dev_select_queue,
3134         .ndo_start_xmit         = airoha_dev_xmit,
3135         .ndo_get_stats64        = airoha_dev_get_stats64,
3136         .ndo_set_mac_address    = airoha_dev_set_macaddr,
3137         .ndo_setup_tc           = airoha_dev_tc_setup,
3138 };
3139
3140 static const struct ethtool_ops airoha_ethtool_ops = {
3141         .get_drvinfo            = airoha_ethtool_get_drvinfo,
3142         .get_eth_mac_stats      = airoha_ethtool_get_mac_stats,
3143         .get_rmon_stats         = airoha_ethtool_get_rmon_stats,
3144 };
3145
3146 static int airoha_alloc_gdm_port(struct airoha_eth *eth, struct device_node *np)
3147 {
3148         const __be32 *id_ptr = of_get_property(np, "reg", NULL);
3149         struct airoha_gdm_port *port;
3150         struct airoha_qdma *qdma;
3151         struct net_device *dev;
3152         int err, index;
3153         u32 id;
3154
3155         if (!id_ptr) {
3156                 dev_err(eth->dev, "missing gdm port id\n");
3157                 return -EINVAL;
3158         }
3159
3160         id = be32_to_cpup(id_ptr);
3161         index = id - 1;
3162
3163         if (!id || id > ARRAY_SIZE(eth->ports)) {
3164                 dev_err(eth->dev, "invalid gdm port id: %d\n", id);
3165                 return -EINVAL;
3166         }
3167
3168         if (eth->ports[index]) {
3169                 dev_err(eth->dev, "duplicate gdm port id: %d\n", id);
3170                 return -EINVAL;
3171         }
3172
3173         dev = devm_alloc_etherdev_mqs(eth->dev, sizeof(*port),
3174                                       AIROHA_NUM_NETDEV_TX_RINGS,
3175                                       AIROHA_NUM_RX_RING);
3176         if (!dev) {
3177                 dev_err(eth->dev, "alloc_etherdev failed\n");
3178                 return -ENOMEM;
3179         }
3180
3181         qdma = &eth->qdma[index % AIROHA_MAX_NUM_QDMA];
3182         dev->netdev_ops = &airoha_netdev_ops;
3183         dev->ethtool_ops = &airoha_ethtool_ops;
3184         dev->max_mtu = AIROHA_MAX_MTU;
3185         dev->watchdog_timeo = 5 * HZ;
3186         dev->hw_features = NETIF_F_IP_CSUM | NETIF_F_RXCSUM |
3187                            NETIF_F_TSO6 | NETIF_F_IPV6_CSUM |
3188                            NETIF_F_SG | NETIF_F_TSO |
3189                            NETIF_F_HW_TC;
3190         dev->features |= dev->hw_features;
3191         dev->dev.of_node = np;
3192         dev->irq = qdma->irq;
3193         SET_NETDEV_DEV(dev, eth->dev);
3194
3195         /* reserve hw queues for HTB offloading */
3196         err = netif_set_real_num_tx_queues(dev, AIROHA_NUM_TX_RING);
3197         if (err)
3198                 return err;
3199
3200         err = of_get_ethdev_address(np, dev);
3201         if (err) {
3202                 if (err == -EPROBE_DEFER)
3203                         return err;
3204
3205                 eth_hw_addr_random(dev);
3206                 dev_info(eth->dev, "generated random MAC address %pM\n",
3207                          dev->dev_addr);
3208         }
3209
3210         port = netdev_priv(dev);
3211         u64_stats_init(&port->stats.syncp);
3212         spin_lock_init(&port->stats.lock);
3213         port->qdma = qdma;
3214         port->dev = dev;
3215         port->id = id;
3216         eth->ports[index] = port;
3217
3218         return register_netdev(dev);
3219 }
3220
3221 static int airoha_probe(struct platform_device *pdev)
3222 {
3223         struct device_node *np;
3224         struct airoha_eth *eth;
3225         int i, err;
3226
3227         eth = devm_kzalloc(&pdev->dev, sizeof(*eth), GFP_KERNEL);
3228         if (!eth)
3229                 return -ENOMEM;
3230
3231         eth->dev = &pdev->dev;
3232
3233         err = dma_set_mask_and_coherent(eth->dev, DMA_BIT_MASK(32));
3234         if (err) {
3235                 dev_err(eth->dev, "failed configuring DMA mask\n");
3236                 return err;
3237         }
3238
3239         eth->fe_regs = devm_platform_ioremap_resource_byname(pdev, "fe");
3240         if (IS_ERR(eth->fe_regs))
3241                 return dev_err_probe(eth->dev, PTR_ERR(eth->fe_regs),
3242                                      "failed to iomap fe regs\n");
3243
3244         eth->rsts[0].id = "fe";
3245         eth->rsts[1].id = "pdma";
3246         eth->rsts[2].id = "qdma";
3247         err = devm_reset_control_bulk_get_exclusive(eth->dev,
3248                                                     ARRAY_SIZE(eth->rsts),
3249                                                     eth->rsts);
3250         if (err) {
3251                 dev_err(eth->dev, "failed to get bulk reset lines\n");
3252                 return err;
3253         }
3254
3255         eth->xsi_rsts[0].id = "xsi-mac";
3256         eth->xsi_rsts[1].id = "hsi0-mac";
3257         eth->xsi_rsts[2].id = "hsi1-mac";
3258         eth->xsi_rsts[3].id = "hsi-mac";
3259         eth->xsi_rsts[4].id = "xfp-mac";
3260         err = devm_reset_control_bulk_get_exclusive(eth->dev,
3261                                                     ARRAY_SIZE(eth->xsi_rsts),
3262                                                     eth->xsi_rsts);
3263         if (err) {
3264                 dev_err(eth->dev, "failed to get bulk xsi reset lines\n");
3265                 return err;
3266         }
3267
3268         eth->napi_dev = alloc_netdev_dummy(0);
3269         if (!eth->napi_dev)
3270                 return -ENOMEM;
3271
3272         /* Enable threaded NAPI by default */
3273         eth->napi_dev->threaded = true;
3274         strscpy(eth->napi_dev->name, "qdma_eth", sizeof(eth->napi_dev->name));
3275         platform_set_drvdata(pdev, eth);
3276
3277         err = airoha_hw_init(pdev, eth);
3278         if (err)
3279                 goto error_hw_cleanup;
3280
3281         for (i = 0; i < ARRAY_SIZE(eth->qdma); i++)
3282                 airoha_qdma_start_napi(&eth->qdma[i]);
3283
3284         for_each_child_of_node(pdev->dev.of_node, np) {
3285                 if (!of_device_is_compatible(np, "airoha,eth-mac"))
3286                         continue;
3287
3288                 if (!of_device_is_available(np))
3289                         continue;
3290
3291                 err = airoha_alloc_gdm_port(eth, np);
3292                 if (err) {
3293                         of_node_put(np);
3294                         goto error_napi_stop;
3295                 }
3296         }
3297
3298         return 0;
3299
3300 error_napi_stop:
3301         for (i = 0; i < ARRAY_SIZE(eth->qdma); i++)
3302                 airoha_qdma_stop_napi(&eth->qdma[i]);
3303 error_hw_cleanup:
3304         for (i = 0; i < ARRAY_SIZE(eth->qdma); i++)
3305                 airoha_hw_cleanup(&eth->qdma[i]);
3306
3307         for (i = 0; i < ARRAY_SIZE(eth->ports); i++) {
3308                 struct airoha_gdm_port *port = eth->ports[i];
3309
3310                 if (port && port->dev->reg_state == NETREG_REGISTERED)
3311                         unregister_netdev(port->dev);
3312         }
3313         free_netdev(eth->napi_dev);
3314         platform_set_drvdata(pdev, NULL);
3315
3316         return err;
3317 }
3318
3319 static void airoha_remove(struct platform_device *pdev)
3320 {
3321         struct airoha_eth *eth = platform_get_drvdata(pdev);
3322         int i;
3323
3324         for (i = 0; i < ARRAY_SIZE(eth->qdma); i++) {
3325                 airoha_qdma_stop_napi(&eth->qdma[i]);
3326                 airoha_hw_cleanup(&eth->qdma[i]);
3327         }
3328
3329         for (i = 0; i < ARRAY_SIZE(eth->ports); i++) {
3330                 struct airoha_gdm_port *port = eth->ports[i];
3331
3332                 if (!port)
3333                         continue;
3334
3335                 airoha_dev_stop(port->dev);
3336                 unregister_netdev(port->dev);
3337         }
3338         free_netdev(eth->napi_dev);
3339
3340         platform_set_drvdata(pdev, NULL);
3341 }
3342
3343 static const struct of_device_id of_airoha_match[] = {
3344         { .compatible = "airoha,en7581-eth" },
3345         { /* sentinel */ }
3346 };
3347 MODULE_DEVICE_TABLE(of, of_airoha_match);
3348
3349 static struct platform_driver airoha_driver = {
3350         .probe = airoha_probe,
3351         .remove = airoha_remove,
3352         .driver = {
3353                 .name = KBUILD_MODNAME,
3354                 .of_match_table = of_airoha_match,
3355         },
3356 };
3357 module_platform_driver(airoha_driver);
3358
3359 MODULE_LICENSE("GPL");
3360 MODULE_AUTHOR("Lorenzo Bianconi <[email protected]>");
3361 MODULE_DESCRIPTION("Ethernet driver for Airoha SoC");
This page took 0.227943 seconds and 4 git commands to generate.