drivers/net/dwc_eth_qos.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  * Copyright (c) 2016, NVIDIA CORPORATION.
   4  *
   5  * Portions based on U-Boot's rtl8169.c.
   6  */
   7
   8 /*
   9  * This driver supports the Synopsys Designware Ethernet QOS (Quality Of
  10  * Service) IP block. The IP supports multiple options for bus type, clocking/
  11  * reset structure, and feature list.
  12  *
  13  * The driver is written such that generic core logic is kept separate from
  14  * configuration-specific logic. Code that interacts with configuration-
  15  * specific resources is split out into separate functions to avoid polluting
  16  * common code. If/when this driver is enhanced to support multiple
  17  * configurations, the core code should be adapted to call all configuration-
  18  * specific functions through function pointers, with the definition of those
  19  * function pointers being supplied by struct udevice_id eqos_ids[]'s .data
  20  * field.
  21  *
  22  * The following configurations are currently supported:
  23  * tegra186:
  24  *    NVIDIA's Tegra186 chip. This configuration uses an AXI master/DMA bus, an
  25  *    AHB slave/register bus, contains the DMA, MTL, and MAC sub-blocks, and
  26  *    supports a single RGMII PHY. This configuration also has SW control over
  27  *    all clock and reset signals to the HW block.
  28  */
  29
  30 #define LOG_CATEGORY UCLASS_ETH
  31
  32 #include <common.h>
  33 #include <clk.h>
  34 #include <cpu_func.h>
  35 #include <dm.h>
  36 #include <errno.h>
  37 #include <eth_phy.h>
  38 #include <log.h>
  39 #include <malloc.h>
  40 #include <memalign.h>
  41 #include <miiphy.h>
  42 #include <net.h>
  43 #include <netdev.h>
  44 #include <phy.h>
  45 #include <reset.h>
  46 #include <wait_bit.h>
  47 #include <asm/cache.h>
  48 #include <asm/gpio.h>
  49 #include <asm/io.h>
  50 #ifdef CONFIG_ARCH_IMX8M
  51 #include <asm/arch/clock.h>
  52 #include <asm/mach-imx/sys_proto.h>
  53 #endif
  54 #include <linux/delay.h>
  55
  56 #include "dwc_eth_qos.h"
  57
  58 /*
  59  * TX and RX descriptors are 16 bytes. This causes problems with the cache
  60  * maintenance on CPUs where the cache-line size exceeds the size of these
  61  * descriptors. What will happen is that when the driver receives a packet
  62  * it will be immediately requeued for the hardware to reuse. The CPU will
  63  * therefore need to flush the cache-line containing the descriptor, which
  64  * will cause all other descriptors in the same cache-line to be flushed
  65  * along with it. If one of those descriptors had been written to by the
  66  * device those changes (and the associated packet) will be lost.
  67  *
  68  * To work around this, we make use of non-cached memory if available. If
  69  * descriptors are mapped uncached there's no need to manually flush them
  70  * or invalidate them.
  71  *
  72  * Note that this only applies to descriptors. The packet data buffers do
  73  * not have the same constraints since they are 1536 bytes large, so they
  74  * are unlikely to share cache-lines.
  75  */
  76 static void *eqos_alloc_descs(struct eqos_priv *eqos, unsigned int num)
  77 {
  78         return memalign(ARCH_DMA_MINALIGN, num * eqos->desc_size);
  79 }
  80
  81 static void eqos_free_descs(void *descs)
  82 {
  83         free(descs);
  84 }
  85
  86 static struct eqos_desc *eqos_get_desc(struct eqos_priv *eqos,
  87                                        unsigned int num, bool rx)
  88 {
  89         return (rx ? eqos->rx_descs : eqos->tx_descs) +
  90                (num * eqos->desc_size);
  91 }
  92
  93 void eqos_inval_desc_generic(void *desc)
  94 {
  95         unsigned long start = (unsigned long)desc & ~(ARCH_DMA_MINALIGN - 1);
  96         unsigned long end = ALIGN(start + sizeof(struct eqos_desc),
  97                                   ARCH_DMA_MINALIGN);
  98
  99         invalidate_dcache_range(start, end);
 100 }
 101
 102 void eqos_flush_desc_generic(void *desc)
 103 {
 104         unsigned long start = (unsigned long)desc & ~(ARCH_DMA_MINALIGN - 1);
 105         unsigned long end = ALIGN(start + sizeof(struct eqos_desc),
 106                                   ARCH_DMA_MINALIGN);
 107
 108         flush_dcache_range(start, end);
 109 }
 110
 111 static void eqos_inval_buffer_tegra186(void *buf, size_t size)
 112 {
 113         unsigned long start = (unsigned long)buf & ~(ARCH_DMA_MINALIGN - 1);
 114         unsigned long end = ALIGN(start + size, ARCH_DMA_MINALIGN);
 115
 116         invalidate_dcache_range(start, end);
 117 }
 118
 119 void eqos_inval_buffer_generic(void *buf, size_t size)
 120 {
 121         unsigned long start = rounddown((unsigned long)buf, ARCH_DMA_MINALIGN);
 122         unsigned long end = roundup((unsigned long)buf + size,
 123                                     ARCH_DMA_MINALIGN);
 124
 125         invalidate_dcache_range(start, end);
 126 }
 127
 128 static void eqos_flush_buffer_tegra186(void *buf, size_t size)
 129 {
 130         flush_cache((unsigned long)buf, size);
 131 }
 132
 133 void eqos_flush_buffer_generic(void *buf, size_t size)
 134 {
 135         unsigned long start = rounddown((unsigned long)buf, ARCH_DMA_MINALIGN);
 136         unsigned long end = roundup((unsigned long)buf + size,
 137                                     ARCH_DMA_MINALIGN);
 138
 139         flush_dcache_range(start, end);
 140 }
 141
 142 static int eqos_mdio_wait_idle(struct eqos_priv *eqos)
 143 {
 144         return wait_for_bit_le32(&eqos->mac_regs->mdio_address,
 145                                  EQOS_MAC_MDIO_ADDRESS_GB, false,
 146                                  1000000, true);
 147 }
 148
 149 static int eqos_mdio_read(struct mii_dev *bus, int mdio_addr, int mdio_devad,
 150                           int mdio_reg)
 151 {
 152         struct eqos_priv *eqos = bus->priv;
 153         u32 val;
 154         int ret;
 155
 156         debug("%s(dev=%p, addr=%x, reg=%d):\n", __func__, eqos->dev, mdio_addr,
 157               mdio_reg);
 158
 159         ret = eqos_mdio_wait_idle(eqos);
 160         if (ret) {
 161                 pr_err("MDIO not idle at entry");
 162                 return ret;
 163         }
 164
 165         val = readl(&eqos->mac_regs->mdio_address);
 166         val &= EQOS_MAC_MDIO_ADDRESS_SKAP |
 167                 EQOS_MAC_MDIO_ADDRESS_C45E;
 168         val |= (mdio_addr << EQOS_MAC_MDIO_ADDRESS_PA_SHIFT) |
 169                 (mdio_reg << EQOS_MAC_MDIO_ADDRESS_RDA_SHIFT) |
 170                 (eqos->config->config_mac_mdio <<
 171                  EQOS_MAC_MDIO_ADDRESS_CR_SHIFT) |
 172                 (EQOS_MAC_MDIO_ADDRESS_GOC_READ <<
 173                  EQOS_MAC_MDIO_ADDRESS_GOC_SHIFT) |
 174                 EQOS_MAC_MDIO_ADDRESS_GB;
 175         writel(val, &eqos->mac_regs->mdio_address);
 176
 177         udelay(eqos->config->mdio_wait);
 178
 179         ret = eqos_mdio_wait_idle(eqos);
 180         if (ret) {
 181                 pr_err("MDIO read didn't complete");
 182                 return ret;
 183         }
 184
 185         val = readl(&eqos->mac_regs->mdio_data);
 186         val &= EQOS_MAC_MDIO_DATA_GD_MASK;
 187
 188         debug("%s: val=%x\n", __func__, val);
 189
 190         return val;
 191 }
 192
 193 static int eqos_mdio_write(struct mii_dev *bus, int mdio_addr, int mdio_devad,
 194                            int mdio_reg, u16 mdio_val)
 195 {
 196         struct eqos_priv *eqos = bus->priv;
 197         u32 val;
 198         int ret;
 199
 200         debug("%s(dev=%p, addr=%x, reg=%d, val=%x):\n", __func__, eqos->dev,
 201               mdio_addr, mdio_reg, mdio_val);
 202
 203         ret = eqos_mdio_wait_idle(eqos);
 204         if (ret) {
 205                 pr_err("MDIO not idle at entry");
 206                 return ret;
 207         }
 208
 209         writel(mdio_val, &eqos->mac_regs->mdio_data);
 210
 211         val = readl(&eqos->mac_regs->mdio_address);
 212         val &= EQOS_MAC_MDIO_ADDRESS_SKAP |
 213                 EQOS_MAC_MDIO_ADDRESS_C45E;
 214         val |= (mdio_addr << EQOS_MAC_MDIO_ADDRESS_PA_SHIFT) |
 215                 (mdio_reg << EQOS_MAC_MDIO_ADDRESS_RDA_SHIFT) |
 216                 (eqos->config->config_mac_mdio <<
 217                  EQOS_MAC_MDIO_ADDRESS_CR_SHIFT) |
 218                 (EQOS_MAC_MDIO_ADDRESS_GOC_WRITE <<
 219                  EQOS_MAC_MDIO_ADDRESS_GOC_SHIFT) |
 220                 EQOS_MAC_MDIO_ADDRESS_GB;
 221         writel(val, &eqos->mac_regs->mdio_address);
 222
 223         udelay(eqos->config->mdio_wait);
 224
 225         ret = eqos_mdio_wait_idle(eqos);
 226         if (ret) {
 227                 pr_err("MDIO read didn't complete");
 228                 return ret;
 229         }
 230
 231         return 0;
 232 }
 233
 234 static int eqos_start_clks_tegra186(struct udevice *dev)
 235 {
 236 #ifdef CONFIG_CLK
 237         struct eqos_priv *eqos = dev_get_priv(dev);
 238         int ret;
 239
 240         debug("%s(dev=%p):\n", __func__, dev);
 241
 242         ret = clk_enable(&eqos->clk_slave_bus);
 243         if (ret < 0) {
 244                 pr_err("clk_enable(clk_slave_bus) failed: %d", ret);
 245                 goto err;
 246         }
 247
 248         ret = clk_enable(&eqos->clk_master_bus);
 249         if (ret < 0) {
 250                 pr_err("clk_enable(clk_master_bus) failed: %d", ret);
 251                 goto err_disable_clk_slave_bus;
 252         }
 253
 254         ret = clk_enable(&eqos->clk_rx);
 255         if (ret < 0) {
 256                 pr_err("clk_enable(clk_rx) failed: %d", ret);
 257                 goto err_disable_clk_master_bus;
 258         }
 259
 260         ret = clk_enable(&eqos->clk_ptp_ref);
 261         if (ret < 0) {
 262                 pr_err("clk_enable(clk_ptp_ref) failed: %d", ret);
 263                 goto err_disable_clk_rx;
 264         }
 265
 266         ret = clk_set_rate(&eqos->clk_ptp_ref, 125 * 1000 * 1000);
 267         if (ret < 0) {
 268                 pr_err("clk_set_rate(clk_ptp_ref) failed: %d", ret);
 269                 goto err_disable_clk_ptp_ref;
 270         }
 271
 272         ret = clk_enable(&eqos->clk_tx);
 273         if (ret < 0) {
 274                 pr_err("clk_enable(clk_tx) failed: %d", ret);
 275                 goto err_disable_clk_ptp_ref;
 276         }
 277 #endif
 278
 279         debug("%s: OK\n", __func__);
 280         return 0;
 281
 282 #ifdef CONFIG_CLK
 283 err_disable_clk_ptp_ref:
 284         clk_disable(&eqos->clk_ptp_ref);
 285 err_disable_clk_rx:
 286         clk_disable(&eqos->clk_rx);
 287 err_disable_clk_master_bus:
 288         clk_disable(&eqos->clk_master_bus);
 289 err_disable_clk_slave_bus:
 290         clk_disable(&eqos->clk_slave_bus);
 291 err:
 292         debug("%s: FAILED: %d\n", __func__, ret);
 293         return ret;
 294 #endif
 295 }
 296
 297 static int eqos_start_clks_stm32(struct udevice *dev)
 298 {
 299 #ifdef CONFIG_CLK
 300         struct eqos_priv *eqos = dev_get_priv(dev);
 301         int ret;
 302
 303         debug("%s(dev=%p):\n", __func__, dev);
 304
 305         ret = clk_enable(&eqos->clk_master_bus);
 306         if (ret < 0) {
 307                 pr_err("clk_enable(clk_master_bus) failed: %d", ret);
 308                 goto err;
 309         }
 310
 311         ret = clk_enable(&eqos->clk_rx);
 312         if (ret < 0) {
 313                 pr_err("clk_enable(clk_rx) failed: %d", ret);
 314                 goto err_disable_clk_master_bus;
 315         }
 316
 317         ret = clk_enable(&eqos->clk_tx);
 318         if (ret < 0) {
 319                 pr_err("clk_enable(clk_tx) failed: %d", ret);
 320                 goto err_disable_clk_rx;
 321         }
 322
 323         if (clk_valid(&eqos->clk_ck) && !eqos->clk_ck_enabled) {
 324                 ret = clk_enable(&eqos->clk_ck);
 325                 if (ret < 0) {
 326                         pr_err("clk_enable(clk_ck) failed: %d", ret);
 327                         goto err_disable_clk_tx;
 328                 }
 329                 eqos->clk_ck_enabled = true;
 330         }
 331 #endif
 332
 333         debug("%s: OK\n", __func__);
 334         return 0;
 335
 336 #ifdef CONFIG_CLK
 337 err_disable_clk_tx:
 338         clk_disable(&eqos->clk_tx);
 339 err_disable_clk_rx:
 340         clk_disable(&eqos->clk_rx);
 341 err_disable_clk_master_bus:
 342         clk_disable(&eqos->clk_master_bus);
 343 err:
 344         debug("%s: FAILED: %d\n", __func__, ret);
 345         return ret;
 346 #endif
 347 }
 348
 349 static int eqos_stop_clks_tegra186(struct udevice *dev)
 350 {
 351 #ifdef CONFIG_CLK
 352         struct eqos_priv *eqos = dev_get_priv(dev);
 353
 354         debug("%s(dev=%p):\n", __func__, dev);
 355
 356         clk_disable(&eqos->clk_tx);
 357         clk_disable(&eqos->clk_ptp_ref);
 358         clk_disable(&eqos->clk_rx);
 359         clk_disable(&eqos->clk_master_bus);
 360         clk_disable(&eqos->clk_slave_bus);
 361 #endif
 362
 363         debug("%s: OK\n", __func__);
 364         return 0;
 365 }
 366
 367 static int eqos_stop_clks_stm32(struct udevice *dev)
 368 {
 369 #ifdef CONFIG_CLK
 370         struct eqos_priv *eqos = dev_get_priv(dev);
 371
 372         debug("%s(dev=%p):\n", __func__, dev);
 373
 374         clk_disable(&eqos->clk_tx);
 375         clk_disable(&eqos->clk_rx);
 376         clk_disable(&eqos->clk_master_bus);
 377 #endif
 378
 379         debug("%s: OK\n", __func__);
 380         return 0;
 381 }
 382
 383 static int eqos_start_resets_tegra186(struct udevice *dev)
 384 {
 385         struct eqos_priv *eqos = dev_get_priv(dev);
 386         int ret;
 387
 388         debug("%s(dev=%p):\n", __func__, dev);
 389
 390         ret = dm_gpio_set_value(&eqos->phy_reset_gpio, 1);
 391         if (ret < 0) {
 392                 pr_err("dm_gpio_set_value(phy_reset, assert) failed: %d", ret);
 393                 return ret;
 394         }
 395
 396         udelay(2);
 397
 398         ret = dm_gpio_set_value(&eqos->phy_reset_gpio, 0);
 399         if (ret < 0) {
 400                 pr_err("dm_gpio_set_value(phy_reset, deassert) failed: %d", ret);
 401                 return ret;
 402         }
 403
 404         ret = reset_assert(&eqos->reset_ctl);
 405         if (ret < 0) {
 406                 pr_err("reset_assert() failed: %d", ret);
 407                 return ret;
 408         }
 409
 410         udelay(2);
 411
 412         ret = reset_deassert(&eqos->reset_ctl);
 413         if (ret < 0) {
 414                 pr_err("reset_deassert() failed: %d", ret);
 415                 return ret;
 416         }
 417
 418         debug("%s: OK\n", __func__);
 419         return 0;
 420 }
 421
 422 static int eqos_stop_resets_tegra186(struct udevice *dev)
 423 {
 424         struct eqos_priv *eqos = dev_get_priv(dev);
 425
 426         reset_assert(&eqos->reset_ctl);
 427         dm_gpio_set_value(&eqos->phy_reset_gpio, 1);
 428
 429         return 0;
 430 }
 431
 432 static int eqos_calibrate_pads_tegra186(struct udevice *dev)
 433 {
 434         struct eqos_priv *eqos = dev_get_priv(dev);
 435         int ret;
 436
 437         debug("%s(dev=%p):\n", __func__, dev);
 438
 439         setbits_le32(&eqos->tegra186_regs->sdmemcomppadctrl,
 440                      EQOS_SDMEMCOMPPADCTRL_PAD_E_INPUT_OR_E_PWRD);
 441
 442         udelay(1);
 443
 444         setbits_le32(&eqos->tegra186_regs->auto_cal_config,
 445                      EQOS_AUTO_CAL_CONFIG_START | EQOS_AUTO_CAL_CONFIG_ENABLE);
 446
 447         ret = wait_for_bit_le32(&eqos->tegra186_regs->auto_cal_status,
 448                                 EQOS_AUTO_CAL_STATUS_ACTIVE, true, 10, false);
 449         if (ret) {
 450                 pr_err("calibrate didn't start");
 451                 goto failed;
 452         }
 453
 454         ret = wait_for_bit_le32(&eqos->tegra186_regs->auto_cal_status,
 455                                 EQOS_AUTO_CAL_STATUS_ACTIVE, false, 10, false);
 456         if (ret) {
 457                 pr_err("calibrate didn't finish");
 458                 goto failed;
 459         }
 460
 461         ret = 0;
 462
 463 failed:
 464         clrbits_le32(&eqos->tegra186_regs->sdmemcomppadctrl,
 465                      EQOS_SDMEMCOMPPADCTRL_PAD_E_INPUT_OR_E_PWRD);
 466
 467         debug("%s: returns %d\n", __func__, ret);
 468
 469         return ret;
 470 }
 471
 472 static int eqos_disable_calibration_tegra186(struct udevice *dev)
 473 {
 474         struct eqos_priv *eqos = dev_get_priv(dev);
 475
 476         debug("%s(dev=%p):\n", __func__, dev);
 477
 478         clrbits_le32(&eqos->tegra186_regs->auto_cal_config,
 479                      EQOS_AUTO_CAL_CONFIG_ENABLE);
 480
 481         return 0;
 482 }
 483
 484 static ulong eqos_get_tick_clk_rate_tegra186(struct udevice *dev)
 485 {
 486 #ifdef CONFIG_CLK
 487         struct eqos_priv *eqos = dev_get_priv(dev);
 488
 489         return clk_get_rate(&eqos->clk_slave_bus);
 490 #else
 491         return 0;
 492 #endif
 493 }
 494
 495 static ulong eqos_get_tick_clk_rate_stm32(struct udevice *dev)
 496 {
 497 #ifdef CONFIG_CLK
 498         struct eqos_priv *eqos = dev_get_priv(dev);
 499
 500         return clk_get_rate(&eqos->clk_master_bus);
 501 #else
 502         return 0;
 503 #endif
 504 }
 505
 506 static int eqos_set_full_duplex(struct udevice *dev)
 507 {
 508         struct eqos_priv *eqos = dev_get_priv(dev);
 509
 510         debug("%s(dev=%p):\n", __func__, dev);
 511
 512         setbits_le32(&eqos->mac_regs->configuration, EQOS_MAC_CONFIGURATION_DM);
 513
 514         return 0;
 515 }
 516
 517 static int eqos_set_half_duplex(struct udevice *dev)
 518 {
 519         struct eqos_priv *eqos = dev_get_priv(dev);
 520
 521         debug("%s(dev=%p):\n", __func__, dev);
 522
 523         clrbits_le32(&eqos->mac_regs->configuration, EQOS_MAC_CONFIGURATION_DM);
 524
 525         /* WAR: Flush TX queue when switching to half-duplex */
 526         setbits_le32(&eqos->mtl_regs->txq0_operation_mode,
 527                      EQOS_MTL_TXQ0_OPERATION_MODE_FTQ);
 528
 529         return 0;
 530 }
 531
 532 static int eqos_set_gmii_speed(struct udevice *dev)
 533 {
 534         struct eqos_priv *eqos = dev_get_priv(dev);
 535
 536         debug("%s(dev=%p):\n", __func__, dev);
 537
 538         clrbits_le32(&eqos->mac_regs->configuration,
 539                      EQOS_MAC_CONFIGURATION_PS | EQOS_MAC_CONFIGURATION_FES);
 540
 541         return 0;
 542 }
 543
 544 static int eqos_set_mii_speed_100(struct udevice *dev)
 545 {
 546         struct eqos_priv *eqos = dev_get_priv(dev);
 547
 548         debug("%s(dev=%p):\n", __func__, dev);
 549
 550         setbits_le32(&eqos->mac_regs->configuration,
 551                      EQOS_MAC_CONFIGURATION_PS | EQOS_MAC_CONFIGURATION_FES);
 552
 553         return 0;
 554 }
 555
 556 static int eqos_set_mii_speed_10(struct udevice *dev)
 557 {
 558         struct eqos_priv *eqos = dev_get_priv(dev);
 559
 560         debug("%s(dev=%p):\n", __func__, dev);
 561
 562         clrsetbits_le32(&eqos->mac_regs->configuration,
 563                         EQOS_MAC_CONFIGURATION_FES, EQOS_MAC_CONFIGURATION_PS);
 564
 565         return 0;
 566 }
 567
 568 static int eqos_set_tx_clk_speed_tegra186(struct udevice *dev)
 569 {
 570 #ifdef CONFIG_CLK
 571         struct eqos_priv *eqos = dev_get_priv(dev);
 572         ulong rate;
 573         int ret;
 574
 575         debug("%s(dev=%p):\n", __func__, dev);
 576
 577         switch (eqos->phy->speed) {
 578         case SPEED_1000:
 579                 rate = 125 * 1000 * 1000;
 580                 break;
 581         case SPEED_100:
 582                 rate = 25 * 1000 * 1000;
 583                 break;
 584         case SPEED_10:
 585                 rate = 2.5 * 1000 * 1000;
 586                 break;
 587         default:
 588                 pr_err("invalid speed %d", eqos->phy->speed);
 589                 return -EINVAL;
 590         }
 591
 592         ret = clk_set_rate(&eqos->clk_tx, rate);
 593         if (ret < 0) {
 594                 pr_err("clk_set_rate(tx_clk, %lu) failed: %d", rate, ret);
 595                 return ret;
 596         }
 597 #endif
 598
 599         return 0;
 600 }
 601
 602 static int eqos_adjust_link(struct udevice *dev)
 603 {
 604         struct eqos_priv *eqos = dev_get_priv(dev);
 605         int ret;
 606         bool en_calibration;
 607
 608         debug("%s(dev=%p):\n", __func__, dev);
 609
 610         if (eqos->phy->duplex)
 611                 ret = eqos_set_full_duplex(dev);
 612         else
 613                 ret = eqos_set_half_duplex(dev);
 614         if (ret < 0) {
 615                 pr_err("eqos_set_*_duplex() failed: %d", ret);
 616                 return ret;
 617         }
 618
 619         switch (eqos->phy->speed) {
 620         case SPEED_1000:
 621                 en_calibration = true;
 622                 ret = eqos_set_gmii_speed(dev);
 623                 break;
 624         case SPEED_100:
 625                 en_calibration = true;
 626                 ret = eqos_set_mii_speed_100(dev);
 627                 break;
 628         case SPEED_10:
 629                 en_calibration = false;
 630                 ret = eqos_set_mii_speed_10(dev);
 631                 break;
 632         default:
 633                 pr_err("invalid speed %d", eqos->phy->speed);
 634                 return -EINVAL;
 635         }
 636         if (ret < 0) {
 637                 pr_err("eqos_set_*mii_speed*() failed: %d", ret);
 638                 return ret;
 639         }
 640
 641         if (en_calibration) {
 642                 ret = eqos->config->ops->eqos_calibrate_pads(dev);
 643                 if (ret < 0) {
 644                         pr_err("eqos_calibrate_pads() failed: %d",
 645                                ret);
 646                         return ret;
 647                 }
 648         } else {
 649                 ret = eqos->config->ops->eqos_disable_calibration(dev);
 650                 if (ret < 0) {
 651                         pr_err("eqos_disable_calibration() failed: %d",
 652                                ret);
 653                         return ret;
 654                 }
 655         }
 656         ret = eqos->config->ops->eqos_set_tx_clk_speed(dev);
 657         if (ret < 0) {
 658                 pr_err("eqos_set_tx_clk_speed() failed: %d", ret);
 659                 return ret;
 660         }
 661
 662         return 0;
 663 }
 664
 665 static int eqos_write_hwaddr(struct udevice *dev)
 666 {
 667         struct eth_pdata *plat = dev_get_plat(dev);
 668         struct eqos_priv *eqos = dev_get_priv(dev);
 669         uint32_t val;
 670
 671         /*
 672          * This function may be called before start() or after stop(). At that
 673          * time, on at least some configurations of the EQoS HW, all clocks to
 674          * the EQoS HW block will be stopped, and a reset signal applied. If
 675          * any register access is attempted in this state, bus timeouts or CPU
 676          * hangs may occur. This check prevents that.
 677          *
 678          * A simple solution to this problem would be to not implement
 679          * write_hwaddr(), since start() always writes the MAC address into HW
 680          * anyway. However, it is desirable to implement write_hwaddr() to
 681          * support the case of SW that runs subsequent to U-Boot which expects
 682          * the MAC address to already be programmed into the EQoS registers,
 683          * which must happen irrespective of whether the U-Boot user (or
 684          * scripts) actually made use of the EQoS device, and hence
 685          * irrespective of whether start() was ever called.
 686          *
 687          * Note that this requirement by subsequent SW is not valid for
 688          * Tegra186, and is likely not valid for any non-PCI instantiation of
 689          * the EQoS HW block. This function is implemented solely as
 690          * future-proofing with the expectation the driver will eventually be
 691          * ported to some system where the expectation above is true.
 692          */
 693         if (!eqos->config->reg_access_always_ok && !eqos->reg_access_ok)
 694                 return 0;
 695
 696         /* Update the MAC address */
 697         val = (plat->enetaddr[5] << 8) |
 698                 (plat->enetaddr[4]);
 699         writel(val, &eqos->mac_regs->address0_high);
 700         val = (plat->enetaddr[3] << 24) |
 701                 (plat->enetaddr[2] << 16) |
 702                 (plat->enetaddr[1] << 8) |
 703                 (plat->enetaddr[0]);
 704         writel(val, &eqos->mac_regs->address0_low);
 705
 706         return 0;
 707 }
 708
 709 static int eqos_read_rom_hwaddr(struct udevice *dev)
 710 {
 711         struct eth_pdata *pdata = dev_get_plat(dev);
 712         struct eqos_priv *eqos = dev_get_priv(dev);
 713         int ret;
 714
 715         ret = eqos->config->ops->eqos_get_enetaddr(dev);
 716         if (ret < 0)
 717                 return ret;
 718
 719         return !is_valid_ethaddr(pdata->enetaddr);
 720 }
 721
 722 static int eqos_get_phy_addr(struct eqos_priv *priv, struct udevice *dev)
 723 {
 724         struct ofnode_phandle_args phandle_args;
 725         int reg;
 726
 727         if (dev_read_phandle_with_args(dev, "phy-handle", NULL, 0, 0,
 728                                        &phandle_args)) {
 729                 debug("Failed to find phy-handle");
 730                 return -ENODEV;
 731         }
 732
 733         priv->phy_of_node = phandle_args.node;
 734
 735         reg = ofnode_read_u32_default(phandle_args.node, "reg", 0);
 736
 737         return reg;
 738 }
 739
 740 static int eqos_start(struct udevice *dev)
 741 {
 742         struct eqos_priv *eqos = dev_get_priv(dev);
 743         int ret, i;
 744         ulong rate;
 745         u32 val, tx_fifo_sz, rx_fifo_sz, tqs, rqs, pbl;
 746         ulong last_rx_desc;
 747         ulong desc_pad;
 748
 749         debug("%s(dev=%p):\n", __func__, dev);
 750
 751         eqos->tx_desc_idx = 0;
 752         eqos->rx_desc_idx = 0;
 753
 754         ret = eqos->config->ops->eqos_start_resets(dev);
 755         if (ret < 0) {
 756                 pr_err("eqos_start_resets() failed: %d", ret);
 757                 goto err;
 758         }
 759
 760         udelay(10);
 761
 762         eqos->reg_access_ok = true;
 763
 764         /*
 765          * Assert the SWR first, the actually reset the MAC and to latch in
 766          * e.g. i.MX8M Plus GPR[1] content, which selects interface mode.
 767          */
 768         setbits_le32(&eqos->dma_regs->mode, EQOS_DMA_MODE_SWR);
 769
 770         ret = wait_for_bit_le32(&eqos->dma_regs->mode,
 771                                 EQOS_DMA_MODE_SWR, false,
 772                                 eqos->config->swr_wait, false);
 773         if (ret) {
 774                 pr_err("EQOS_DMA_MODE_SWR stuck");
 775                 goto err_stop_resets;
 776         }
 777
 778         ret = eqos->config->ops->eqos_calibrate_pads(dev);
 779         if (ret < 0) {
 780                 pr_err("eqos_calibrate_pads() failed: %d", ret);
 781                 goto err_stop_resets;
 782         }
 783
 784         if (eqos->config->ops->eqos_get_tick_clk_rate) {
 785                 rate = eqos->config->ops->eqos_get_tick_clk_rate(dev);
 786
 787                 val = (rate / 1000000) - 1;
 788                 writel(val, &eqos->mac_regs->us_tic_counter);
 789         }
 790
 791         /*
 792          * if PHY was already connected and configured,
 793          * don't need to reconnect/reconfigure again
 794          */
 795         if (!eqos->phy) {
 796                 int addr = -1;
 797                 addr = eqos_get_phy_addr(eqos, dev);
 798                 eqos->phy = phy_connect(eqos->mii, addr, dev,
 799                                         eqos->config->interface(dev));
 800                 if (!eqos->phy) {
 801                         pr_err("phy_connect() failed");
 802                         goto err_stop_resets;
 803                 }
 804
 805                 if (eqos->max_speed) {
 806                         ret = phy_set_supported(eqos->phy, eqos->max_speed);
 807                         if (ret) {
 808                                 pr_err("phy_set_supported() failed: %d", ret);
 809                                 goto err_shutdown_phy;
 810                         }
 811                 }
 812
 813                 eqos->phy->node = eqos->phy_of_node;
 814                 ret = phy_config(eqos->phy);
 815                 if (ret < 0) {
 816                         pr_err("phy_config() failed: %d", ret);
 817                         goto err_shutdown_phy;
 818                 }
 819         }
 820
 821         ret = phy_startup(eqos->phy);
 822         if (ret < 0) {
 823                 pr_err("phy_startup() failed: %d", ret);
 824                 goto err_shutdown_phy;
 825         }
 826
 827         if (!eqos->phy->link) {
 828                 pr_err("No link");
 829                 goto err_shutdown_phy;
 830         }
 831
 832         ret = eqos_adjust_link(dev);
 833         if (ret < 0) {
 834                 pr_err("eqos_adjust_link() failed: %d", ret);
 835                 goto err_shutdown_phy;
 836         }
 837
 838         /* Configure MTL */
 839
 840         /* Enable Store and Forward mode for TX */
 841         /* Program Tx operating mode */
 842         setbits_le32(&eqos->mtl_regs->txq0_operation_mode,
 843                      EQOS_MTL_TXQ0_OPERATION_MODE_TSF |
 844                      (EQOS_MTL_TXQ0_OPERATION_MODE_TXQEN_ENABLED <<
 845                       EQOS_MTL_TXQ0_OPERATION_MODE_TXQEN_SHIFT));
 846
 847         /* Transmit Queue weight */
 848         writel(0x10, &eqos->mtl_regs->txq0_quantum_weight);
 849
 850         /* Enable Store and Forward mode for RX, since no jumbo frame */
 851         setbits_le32(&eqos->mtl_regs->rxq0_operation_mode,
 852                      EQOS_MTL_RXQ0_OPERATION_MODE_RSF);
 853
 854         /* Transmit/Receive queue fifo size; use all RAM for 1 queue */
 855         val = readl(&eqos->mac_regs->hw_feature1);
 856         tx_fifo_sz = (val >> EQOS_MAC_HW_FEATURE1_TXFIFOSIZE_SHIFT) &
 857                 EQOS_MAC_HW_FEATURE1_TXFIFOSIZE_MASK;
 858         rx_fifo_sz = (val >> EQOS_MAC_HW_FEATURE1_RXFIFOSIZE_SHIFT) &
 859                 EQOS_MAC_HW_FEATURE1_RXFIFOSIZE_MASK;
 860
 861         /* r/tx_fifo_sz is encoded as log2(n / 128). Undo that by shifting */
 862         tx_fifo_sz = 128 << tx_fifo_sz;
 863         rx_fifo_sz = 128 << rx_fifo_sz;
 864
 865         /* Allow platform to override TX/RX fifo size */
 866         if (eqos->tx_fifo_sz)
 867                 tx_fifo_sz = eqos->tx_fifo_sz;
 868         if (eqos->rx_fifo_sz)
 869                 rx_fifo_sz = eqos->rx_fifo_sz;
 870
 871         /* r/tqs is encoded as (n / 256) - 1 */
 872         tqs = tx_fifo_sz / 256 - 1;
 873         rqs = rx_fifo_sz / 256 - 1;
 874
 875         clrsetbits_le32(&eqos->mtl_regs->txq0_operation_mode,
 876                         EQOS_MTL_TXQ0_OPERATION_MODE_TQS_MASK <<
 877                         EQOS_MTL_TXQ0_OPERATION_MODE_TQS_SHIFT,
 878                         tqs << EQOS_MTL_TXQ0_OPERATION_MODE_TQS_SHIFT);
 879         clrsetbits_le32(&eqos->mtl_regs->rxq0_operation_mode,
 880                         EQOS_MTL_RXQ0_OPERATION_MODE_RQS_MASK <<
 881                         EQOS_MTL_RXQ0_OPERATION_MODE_RQS_SHIFT,
 882                         rqs << EQOS_MTL_RXQ0_OPERATION_MODE_RQS_SHIFT);
 883
 884         /* Flow control used only if each channel gets 4KB or more FIFO */
 885         if (rqs >= ((4096 / 256) - 1)) {
 886                 u32 rfd, rfa;
 887
 888                 setbits_le32(&eqos->mtl_regs->rxq0_operation_mode,
 889                              EQOS_MTL_RXQ0_OPERATION_MODE_EHFC);
 890
 891                 /*
 892                  * Set Threshold for Activating Flow Contol space for min 2
 893                  * frames ie, (1500 * 1) = 1500 bytes.
 894                  *
 895                  * Set Threshold for Deactivating Flow Contol for space of
 896                  * min 1 frame (frame size 1500bytes) in receive fifo
 897                  */
 898                 if (rqs == ((4096 / 256) - 1)) {
 899                         /*
 900                          * This violates the above formula because of FIFO size
 901                          * limit therefore overflow may occur inspite of this.
 902                          */
 903                         rfd = 0x3;      /* Full-3K */
 904                         rfa = 0x1;      /* Full-1.5K */
 905                 } else if (rqs == ((8192 / 256) - 1)) {
 906                         rfd = 0x6;      /* Full-4K */
 907                         rfa = 0xa;      /* Full-6K */
 908                 } else if (rqs == ((16384 / 256) - 1)) {
 909                         rfd = 0x6;      /* Full-4K */
 910                         rfa = 0x12;     /* Full-10K */
 911                 } else {
 912                         rfd = 0x6;      /* Full-4K */
 913                         rfa = 0x1E;     /* Full-16K */
 914                 }
 915
 916                 clrsetbits_le32(&eqos->mtl_regs->rxq0_operation_mode,
 917                                 (EQOS_MTL_RXQ0_OPERATION_MODE_RFD_MASK <<
 918                                  EQOS_MTL_RXQ0_OPERATION_MODE_RFD_SHIFT) |
 919                                 (EQOS_MTL_RXQ0_OPERATION_MODE_RFA_MASK <<
 920                                  EQOS_MTL_RXQ0_OPERATION_MODE_RFA_SHIFT),
 921                                 (rfd <<
 922                                  EQOS_MTL_RXQ0_OPERATION_MODE_RFD_SHIFT) |
 923                                 (rfa <<
 924                                  EQOS_MTL_RXQ0_OPERATION_MODE_RFA_SHIFT));
 925         }
 926
 927         /* Configure MAC */
 928
 929         clrsetbits_le32(&eqos->mac_regs->rxq_ctrl0,
 930                         EQOS_MAC_RXQ_CTRL0_RXQ0EN_MASK <<
 931                         EQOS_MAC_RXQ_CTRL0_RXQ0EN_SHIFT,
 932                         eqos->config->config_mac <<
 933                         EQOS_MAC_RXQ_CTRL0_RXQ0EN_SHIFT);
 934
 935         /* Multicast and Broadcast Queue Enable */
 936         setbits_le32(&eqos->mac_regs->unused_0a4,
 937                      0x00100000);
 938         /* enable promise mode */
 939         setbits_le32(&eqos->mac_regs->unused_004[1],
 940                      0x1);
 941
 942         /* Set TX flow control parameters */
 943         /* Set Pause Time */
 944         setbits_le32(&eqos->mac_regs->q0_tx_flow_ctrl,
 945                      0xffff << EQOS_MAC_Q0_TX_FLOW_CTRL_PT_SHIFT);
 946         /* Assign priority for TX flow control */
 947         clrbits_le32(&eqos->mac_regs->txq_prty_map0,
 948                      EQOS_MAC_TXQ_PRTY_MAP0_PSTQ0_MASK <<
 949                      EQOS_MAC_TXQ_PRTY_MAP0_PSTQ0_SHIFT);
 950         /* Assign priority for RX flow control */
 951         clrbits_le32(&eqos->mac_regs->rxq_ctrl2,
 952                      EQOS_MAC_RXQ_CTRL2_PSRQ0_MASK <<
 953                      EQOS_MAC_RXQ_CTRL2_PSRQ0_SHIFT);
 954         /* Enable flow control */
 955         setbits_le32(&eqos->mac_regs->q0_tx_flow_ctrl,
 956                      EQOS_MAC_Q0_TX_FLOW_CTRL_TFE);
 957         setbits_le32(&eqos->mac_regs->rx_flow_ctrl,
 958                      EQOS_MAC_RX_FLOW_CTRL_RFE);
 959
 960         clrsetbits_le32(&eqos->mac_regs->configuration,
 961                         EQOS_MAC_CONFIGURATION_GPSLCE |
 962                         EQOS_MAC_CONFIGURATION_WD |
 963                         EQOS_MAC_CONFIGURATION_JD |
 964                         EQOS_MAC_CONFIGURATION_JE,
 965                         EQOS_MAC_CONFIGURATION_CST |
 966                         EQOS_MAC_CONFIGURATION_ACS);
 967
 968         eqos_write_hwaddr(dev);
 969
 970         /* Configure DMA */
 971
 972         /* Enable OSP mode */
 973         setbits_le32(&eqos->dma_regs->ch0_tx_control,
 974                      EQOS_DMA_CH0_TX_CONTROL_OSP);
 975
 976         /* RX buffer size. Must be a multiple of bus width */
 977         clrsetbits_le32(&eqos->dma_regs->ch0_rx_control,
 978                         EQOS_DMA_CH0_RX_CONTROL_RBSZ_MASK <<
 979                         EQOS_DMA_CH0_RX_CONTROL_RBSZ_SHIFT,
 980                         EQOS_MAX_PACKET_SIZE <<
 981                         EQOS_DMA_CH0_RX_CONTROL_RBSZ_SHIFT);
 982
 983         desc_pad = (eqos->desc_size - sizeof(struct eqos_desc)) /
 984                    eqos->config->axi_bus_width;
 985
 986         setbits_le32(&eqos->dma_regs->ch0_control,
 987                      EQOS_DMA_CH0_CONTROL_PBLX8 |
 988                      (desc_pad << EQOS_DMA_CH0_CONTROL_DSL_SHIFT));
 989
 990         /*
 991          * Burst length must be < 1/2 FIFO size.
 992          * FIFO size in tqs is encoded as (n / 256) - 1.
 993          * Each burst is n * 8 (PBLX8) * 16 (AXI width) == 128 bytes.
 994          * Half of n * 256 is n * 128, so pbl == tqs, modulo the -1.
 995          */
 996         pbl = tqs + 1;
 997         if (pbl > 32)
 998                 pbl = 32;
 999         clrsetbits_le32(&eqos->dma_regs->ch0_tx_control,
1000                         EQOS_DMA_CH0_TX_CONTROL_TXPBL_MASK <<
1001                         EQOS_DMA_CH0_TX_CONTROL_TXPBL_SHIFT,
1002                         pbl << EQOS_DMA_CH0_TX_CONTROL_TXPBL_SHIFT);
1003
1004         clrsetbits_le32(&eqos->dma_regs->ch0_rx_control,
1005                         EQOS_DMA_CH0_RX_CONTROL_RXPBL_MASK <<
1006                         EQOS_DMA_CH0_RX_CONTROL_RXPBL_SHIFT,
1007                         8 << EQOS_DMA_CH0_RX_CONTROL_RXPBL_SHIFT);
1008
1009         /* DMA performance configuration */
1010         val = (2 << EQOS_DMA_SYSBUS_MODE_RD_OSR_LMT_SHIFT) |
1011                 EQOS_DMA_SYSBUS_MODE_EAME | EQOS_DMA_SYSBUS_MODE_BLEN16 |
1012                 EQOS_DMA_SYSBUS_MODE_BLEN8 | EQOS_DMA_SYSBUS_MODE_BLEN4;
1013         writel(val, &eqos->dma_regs->sysbus_mode);
1014
1015         /* Set up descriptors */
1016
1017         memset(eqos->tx_descs, 0, eqos->desc_size * EQOS_DESCRIPTORS_TX);
1018         memset(eqos->rx_descs, 0, eqos->desc_size * EQOS_DESCRIPTORS_RX);
1019
1020         for (i = 0; i < EQOS_DESCRIPTORS_TX; i++) {
1021                 struct eqos_desc *tx_desc = eqos_get_desc(eqos, i, false);
1022                 eqos->config->ops->eqos_flush_desc(tx_desc);
1023         }
1024
1025         for (i = 0; i < EQOS_DESCRIPTORS_RX; i++) {
1026                 struct eqos_desc *rx_desc = eqos_get_desc(eqos, i, true);
1027                 rx_desc->des0 = (u32)(ulong)(eqos->rx_dma_buf +
1028                                              (i * EQOS_MAX_PACKET_SIZE));
1029                 rx_desc->des3 = EQOS_DESC3_OWN | EQOS_DESC3_BUF1V;
1030                 mb();
1031                 eqos->config->ops->eqos_flush_desc(rx_desc);
1032                 eqos->config->ops->eqos_inval_buffer(eqos->rx_dma_buf +
1033                                                 (i * EQOS_MAX_PACKET_SIZE),
1034                                                 EQOS_MAX_PACKET_SIZE);
1035         }
1036
1037         writel(0, &eqos->dma_regs->ch0_txdesc_list_haddress);
1038         writel((ulong)eqos_get_desc(eqos, 0, false),
1039                 &eqos->dma_regs->ch0_txdesc_list_address);
1040         writel(EQOS_DESCRIPTORS_TX - 1,
1041                &eqos->dma_regs->ch0_txdesc_ring_length);
1042
1043         writel(0, &eqos->dma_regs->ch0_rxdesc_list_haddress);
1044         writel((ulong)eqos_get_desc(eqos, 0, true),
1045                 &eqos->dma_regs->ch0_rxdesc_list_address);
1046         writel(EQOS_DESCRIPTORS_RX - 1,
1047                &eqos->dma_regs->ch0_rxdesc_ring_length);
1048
1049         /* Enable everything */
1050         setbits_le32(&eqos->dma_regs->ch0_tx_control,
1051                      EQOS_DMA_CH0_TX_CONTROL_ST);
1052         setbits_le32(&eqos->dma_regs->ch0_rx_control,
1053                      EQOS_DMA_CH0_RX_CONTROL_SR);
1054         setbits_le32(&eqos->mac_regs->configuration,
1055                      EQOS_MAC_CONFIGURATION_TE | EQOS_MAC_CONFIGURATION_RE);
1056
1057         /* TX tail pointer not written until we need to TX a packet */
1058         /*
1059          * Point RX tail pointer at last descriptor. Ideally, we'd point at the
1060          * first descriptor, implying all descriptors were available. However,
1061          * that's not distinguishable from none of the descriptors being
1062          * available.
1063          */
1064         last_rx_desc = (ulong)eqos_get_desc(eqos, EQOS_DESCRIPTORS_RX - 1, true);
1065         writel(last_rx_desc, &eqos->dma_regs->ch0_rxdesc_tail_pointer);
1066
1067         eqos->started = true;
1068
1069         debug("%s: OK\n", __func__);
1070         return 0;
1071
1072 err_shutdown_phy:
1073         phy_shutdown(eqos->phy);
1074 err_stop_resets:
1075         eqos->config->ops->eqos_stop_resets(dev);
1076 err:
1077         pr_err("FAILED: %d", ret);
1078         return ret;
1079 }
1080
1081 static void eqos_stop(struct udevice *dev)
1082 {
1083         struct eqos_priv *eqos = dev_get_priv(dev);
1084         int i;
1085
1086         debug("%s(dev=%p):\n", __func__, dev);
1087
1088         if (!eqos->started)
1089                 return;
1090         eqos->started = false;
1091         eqos->reg_access_ok = false;
1092
1093         /* Disable TX DMA */
1094         clrbits_le32(&eqos->dma_regs->ch0_tx_control,
1095                      EQOS_DMA_CH0_TX_CONTROL_ST);
1096
1097         /* Wait for TX all packets to drain out of MTL */
1098         for (i = 0; i < 1000000; i++) {
1099                 u32 val = readl(&eqos->mtl_regs->txq0_debug);
1100                 u32 trcsts = (val >> EQOS_MTL_TXQ0_DEBUG_TRCSTS_SHIFT) &
1101                         EQOS_MTL_TXQ0_DEBUG_TRCSTS_MASK;
1102                 u32 txqsts = val & EQOS_MTL_TXQ0_DEBUG_TXQSTS;
1103                 if ((trcsts != 1) && (!txqsts))
1104                         break;
1105         }
1106
1107         /* Turn off MAC TX and RX */
1108         clrbits_le32(&eqos->mac_regs->configuration,
1109                      EQOS_MAC_CONFIGURATION_TE | EQOS_MAC_CONFIGURATION_RE);
1110
1111         /* Wait for all RX packets to drain out of MTL */
1112         for (i = 0; i < 1000000; i++) {
1113                 u32 val = readl(&eqos->mtl_regs->rxq0_debug);
1114                 u32 prxq = (val >> EQOS_MTL_RXQ0_DEBUG_PRXQ_SHIFT) &
1115                         EQOS_MTL_RXQ0_DEBUG_PRXQ_MASK;
1116                 u32 rxqsts = (val >> EQOS_MTL_RXQ0_DEBUG_RXQSTS_SHIFT) &
1117                         EQOS_MTL_RXQ0_DEBUG_RXQSTS_MASK;
1118                 if ((!prxq) && (!rxqsts))
1119                         break;
1120         }
1121
1122         /* Turn off RX DMA */
1123         clrbits_le32(&eqos->dma_regs->ch0_rx_control,
1124                      EQOS_DMA_CH0_RX_CONTROL_SR);
1125
1126         if (eqos->phy) {
1127                 phy_shutdown(eqos->phy);
1128         }
1129         eqos->config->ops->eqos_stop_resets(dev);
1130
1131         debug("%s: OK\n", __func__);
1132 }
1133
1134 static int eqos_send(struct udevice *dev, void *packet, int length)
1135 {
1136         struct eqos_priv *eqos = dev_get_priv(dev);
1137         struct eqos_desc *tx_desc;
1138         int i;
1139
1140         debug("%s(dev=%p, packet=%p, length=%d):\n", __func__, dev, packet,
1141               length);
1142
1143         memcpy(eqos->tx_dma_buf, packet, length);
1144         eqos->config->ops->eqos_flush_buffer(eqos->tx_dma_buf, length);
1145
1146         tx_desc = eqos_get_desc(eqos, eqos->tx_desc_idx, false);
1147         eqos->tx_desc_idx++;
1148         eqos->tx_desc_idx %= EQOS_DESCRIPTORS_TX;
1149
1150         tx_desc->des0 = (ulong)eqos->tx_dma_buf;
1151         tx_desc->des1 = 0;
1152         tx_desc->des2 = length;
1153         /*
1154          * Make sure that if HW sees the _OWN write below, it will see all the
1155          * writes to the rest of the descriptor too.
1156          */
1157         mb();
1158         tx_desc->des3 = EQOS_DESC3_OWN | EQOS_DESC3_FD | EQOS_DESC3_LD | length;
1159         eqos->config->ops->eqos_flush_desc(tx_desc);
1160
1161         writel((ulong)eqos_get_desc(eqos, eqos->tx_desc_idx, false),
1162                 &eqos->dma_regs->ch0_txdesc_tail_pointer);
1163
1164         for (i = 0; i < 1000000; i++) {
1165                 eqos->config->ops->eqos_inval_desc(tx_desc);
1166                 if (!(readl(&tx_desc->des3) & EQOS_DESC3_OWN))
1167                         return 0;
1168                 udelay(1);
1169         }
1170
1171         debug("%s: TX timeout\n", __func__);
1172
1173         return -ETIMEDOUT;
1174 }
1175
1176 static int eqos_recv(struct udevice *dev, int flags, uchar **packetp)
1177 {
1178         struct eqos_priv *eqos = dev_get_priv(dev);
1179         struct eqos_desc *rx_desc;
1180         int length;
1181
1182         debug("%s(dev=%p, flags=%x):\n", __func__, dev, flags);
1183
1184         rx_desc = eqos_get_desc(eqos, eqos->rx_desc_idx, true);
1185         eqos->config->ops->eqos_inval_desc(rx_desc);
1186         if (rx_desc->des3 & EQOS_DESC3_OWN) {
1187                 debug("%s: RX packet not available\n", __func__);
1188                 return -EAGAIN;
1189         }
1190
1191         *packetp = eqos->rx_dma_buf +
1192                 (eqos->rx_desc_idx * EQOS_MAX_PACKET_SIZE);
1193         length = rx_desc->des3 & 0x7fff;
1194         debug("%s: *packetp=%p, length=%d\n", __func__, *packetp, length);
1195
1196         eqos->config->ops->eqos_inval_buffer(*packetp, length);
1197
1198         return length;
1199 }
1200
1201 static int eqos_free_pkt(struct udevice *dev, uchar *packet, int length)
1202 {
1203         struct eqos_priv *eqos = dev_get_priv(dev);
1204         u32 idx, idx_mask = eqos->desc_per_cacheline - 1;
1205         uchar *packet_expected;
1206         struct eqos_desc *rx_desc;
1207
1208         debug("%s(packet=%p, length=%d)\n", __func__, packet, length);
1209
1210         packet_expected = eqos->rx_dma_buf +
1211                 (eqos->rx_desc_idx * EQOS_MAX_PACKET_SIZE);
1212         if (packet != packet_expected) {
1213                 debug("%s: Unexpected packet (expected %p)\n", __func__,
1214                       packet_expected);
1215                 return -EINVAL;
1216         }
1217
1218         eqos->config->ops->eqos_inval_buffer(packet, length);
1219
1220         if ((eqos->rx_desc_idx & idx_mask) == idx_mask) {
1221                 for (idx = eqos->rx_desc_idx - idx_mask;
1222                      idx <= eqos->rx_desc_idx;
1223                      idx++) {
1224                         rx_desc = eqos_get_desc(eqos, idx, true);
1225                         rx_desc->des0 = 0;
1226                         mb();
1227                         eqos->config->ops->eqos_flush_desc(rx_desc);
1228                         eqos->config->ops->eqos_inval_buffer(packet, length);
1229                         rx_desc->des0 = (u32)(ulong)(eqos->rx_dma_buf +
1230                                              (idx * EQOS_MAX_PACKET_SIZE));
1231                         rx_desc->des1 = 0;
1232                         rx_desc->des2 = 0;
1233                         /*
1234                          * Make sure that if HW sees the _OWN write below,
1235                          * it will see all the writes to the rest of the
1236                          * descriptor too.
1237                          */
1238                         mb();
1239                         rx_desc->des3 = EQOS_DESC3_OWN | EQOS_DESC3_BUF1V;
1240                         eqos->config->ops->eqos_flush_desc(rx_desc);
1241                 }
1242                 writel((ulong)rx_desc, &eqos->dma_regs->ch0_rxdesc_tail_pointer);
1243         }
1244
1245         eqos->rx_desc_idx++;
1246         eqos->rx_desc_idx %= EQOS_DESCRIPTORS_RX;
1247
1248         return 0;
1249 }
1250
1251 static int eqos_probe_resources_core(struct udevice *dev)
1252 {
1253         struct eqos_priv *eqos = dev_get_priv(dev);
1254         unsigned int desc_step;
1255         int ret;
1256
1257         debug("%s(dev=%p):\n", __func__, dev);
1258
1259         /* Maximum distance between neighboring descriptors, in Bytes. */
1260         desc_step = sizeof(struct eqos_desc) +
1261                     EQOS_DMA_CH0_CONTROL_DSL_MASK * eqos->config->axi_bus_width;
1262         if (desc_step < ARCH_DMA_MINALIGN) {
1263                 /*
1264                  * The EQoS hardware implementation cannot place one descriptor
1265                  * per cacheline, it is necessary to place multiple descriptors
1266                  * per cacheline in memory and do cache management carefully.
1267                  */
1268                 eqos->desc_size = BIT(fls(desc_step) - 1);
1269         } else {
1270                 eqos->desc_size = ALIGN(sizeof(struct eqos_desc),
1271                                         (unsigned int)ARCH_DMA_MINALIGN);
1272         }
1273         eqos->desc_per_cacheline = ARCH_DMA_MINALIGN / eqos->desc_size;
1274
1275         eqos->tx_descs = eqos_alloc_descs(eqos, EQOS_DESCRIPTORS_TX);
1276         if (!eqos->tx_descs) {
1277                 debug("%s: eqos_alloc_descs(tx) failed\n", __func__);
1278                 ret = -ENOMEM;
1279                 goto err;
1280         }
1281
1282         eqos->rx_descs = eqos_alloc_descs(eqos, EQOS_DESCRIPTORS_RX);
1283         if (!eqos->rx_descs) {
1284                 debug("%s: eqos_alloc_descs(rx) failed\n", __func__);
1285                 ret = -ENOMEM;
1286                 goto err_free_tx_descs;
1287         }
1288
1289         eqos->tx_dma_buf = memalign(EQOS_BUFFER_ALIGN, EQOS_MAX_PACKET_SIZE);
1290         if (!eqos->tx_dma_buf) {
1291                 debug("%s: memalign(tx_dma_buf) failed\n", __func__);
1292                 ret = -ENOMEM;
1293                 goto err_free_descs;
1294         }
1295         debug("%s: tx_dma_buf=%p\n", __func__, eqos->tx_dma_buf);
1296
1297         eqos->rx_dma_buf = memalign(EQOS_BUFFER_ALIGN, EQOS_RX_BUFFER_SIZE);
1298         if (!eqos->rx_dma_buf) {
1299                 debug("%s: memalign(rx_dma_buf) failed\n", __func__);
1300                 ret = -ENOMEM;
1301                 goto err_free_tx_dma_buf;
1302         }
1303         debug("%s: rx_dma_buf=%p\n", __func__, eqos->rx_dma_buf);
1304
1305         eqos->rx_pkt = malloc(EQOS_MAX_PACKET_SIZE);
1306         if (!eqos->rx_pkt) {
1307                 debug("%s: malloc(rx_pkt) failed\n", __func__);
1308                 ret = -ENOMEM;
1309                 goto err_free_rx_dma_buf;
1310         }
1311         debug("%s: rx_pkt=%p\n", __func__, eqos->rx_pkt);
1312
1313         eqos->config->ops->eqos_inval_buffer(eqos->rx_dma_buf,
1314                         EQOS_MAX_PACKET_SIZE * EQOS_DESCRIPTORS_RX);
1315
1316         debug("%s: OK\n", __func__);
1317         return 0;
1318
1319 err_free_rx_dma_buf:
1320         free(eqos->rx_dma_buf);
1321 err_free_tx_dma_buf:
1322         free(eqos->tx_dma_buf);
1323 err_free_descs:
1324         eqos_free_descs(eqos->rx_descs);
1325 err_free_tx_descs:
1326         eqos_free_descs(eqos->tx_descs);
1327 err:
1328
1329         debug("%s: returns %d\n", __func__, ret);
1330         return ret;
1331 }
1332
1333 static int eqos_remove_resources_core(struct udevice *dev)
1334 {
1335         struct eqos_priv *eqos = dev_get_priv(dev);
1336
1337         debug("%s(dev=%p):\n", __func__, dev);
1338
1339         free(eqos->rx_pkt);
1340         free(eqos->rx_dma_buf);
1341         free(eqos->tx_dma_buf);
1342         eqos_free_descs(eqos->rx_descs);
1343         eqos_free_descs(eqos->tx_descs);
1344
1345         debug("%s: OK\n", __func__);
1346         return 0;
1347 }
1348
1349 static int eqos_probe_resources_tegra186(struct udevice *dev)
1350 {
1351         struct eqos_priv *eqos = dev_get_priv(dev);
1352         int ret;
1353
1354         debug("%s(dev=%p):\n", __func__, dev);
1355
1356         ret = reset_get_by_name(dev, "eqos", &eqos->reset_ctl);
1357         if (ret) {
1358                 pr_err("reset_get_by_name(rst) failed: %d", ret);
1359                 return ret;
1360         }
1361
1362         ret = gpio_request_by_name(dev, "phy-reset-gpios", 0,
1363                                    &eqos->phy_reset_gpio,
1364                                    GPIOD_IS_OUT | GPIOD_IS_OUT_ACTIVE);
1365         if (ret) {
1366                 pr_err("gpio_request_by_name(phy reset) failed: %d", ret);
1367                 goto err_free_reset_eqos;
1368         }
1369
1370         ret = clk_get_by_name(dev, "slave_bus", &eqos->clk_slave_bus);
1371         if (ret) {
1372                 pr_err("clk_get_by_name(slave_bus) failed: %d", ret);
1373                 goto err_free_gpio_phy_reset;
1374         }
1375
1376         ret = clk_get_by_name(dev, "master_bus", &eqos->clk_master_bus);
1377         if (ret) {
1378                 pr_err("clk_get_by_name(master_bus) failed: %d", ret);
1379                 goto err_free_clk_slave_bus;
1380         }
1381
1382         ret = clk_get_by_name(dev, "rx", &eqos->clk_rx);
1383         if (ret) {
1384                 pr_err("clk_get_by_name(rx) failed: %d", ret);
1385                 goto err_free_clk_master_bus;
1386         }
1387
1388         ret = clk_get_by_name(dev, "ptp_ref", &eqos->clk_ptp_ref);
1389         if (ret) {
1390                 pr_err("clk_get_by_name(ptp_ref) failed: %d", ret);
1391                 goto err_free_clk_rx;
1392         }
1393
1394         ret = clk_get_by_name(dev, "tx", &eqos->clk_tx);
1395         if (ret) {
1396                 pr_err("clk_get_by_name(tx) failed: %d", ret);
1397                 goto err_free_clk_ptp_ref;
1398         }
1399
1400         debug("%s: OK\n", __func__);
1401         return 0;
1402
1403 err_free_clk_ptp_ref:
1404         clk_free(&eqos->clk_ptp_ref);
1405 err_free_clk_rx:
1406         clk_free(&eqos->clk_rx);
1407 err_free_clk_master_bus:
1408         clk_free(&eqos->clk_master_bus);
1409 err_free_clk_slave_bus:
1410         clk_free(&eqos->clk_slave_bus);
1411 err_free_gpio_phy_reset:
1412         dm_gpio_free(dev, &eqos->phy_reset_gpio);
1413 err_free_reset_eqos:
1414         reset_free(&eqos->reset_ctl);
1415
1416         debug("%s: returns %d\n", __func__, ret);
1417         return ret;
1418 }
1419
1420 static int eqos_probe_resources_stm32(struct udevice *dev)
1421 {
1422         struct eqos_priv *eqos = dev_get_priv(dev);
1423         int ret;
1424         phy_interface_t interface;
1425
1426         debug("%s(dev=%p):\n", __func__, dev);
1427
1428         interface = eqos->config->interface(dev);
1429
1430         if (interface == PHY_INTERFACE_MODE_NA) {
1431                 pr_err("Invalid PHY interface\n");
1432                 return -EINVAL;
1433         }
1434
1435         ret = board_interface_eth_init(dev, interface);
1436         if (ret)
1437                 return -EINVAL;
1438
1439         ret = clk_get_by_name(dev, "stmmaceth", &eqos->clk_master_bus);
1440         if (ret) {
1441                 pr_err("clk_get_by_name(master_bus) failed: %d", ret);
1442                 goto err_probe;
1443         }
1444
1445         ret = clk_get_by_name(dev, "mac-clk-rx", &eqos->clk_rx);
1446         if (ret) {
1447                 pr_err("clk_get_by_name(rx) failed: %d", ret);
1448                 goto err_free_clk_master_bus;
1449         }
1450
1451         ret = clk_get_by_name(dev, "mac-clk-tx", &eqos->clk_tx);
1452         if (ret) {
1453                 pr_err("clk_get_by_name(tx) failed: %d", ret);
1454                 goto err_free_clk_rx;
1455         }
1456
1457         /*  Get ETH_CLK clocks (optional) */
1458         ret = clk_get_by_name(dev, "eth-ck", &eqos->clk_ck);
1459         if (ret)
1460                 pr_warn("No phy clock provided %d", ret);
1461
1462         debug("%s: OK\n", __func__);
1463         return 0;
1464
1465 err_free_clk_rx:
1466         clk_free(&eqos->clk_rx);
1467 err_free_clk_master_bus:
1468         clk_free(&eqos->clk_master_bus);
1469 err_probe:
1470
1471         debug("%s: returns %d\n", __func__, ret);
1472         return ret;
1473 }
1474
1475 static phy_interface_t eqos_get_interface_tegra186(const struct udevice *dev)
1476 {
1477         return PHY_INTERFACE_MODE_MII;
1478 }
1479
1480 static int eqos_remove_resources_tegra186(struct udevice *dev)
1481 {
1482         struct eqos_priv *eqos = dev_get_priv(dev);
1483
1484         debug("%s(dev=%p):\n", __func__, dev);
1485
1486 #ifdef CONFIG_CLK
1487         clk_free(&eqos->clk_tx);
1488         clk_free(&eqos->clk_ptp_ref);
1489         clk_free(&eqos->clk_rx);
1490         clk_free(&eqos->clk_slave_bus);
1491         clk_free(&eqos->clk_master_bus);
1492 #endif
1493         dm_gpio_free(dev, &eqos->phy_reset_gpio);
1494         reset_free(&eqos->reset_ctl);
1495
1496         debug("%s: OK\n", __func__);
1497         return 0;
1498 }
1499
1500 static int eqos_remove_resources_stm32(struct udevice *dev)
1501 {
1502         struct eqos_priv * __maybe_unused eqos = dev_get_priv(dev);
1503
1504         debug("%s(dev=%p):\n", __func__, dev);
1505
1506 #ifdef CONFIG_CLK
1507         clk_free(&eqos->clk_tx);
1508         clk_free(&eqos->clk_rx);
1509         clk_free(&eqos->clk_master_bus);
1510         if (clk_valid(&eqos->clk_ck))
1511                 clk_free(&eqos->clk_ck);
1512 #endif
1513
1514         debug("%s: OK\n", __func__);
1515         return 0;
1516 }
1517
1518 static int eqos_probe(struct udevice *dev)
1519 {
1520         struct eqos_priv *eqos = dev_get_priv(dev);
1521         int ret;
1522
1523         debug("%s(dev=%p):\n", __func__, dev);
1524
1525         eqos->dev = dev;
1526         eqos->config = (void *)dev_get_driver_data(dev);
1527
1528         eqos->regs = dev_read_addr(dev);
1529         if (eqos->regs == FDT_ADDR_T_NONE) {
1530                 pr_err("dev_read_addr() failed");
1531                 return -ENODEV;
1532         }
1533         eqos->mac_regs = (void *)(eqos->regs + EQOS_MAC_REGS_BASE);
1534         eqos->mtl_regs = (void *)(eqos->regs + EQOS_MTL_REGS_BASE);
1535         eqos->dma_regs = (void *)(eqos->regs + EQOS_DMA_REGS_BASE);
1536         eqos->tegra186_regs = (void *)(eqos->regs + EQOS_TEGRA186_REGS_BASE);
1537
1538         eqos->max_speed = dev_read_u32_default(dev, "max-speed", 0);
1539
1540         ret = eqos_probe_resources_core(dev);
1541         if (ret < 0) {
1542                 pr_err("eqos_probe_resources_core() failed: %d", ret);
1543                 return ret;
1544         }
1545
1546         ret = eqos->config->ops->eqos_probe_resources(dev);
1547         if (ret < 0) {
1548                 pr_err("eqos_probe_resources() failed: %d", ret);
1549                 goto err_remove_resources_core;
1550         }
1551
1552         ret = eqos->config->ops->eqos_start_clks(dev);
1553         if (ret < 0) {
1554                 pr_err("eqos_start_clks() failed: %d", ret);
1555                 goto err_remove_resources_tegra;
1556         }
1557
1558 #ifdef CONFIG_DM_ETH_PHY
1559         eqos->mii = eth_phy_get_mdio_bus(dev);
1560 #endif
1561         if (!eqos->mii) {
1562                 eqos->mii = mdio_alloc();
1563                 if (!eqos->mii) {
1564                         pr_err("mdio_alloc() failed");
1565                         ret = -ENOMEM;
1566                         goto err_stop_clks;
1567                 }
1568                 eqos->mii->read = eqos_mdio_read;
1569                 eqos->mii->write = eqos_mdio_write;
1570                 eqos->mii->priv = eqos;
1571                 strcpy(eqos->mii->name, dev->name);
1572
1573                 ret = mdio_register(eqos->mii);
1574                 if (ret < 0) {
1575                         pr_err("mdio_register() failed: %d", ret);
1576                         goto err_free_mdio;
1577                 }
1578         }
1579
1580 #ifdef CONFIG_DM_ETH_PHY
1581         eth_phy_set_mdio_bus(dev, eqos->mii);
1582 #endif
1583
1584         debug("%s: OK\n", __func__);
1585         return 0;
1586
1587 err_free_mdio:
1588         mdio_free(eqos->mii);
1589 err_stop_clks:
1590         eqos->config->ops->eqos_stop_clks(dev);
1591 err_remove_resources_tegra:
1592         eqos->config->ops->eqos_remove_resources(dev);
1593 err_remove_resources_core:
1594         eqos_remove_resources_core(dev);
1595
1596         debug("%s: returns %d\n", __func__, ret);
1597         return ret;
1598 }
1599
1600 static int eqos_remove(struct udevice *dev)
1601 {
1602         struct eqos_priv *eqos = dev_get_priv(dev);
1603
1604         debug("%s(dev=%p):\n", __func__, dev);
1605
1606         mdio_unregister(eqos->mii);
1607         mdio_free(eqos->mii);
1608         eqos->config->ops->eqos_stop_clks(dev);
1609         eqos->config->ops->eqos_remove_resources(dev);
1610
1611         eqos_remove_resources_core(dev);
1612
1613         debug("%s: OK\n", __func__);
1614         return 0;
1615 }
1616
1617 int eqos_null_ops(struct udevice *dev)
1618 {
1619         return 0;
1620 }
1621
1622 static const struct eth_ops eqos_ops = {
1623         .start = eqos_start,
1624         .stop = eqos_stop,
1625         .send = eqos_send,
1626         .recv = eqos_recv,
1627         .free_pkt = eqos_free_pkt,
1628         .write_hwaddr = eqos_write_hwaddr,
1629         .read_rom_hwaddr        = eqos_read_rom_hwaddr,
1630 };
1631
1632 static struct eqos_ops eqos_tegra186_ops = {
1633         .eqos_inval_desc = eqos_inval_desc_generic,
1634         .eqos_flush_desc = eqos_flush_desc_generic,
1635         .eqos_inval_buffer = eqos_inval_buffer_tegra186,
1636         .eqos_flush_buffer = eqos_flush_buffer_tegra186,
1637         .eqos_probe_resources = eqos_probe_resources_tegra186,
1638         .eqos_remove_resources = eqos_remove_resources_tegra186,
1639         .eqos_stop_resets = eqos_stop_resets_tegra186,
1640         .eqos_start_resets = eqos_start_resets_tegra186,
1641         .eqos_stop_clks = eqos_stop_clks_tegra186,
1642         .eqos_start_clks = eqos_start_clks_tegra186,
1643         .eqos_calibrate_pads = eqos_calibrate_pads_tegra186,
1644         .eqos_disable_calibration = eqos_disable_calibration_tegra186,
1645         .eqos_set_tx_clk_speed = eqos_set_tx_clk_speed_tegra186,
1646         .eqos_get_enetaddr = eqos_null_ops,
1647         .eqos_get_tick_clk_rate = eqos_get_tick_clk_rate_tegra186
1648 };
1649
1650 static const struct eqos_config __maybe_unused eqos_tegra186_config = {
1651         .reg_access_always_ok = false,
1652         .mdio_wait = 10,
1653         .swr_wait = 10,
1654         .config_mac = EQOS_MAC_RXQ_CTRL0_RXQ0EN_ENABLED_DCB,
1655         .config_mac_mdio = EQOS_MAC_MDIO_ADDRESS_CR_20_35,
1656         .axi_bus_width = EQOS_AXI_WIDTH_128,
1657         .interface = eqos_get_interface_tegra186,
1658         .ops = &eqos_tegra186_ops
1659 };
1660
1661 static struct eqos_ops eqos_stm32_ops = {
1662         .eqos_inval_desc = eqos_inval_desc_generic,
1663         .eqos_flush_desc = eqos_flush_desc_generic,
1664         .eqos_inval_buffer = eqos_inval_buffer_generic,
1665         .eqos_flush_buffer = eqos_flush_buffer_generic,
1666         .eqos_probe_resources = eqos_probe_resources_stm32,
1667         .eqos_remove_resources = eqos_remove_resources_stm32,
1668         .eqos_stop_resets = eqos_null_ops,
1669         .eqos_start_resets = eqos_null_ops,
1670         .eqos_stop_clks = eqos_stop_clks_stm32,
1671         .eqos_start_clks = eqos_start_clks_stm32,
1672         .eqos_calibrate_pads = eqos_null_ops,
1673         .eqos_disable_calibration = eqos_null_ops,
1674         .eqos_set_tx_clk_speed = eqos_null_ops,
1675         .eqos_get_enetaddr = eqos_null_ops,
1676         .eqos_get_tick_clk_rate = eqos_get_tick_clk_rate_stm32
1677 };
1678
1679 static const struct eqos_config __maybe_unused eqos_stm32_config = {
1680         .reg_access_always_ok = false,
1681         .mdio_wait = 10000,
1682         .swr_wait = 50,
1683         .config_mac = EQOS_MAC_RXQ_CTRL0_RXQ0EN_ENABLED_AV,
1684         .config_mac_mdio = EQOS_MAC_MDIO_ADDRESS_CR_250_300,
1685         .axi_bus_width = EQOS_AXI_WIDTH_64,
1686         .interface = dev_read_phy_mode,
1687         .ops = &eqos_stm32_ops
1688 };
1689
1690 static const struct udevice_id eqos_ids[] = {
1691 #if IS_ENABLED(CONFIG_DWC_ETH_QOS_TEGRA186)
1692         {
1693                 .compatible = "nvidia,tegra186-eqos",
1694                 .data = (ulong)&eqos_tegra186_config
1695         },
1696 #endif
1697 #if IS_ENABLED(CONFIG_DWC_ETH_QOS_STM32)
1698         {
1699                 .compatible = "st,stm32mp1-dwmac",
1700                 .data = (ulong)&eqos_stm32_config
1701         },
1702 #endif
1703 #if IS_ENABLED(CONFIG_DWC_ETH_QOS_IMX)
1704         {
1705                 .compatible = "nxp,imx8mp-dwmac-eqos",
1706                 .data = (ulong)&eqos_imx_config
1707         },
1708 #endif
1709
1710 #if IS_ENABLED(CONFIG_DWC_ETH_QOS_QCOM)
1711         {
1712                 .compatible = "qcom,qcs404-ethqos",
1713                 .data = (ulong)&eqos_qcom_config
1714         },
1715 #endif
1716
1717         { }
1718 };
1719
1720 U_BOOT_DRIVER(eth_eqos) = {
1721         .name = "eth_eqos",
1722         .id = UCLASS_ETH,
1723         .of_match = of_match_ptr(eqos_ids),
1724         .probe = eqos_probe,
1725         .remove = eqos_remove,
1726         .ops = &eqos_ops,
1727         .priv_auto      = sizeof(struct eqos_priv),
1728         .plat_auto      = sizeof(struct eth_pdata),
1729 };