drivers/base/bus.c

   1 // SPDX-License-Identifier: GPL-2.0
   2 /*
   3  * bus.c - bus driver management
   4  *
   5  * Copyright (c) 2002-3 Patrick Mochel
   6  * Copyright (c) 2002-3 Open Source Development Labs
   7  * Copyright (c) 2007 Greg Kroah-Hartman <[email protected]>
   8  * Copyright (c) 2007 Novell Inc.
   9  * Copyright (c) 2023 Greg Kroah-Hartman <[email protected]>
  10  */
  11
  12 #include <linux/async.h>
  13 #include <linux/device/bus.h>
  14 #include <linux/device.h>
  15 #include <linux/module.h>
  16 #include <linux/errno.h>
  17 #include <linux/slab.h>
  18 #include <linux/init.h>
  19 #include <linux/string.h>
  20 #include <linux/mutex.h>
  21 #include <linux/sysfs.h>
  22 #include "base.h"
  23 #include "power/power.h"
  24
  25 /* /sys/devices/system */
  26 static struct kset *system_kset;
  27
  28 /* /sys/bus */
  29 static struct kset *bus_kset;
  30
  31 #define to_bus_attr(_attr) container_of(_attr, struct bus_attribute, attr)
  32
  33 /*
  34  * sysfs bindings for drivers
  35  */
  36
  37 #define to_drv_attr(_attr) container_of(_attr, struct driver_attribute, attr)
  38
  39 #define DRIVER_ATTR_IGNORE_LOCKDEP(_name, _mode, _show, _store) \
  40         struct driver_attribute driver_attr_##_name =           \
  41                 __ATTR_IGNORE_LOCKDEP(_name, _mode, _show, _store)
  42
  43 static int __must_check bus_rescan_devices_helper(struct device *dev,
  44                                                 void *data);
  45
  46 /**
  47  * bus_to_subsys - Turn a struct bus_type into a struct subsys_private
  48  *
  49  * @bus: pointer to the struct bus_type to look up
  50  *
  51  * The driver core internals needs to work on the subsys_private structure, not
  52  * the external struct bus_type pointer.  This function walks the list of
  53  * registered busses in the system and finds the matching one and returns the
  54  * internal struct subsys_private that relates to that bus.
  55  *
  56  * Note, the reference count of the return value is INCREMENTED if it is not
  57  * NULL.  A call to subsys_put() must be done when finished with the pointer in
  58  * order for it to be properly freed.
  59  */
  60 static struct subsys_private *bus_to_subsys(const struct bus_type *bus)
  61 {
  62         struct subsys_private *sp = NULL;
  63         struct kobject *kobj;
  64
  65         if (!bus || !bus_kset)
  66                 return NULL;
  67
  68         spin_lock(&bus_kset->list_lock);
  69
  70         if (list_empty(&bus_kset->list))
  71                 goto done;
  72
  73         list_for_each_entry(kobj, &bus_kset->list, entry) {
  74                 struct kset *kset = container_of(kobj, struct kset, kobj);
  75
  76                 sp = container_of_const(kset, struct subsys_private, subsys);
  77                 if (sp->bus == bus)
  78                         goto done;
  79         }
  80         sp = NULL;
  81 done:
  82         sp = subsys_get(sp);
  83         spin_unlock(&bus_kset->list_lock);
  84         return sp;
  85 }
  86
  87 static const struct bus_type *bus_get(const struct bus_type *bus)
  88 {
  89         struct subsys_private *sp = bus_to_subsys(bus);
  90
  91         if (sp)
  92                 return bus;
  93         return NULL;
  94 }
  95
  96 static void bus_put(const struct bus_type *bus)
  97 {
  98         struct subsys_private *sp = bus_to_subsys(bus);
  99
 100         /* two puts are required as the call to bus_to_subsys incremented it again */
 101         subsys_put(sp);
 102         subsys_put(sp);
 103 }
 104
 105 static ssize_t drv_attr_show(struct kobject *kobj, struct attribute *attr,
 106                              char *buf)
 107 {
 108         struct driver_attribute *drv_attr = to_drv_attr(attr);
 109         struct driver_private *drv_priv = to_driver(kobj);
 110         ssize_t ret = -EIO;
 111
 112         if (drv_attr->show)
 113                 ret = drv_attr->show(drv_priv->driver, buf);
 114         return ret;
 115 }
 116
 117 static ssize_t drv_attr_store(struct kobject *kobj, struct attribute *attr,
 118                               const char *buf, size_t count)
 119 {
 120         struct driver_attribute *drv_attr = to_drv_attr(attr);
 121         struct driver_private *drv_priv = to_driver(kobj);
 122         ssize_t ret = -EIO;
 123
 124         if (drv_attr->store)
 125                 ret = drv_attr->store(drv_priv->driver, buf, count);
 126         return ret;
 127 }
 128
 129 static const struct sysfs_ops driver_sysfs_ops = {
 130         .show   = drv_attr_show,
 131         .store  = drv_attr_store,
 132 };
 133
 134 static void driver_release(struct kobject *kobj)
 135 {
 136         struct driver_private *drv_priv = to_driver(kobj);
 137
 138         pr_debug("driver: '%s': %s\n", kobject_name(kobj), __func__);
 139         kfree(drv_priv);
 140 }
 141
 142 static const struct kobj_type driver_ktype = {
 143         .sysfs_ops      = &driver_sysfs_ops,
 144         .release        = driver_release,
 145 };
 146
 147 /*
 148  * sysfs bindings for buses
 149  */
 150 static ssize_t bus_attr_show(struct kobject *kobj, struct attribute *attr,
 151                              char *buf)
 152 {
 153         struct bus_attribute *bus_attr = to_bus_attr(attr);
 154         struct subsys_private *subsys_priv = to_subsys_private(kobj);
 155         ssize_t ret = 0;
 156
 157         if (bus_attr->show)
 158                 ret = bus_attr->show(subsys_priv->bus, buf);
 159         return ret;
 160 }
 161
 162 static ssize_t bus_attr_store(struct kobject *kobj, struct attribute *attr,
 163                               const char *buf, size_t count)
 164 {
 165         struct bus_attribute *bus_attr = to_bus_attr(attr);
 166         struct subsys_private *subsys_priv = to_subsys_private(kobj);
 167         ssize_t ret = 0;
 168
 169         if (bus_attr->store)
 170                 ret = bus_attr->store(subsys_priv->bus, buf, count);
 171         return ret;
 172 }
 173
 174 static const struct sysfs_ops bus_sysfs_ops = {
 175         .show   = bus_attr_show,
 176         .store  = bus_attr_store,
 177 };
 178
 179 int bus_create_file(const struct bus_type *bus, struct bus_attribute *attr)
 180 {
 181         struct subsys_private *sp = bus_to_subsys(bus);
 182         int error;
 183
 184         if (!sp)
 185                 return -EINVAL;
 186
 187         error = sysfs_create_file(&sp->subsys.kobj, &attr->attr);
 188
 189         subsys_put(sp);
 190         return error;
 191 }
 192 EXPORT_SYMBOL_GPL(bus_create_file);
 193
 194 void bus_remove_file(const struct bus_type *bus, struct bus_attribute *attr)
 195 {
 196         struct subsys_private *sp = bus_to_subsys(bus);
 197
 198         if (!sp)
 199                 return;
 200
 201         sysfs_remove_file(&sp->subsys.kobj, &attr->attr);
 202         subsys_put(sp);
 203 }
 204 EXPORT_SYMBOL_GPL(bus_remove_file);
 205
 206 static void bus_release(struct kobject *kobj)
 207 {
 208         struct subsys_private *priv = to_subsys_private(kobj);
 209
 210         lockdep_unregister_key(&priv->lock_key);
 211         kfree(priv);
 212 }
 213
 214 static const struct kobj_type bus_ktype = {
 215         .sysfs_ops      = &bus_sysfs_ops,
 216         .release        = bus_release,
 217 };
 218
 219 static int bus_uevent_filter(const struct kobject *kobj)
 220 {
 221         const struct kobj_type *ktype = get_ktype(kobj);
 222
 223         if (ktype == &bus_ktype)
 224                 return 1;
 225         return 0;
 226 }
 227
 228 static const struct kset_uevent_ops bus_uevent_ops = {
 229         .filter = bus_uevent_filter,
 230 };
 231
 232 /* Manually detach a device from its associated driver. */
 233 static ssize_t unbind_store(struct device_driver *drv, const char *buf,
 234                             size_t count)
 235 {
 236         const struct bus_type *bus = bus_get(drv->bus);
 237         struct device *dev;
 238         int err = -ENODEV;
 239
 240         dev = bus_find_device_by_name(bus, NULL, buf);
 241         if (dev && dev->driver == drv) {
 242                 device_driver_detach(dev);
 243                 err = count;
 244         }
 245         put_device(dev);
 246         bus_put(bus);
 247         return err;
 248 }
 249 static DRIVER_ATTR_IGNORE_LOCKDEP(unbind, 0200, NULL, unbind_store);
 250
 251 /*
 252  * Manually attach a device to a driver.
 253  * Note: the driver must want to bind to the device,
 254  * it is not possible to override the driver's id table.
 255  */
 256 static ssize_t bind_store(struct device_driver *drv, const char *buf,
 257                           size_t count)
 258 {
 259         const struct bus_type *bus = bus_get(drv->bus);
 260         struct device *dev;
 261         int err = -ENODEV;
 262
 263         dev = bus_find_device_by_name(bus, NULL, buf);
 264         if (dev && driver_match_device(drv, dev)) {
 265                 err = device_driver_attach(drv, dev);
 266                 if (!err) {
 267                         /* success */
 268                         err = count;
 269                 }
 270         }
 271         put_device(dev);
 272         bus_put(bus);
 273         return err;
 274 }
 275 static DRIVER_ATTR_IGNORE_LOCKDEP(bind, 0200, NULL, bind_store);
 276
 277 static ssize_t drivers_autoprobe_show(const struct bus_type *bus, char *buf)
 278 {
 279         struct subsys_private *sp = bus_to_subsys(bus);
 280         int ret;
 281
 282         if (!sp)
 283                 return -EINVAL;
 284
 285         ret = sysfs_emit(buf, "%d\n", sp->drivers_autoprobe);
 286         subsys_put(sp);
 287         return ret;
 288 }
 289
 290 static ssize_t drivers_autoprobe_store(const struct bus_type *bus,
 291                                        const char *buf, size_t count)
 292 {
 293         struct subsys_private *sp = bus_to_subsys(bus);
 294
 295         if (!sp)
 296                 return -EINVAL;
 297
 298         if (buf[0] == '0')
 299                 sp->drivers_autoprobe = 0;
 300         else
 301                 sp->drivers_autoprobe = 1;
 302
 303         subsys_put(sp);
 304         return count;
 305 }
 306
 307 static ssize_t drivers_probe_store(const struct bus_type *bus,
 308                                    const char *buf, size_t count)
 309 {
 310         struct device *dev;
 311         int err = -EINVAL;
 312
 313         dev = bus_find_device_by_name(bus, NULL, buf);
 314         if (!dev)
 315                 return -ENODEV;
 316         if (bus_rescan_devices_helper(dev, NULL) == 0)
 317                 err = count;
 318         put_device(dev);
 319         return err;
 320 }
 321
 322 static struct device *next_device(struct klist_iter *i)
 323 {
 324         struct klist_node *n = klist_next(i);
 325         struct device *dev = NULL;
 326         struct device_private *dev_prv;
 327
 328         if (n) {
 329                 dev_prv = to_device_private_bus(n);
 330                 dev = dev_prv->device;
 331         }
 332         return dev;
 333 }
 334
 335 /**
 336  * bus_for_each_dev - device iterator.
 337  * @bus: bus type.
 338  * @start: device to start iterating from.
 339  * @data: data for the callback.
 340  * @fn: function to be called for each device.
 341  *
 342  * Iterate over @bus's list of devices, and call @fn for each,
 343  * passing it @data. If @start is not NULL, we use that device to
 344  * begin iterating from.
 345  *
 346  * We check the return of @fn each time. If it returns anything
 347  * other than 0, we break out and return that value.
 348  *
 349  * NOTE: The device that returns a non-zero value is not retained
 350  * in any way, nor is its refcount incremented. If the caller needs
 351  * to retain this data, it should do so, and increment the reference
 352  * count in the supplied callback.
 353  */
 354 int bus_for_each_dev(const struct bus_type *bus, struct device *start,
 355                      void *data, int (*fn)(struct device *, void *))
 356 {
 357         struct subsys_private *sp = bus_to_subsys(bus);
 358         struct klist_iter i;
 359         struct device *dev;
 360         int error = 0;
 361
 362         if (!sp)
 363                 return -EINVAL;
 364
 365         klist_iter_init_node(&sp->klist_devices, &i,
 366                              (start ? &start->p->knode_bus : NULL));
 367         while (!error && (dev = next_device(&i)))
 368                 error = fn(dev, data);
 369         klist_iter_exit(&i);
 370         subsys_put(sp);
 371         return error;
 372 }
 373 EXPORT_SYMBOL_GPL(bus_for_each_dev);
 374
 375 /**
 376  * bus_find_device - device iterator for locating a particular device.
 377  * @bus: bus type
 378  * @start: Device to begin with
 379  * @data: Data to pass to match function
 380  * @match: Callback function to check device
 381  *
 382  * This is similar to the bus_for_each_dev() function above, but it
 383  * returns a reference to a device that is 'found' for later use, as
 384  * determined by the @match callback.
 385  *
 386  * The callback should return 0 if the device doesn't match and non-zero
 387  * if it does.  If the callback returns non-zero, this function will
 388  * return to the caller and not iterate over any more devices.
 389  */
 390 struct device *bus_find_device(const struct bus_type *bus,
 391                                struct device *start, const void *data,
 392                                int (*match)(struct device *dev, const void *data))
 393 {
 394         struct subsys_private *sp = bus_to_subsys(bus);
 395         struct klist_iter i;
 396         struct device *dev;
 397
 398         if (!sp)
 399                 return NULL;
 400
 401         klist_iter_init_node(&sp->klist_devices, &i,
 402                              (start ? &start->p->knode_bus : NULL));
 403         while ((dev = next_device(&i)))
 404                 if (match(dev, data) && get_device(dev))
 405                         break;
 406         klist_iter_exit(&i);
 407         subsys_put(sp);
 408         return dev;
 409 }
 410 EXPORT_SYMBOL_GPL(bus_find_device);
 411
 412 static struct device_driver *next_driver(struct klist_iter *i)
 413 {
 414         struct klist_node *n = klist_next(i);
 415         struct driver_private *drv_priv;
 416
 417         if (n) {
 418                 drv_priv = container_of(n, struct driver_private, knode_bus);
 419                 return drv_priv->driver;
 420         }
 421         return NULL;
 422 }
 423
 424 /**
 425  * bus_for_each_drv - driver iterator
 426  * @bus: bus we're dealing with.
 427  * @start: driver to start iterating on.
 428  * @data: data to pass to the callback.
 429  * @fn: function to call for each driver.
 430  *
 431  * This is nearly identical to the device iterator above.
 432  * We iterate over each driver that belongs to @bus, and call
 433  * @fn for each. If @fn returns anything but 0, we break out
 434  * and return it. If @start is not NULL, we use it as the head
 435  * of the list.
 436  *
 437  * NOTE: we don't return the driver that returns a non-zero
 438  * value, nor do we leave the reference count incremented for that
 439  * driver. If the caller needs to know that info, it must set it
 440  * in the callback. It must also be sure to increment the refcount
 441  * so it doesn't disappear before returning to the caller.
 442  */
 443 int bus_for_each_drv(const struct bus_type *bus, struct device_driver *start,
 444                      void *data, int (*fn)(struct device_driver *, void *))
 445 {
 446         struct subsys_private *sp = bus_to_subsys(bus);
 447         struct klist_iter i;
 448         struct device_driver *drv;
 449         int error = 0;
 450
 451         if (!sp)
 452                 return -EINVAL;
 453
 454         klist_iter_init_node(&sp->klist_drivers, &i,
 455                              start ? &start->p->knode_bus : NULL);
 456         while ((drv = next_driver(&i)) && !error)
 457                 error = fn(drv, data);
 458         klist_iter_exit(&i);
 459         subsys_put(sp);
 460         return error;
 461 }
 462 EXPORT_SYMBOL_GPL(bus_for_each_drv);
 463
 464 /**
 465  * bus_add_device - add device to bus
 466  * @dev: device being added
 467  *
 468  * - Add device's bus attributes.
 469  * - Create links to device's bus.
 470  * - Add the device to its bus's list of devices.
 471  */
 472 int bus_add_device(struct device *dev)
 473 {
 474         struct subsys_private *sp = bus_to_subsys(dev->bus);
 475         int error;
 476
 477         if (!sp) {
 478                 /*
 479                  * This is a normal operation for many devices that do not
 480                  * have a bus assigned to them, just say that all went
 481                  * well.
 482                  */
 483                 return 0;
 484         }
 485
 486         /*
 487          * Reference in sp is now incremented and will be dropped when
 488          * the device is removed from the bus
 489          */
 490
 491         pr_debug("bus: '%s': add device %s\n", sp->bus->name, dev_name(dev));
 492
 493         error = device_add_groups(dev, sp->bus->dev_groups);
 494         if (error)
 495                 goto out_put;
 496
 497         error = sysfs_create_link(&sp->devices_kset->kobj, &dev->kobj, dev_name(dev));
 498         if (error)
 499                 goto out_groups;
 500
 501         error = sysfs_create_link(&dev->kobj, &sp->subsys.kobj, "subsystem");
 502         if (error)
 503                 goto out_subsys;
 504
 505         klist_add_tail(&dev->p->knode_bus, &sp->klist_devices);
 506         return 0;
 507
 508 out_subsys:
 509         sysfs_remove_link(&sp->devices_kset->kobj, dev_name(dev));
 510 out_groups:
 511         device_remove_groups(dev, sp->bus->dev_groups);
 512 out_put:
 513         subsys_put(sp);
 514         return error;
 515 }
 516
 517 /**
 518  * bus_probe_device - probe drivers for a new device
 519  * @dev: device to probe
 520  *
 521  * - Automatically probe for a driver if the bus allows it.
 522  */
 523 void bus_probe_device(struct device *dev)
 524 {
 525         struct subsys_private *sp = bus_to_subsys(dev->bus);
 526         struct subsys_interface *sif;
 527
 528         if (!sp)
 529                 return;
 530
 531         if (sp->drivers_autoprobe)
 532                 device_initial_probe(dev);
 533
 534         mutex_lock(&sp->mutex);
 535         list_for_each_entry(sif, &sp->interfaces, node)
 536                 if (sif->add_dev)
 537                         sif->add_dev(dev, sif);
 538         mutex_unlock(&sp->mutex);
 539         subsys_put(sp);
 540 }
 541
 542 /**
 543  * bus_remove_device - remove device from bus
 544  * @dev: device to be removed
 545  *
 546  * - Remove device from all interfaces.
 547  * - Remove symlink from bus' directory.
 548  * - Delete device from bus's list.
 549  * - Detach from its driver.
 550  * - Drop reference taken in bus_add_device().
 551  */
 552 void bus_remove_device(struct device *dev)
 553 {
 554         struct subsys_private *sp = bus_to_subsys(dev->bus);
 555         struct subsys_interface *sif;
 556
 557         if (!sp)
 558                 return;
 559
 560         mutex_lock(&sp->mutex);
 561         list_for_each_entry(sif, &sp->interfaces, node)
 562                 if (sif->remove_dev)
 563                         sif->remove_dev(dev, sif);
 564         mutex_unlock(&sp->mutex);
 565
 566         sysfs_remove_link(&dev->kobj, "subsystem");
 567         sysfs_remove_link(&sp->devices_kset->kobj, dev_name(dev));
 568         device_remove_groups(dev, dev->bus->dev_groups);
 569         if (klist_node_attached(&dev->p->knode_bus))
 570                 klist_del(&dev->p->knode_bus);
 571
 572         pr_debug("bus: '%s': remove device %s\n",
 573                  dev->bus->name, dev_name(dev));
 574         device_release_driver(dev);
 575
 576         /*
 577          * Decrement the reference count twice, once for the bus_to_subsys()
 578          * call in the start of this function, and the second one from the
 579          * reference increment in bus_add_device()
 580          */
 581         subsys_put(sp);
 582         subsys_put(sp);
 583 }
 584
 585 static int __must_check add_bind_files(struct device_driver *drv)
 586 {
 587         int ret;
 588
 589         ret = driver_create_file(drv, &driver_attr_unbind);
 590         if (ret == 0) {
 591                 ret = driver_create_file(drv, &driver_attr_bind);
 592                 if (ret)
 593                         driver_remove_file(drv, &driver_attr_unbind);
 594         }
 595         return ret;
 596 }
 597
 598 static void remove_bind_files(struct device_driver *drv)
 599 {
 600         driver_remove_file(drv, &driver_attr_bind);
 601         driver_remove_file(drv, &driver_attr_unbind);
 602 }
 603
 604 static BUS_ATTR_WO(drivers_probe);
 605 static BUS_ATTR_RW(drivers_autoprobe);
 606
 607 static int add_probe_files(const struct bus_type *bus)
 608 {
 609         int retval;
 610
 611         retval = bus_create_file(bus, &bus_attr_drivers_probe);
 612         if (retval)
 613                 goto out;
 614
 615         retval = bus_create_file(bus, &bus_attr_drivers_autoprobe);
 616         if (retval)
 617                 bus_remove_file(bus, &bus_attr_drivers_probe);
 618 out:
 619         return retval;
 620 }
 621
 622 static void remove_probe_files(const struct bus_type *bus)
 623 {
 624         bus_remove_file(bus, &bus_attr_drivers_autoprobe);
 625         bus_remove_file(bus, &bus_attr_drivers_probe);
 626 }
 627
 628 static ssize_t uevent_store(struct device_driver *drv, const char *buf,
 629                             size_t count)
 630 {
 631         int rc;
 632
 633         rc = kobject_synth_uevent(&drv->p->kobj, buf, count);
 634         return rc ? rc : count;
 635 }
 636 static DRIVER_ATTR_WO(uevent);
 637
 638 /**
 639  * bus_add_driver - Add a driver to the bus.
 640  * @drv: driver.
 641  */
 642 int bus_add_driver(struct device_driver *drv)
 643 {
 644         struct subsys_private *sp = bus_to_subsys(drv->bus);
 645         struct driver_private *priv;
 646         int error = 0;
 647
 648         if (!sp)
 649                 return -EINVAL;
 650
 651         /*
 652          * Reference in sp is now incremented and will be dropped when
 653          * the driver is removed from the bus
 654          */
 655         pr_debug("bus: '%s': add driver %s\n", sp->bus->name, drv->name);
 656
 657         priv = kzalloc(sizeof(*priv), GFP_KERNEL);
 658         if (!priv) {
 659                 error = -ENOMEM;
 660                 goto out_put_bus;
 661         }
 662         klist_init(&priv->klist_devices, NULL, NULL);
 663         priv->driver = drv;
 664         drv->p = priv;
 665         priv->kobj.kset = sp->drivers_kset;
 666         error = kobject_init_and_add(&priv->kobj, &driver_ktype, NULL,
 667                                      "%s", drv->name);
 668         if (error)
 669                 goto out_unregister;
 670
 671         klist_add_tail(&priv->knode_bus, &sp->klist_drivers);
 672         if (sp->drivers_autoprobe) {
 673                 error = driver_attach(drv);
 674                 if (error)
 675                         goto out_del_list;
 676         }
 677         error = module_add_driver(drv->owner, drv);
 678         if (error) {
 679                 printk(KERN_ERR "%s: failed to create module links for %s\n",
 680                         __func__, drv->name);
 681                 goto out_detach;
 682         }
 683
 684         error = driver_create_file(drv, &driver_attr_uevent);
 685         if (error) {
 686                 printk(KERN_ERR "%s: uevent attr (%s) failed\n",
 687                         __func__, drv->name);
 688         }
 689         error = driver_add_groups(drv, sp->bus->drv_groups);
 690         if (error) {
 691                 /* How the hell do we get out of this pickle? Give up */
 692                 printk(KERN_ERR "%s: driver_add_groups(%s) failed\n",
 693                         __func__, drv->name);
 694         }
 695
 696         if (!drv->suppress_bind_attrs) {
 697                 error = add_bind_files(drv);
 698                 if (error) {
 699                         /* Ditto */
 700                         printk(KERN_ERR "%s: add_bind_files(%s) failed\n",
 701                                 __func__, drv->name);
 702                 }
 703         }
 704
 705         return 0;
 706
 707 out_detach:
 708         driver_detach(drv);
 709 out_del_list:
 710         klist_del(&priv->knode_bus);
 711 out_unregister:
 712         kobject_put(&priv->kobj);
 713         /* drv->p is freed in driver_release()  */
 714         drv->p = NULL;
 715 out_put_bus:
 716         subsys_put(sp);
 717         return error;
 718 }
 719
 720 /**
 721  * bus_remove_driver - delete driver from bus's knowledge.
 722  * @drv: driver.
 723  *
 724  * Detach the driver from the devices it controls, and remove
 725  * it from its bus's list of drivers. Finally, we drop the reference
 726  * to the bus we took in bus_add_driver().
 727  */
 728 void bus_remove_driver(struct device_driver *drv)
 729 {
 730         struct subsys_private *sp = bus_to_subsys(drv->bus);
 731
 732         if (!sp)
 733                 return;
 734
 735         pr_debug("bus: '%s': remove driver %s\n", sp->bus->name, drv->name);
 736
 737         if (!drv->suppress_bind_attrs)
 738                 remove_bind_files(drv);
 739         driver_remove_groups(drv, sp->bus->drv_groups);
 740         driver_remove_file(drv, &driver_attr_uevent);
 741         klist_remove(&drv->p->knode_bus);
 742         driver_detach(drv);
 743         module_remove_driver(drv);
 744         kobject_put(&drv->p->kobj);
 745
 746         /*
 747          * Decrement the reference count twice, once for the bus_to_subsys()
 748          * call in the start of this function, and the second one from the
 749          * reference increment in bus_add_driver()
 750          */
 751         subsys_put(sp);
 752         subsys_put(sp);
 753 }
 754
 755 /* Helper for bus_rescan_devices's iter */
 756 static int __must_check bus_rescan_devices_helper(struct device *dev,
 757                                                   void *data)
 758 {
 759         int ret = 0;
 760
 761         if (!dev->driver) {
 762                 if (dev->parent && dev->bus->need_parent_lock)
 763                         device_lock(dev->parent);
 764                 ret = device_attach(dev);
 765                 if (dev->parent && dev->bus->need_parent_lock)
 766                         device_unlock(dev->parent);
 767         }
 768         return ret < 0 ? ret : 0;
 769 }
 770
 771 /**
 772  * bus_rescan_devices - rescan devices on the bus for possible drivers
 773  * @bus: the bus to scan.
 774  *
 775  * This function will look for devices on the bus with no driver
 776  * attached and rescan it against existing drivers to see if it matches
 777  * any by calling device_attach() for the unbound devices.
 778  */
 779 int bus_rescan_devices(const struct bus_type *bus)
 780 {
 781         return bus_for_each_dev(bus, NULL, NULL, bus_rescan_devices_helper);
 782 }
 783 EXPORT_SYMBOL_GPL(bus_rescan_devices);
 784
 785 /**
 786  * device_reprobe - remove driver for a device and probe for a new driver
 787  * @dev: the device to reprobe
 788  *
 789  * This function detaches the attached driver (if any) for the given
 790  * device and restarts the driver probing process.  It is intended
 791  * to use if probing criteria changed during a devices lifetime and
 792  * driver attachment should change accordingly.
 793  */
 794 int device_reprobe(struct device *dev)
 795 {
 796         if (dev->driver)
 797                 device_driver_detach(dev);
 798         return bus_rescan_devices_helper(dev, NULL);
 799 }
 800 EXPORT_SYMBOL_GPL(device_reprobe);
 801
 802 static void klist_devices_get(struct klist_node *n)
 803 {
 804         struct device_private *dev_prv = to_device_private_bus(n);
 805         struct device *dev = dev_prv->device;
 806
 807         get_device(dev);
 808 }
 809
 810 static void klist_devices_put(struct klist_node *n)
 811 {
 812         struct device_private *dev_prv = to_device_private_bus(n);
 813         struct device *dev = dev_prv->device;
 814
 815         put_device(dev);
 816 }
 817
 818 static ssize_t bus_uevent_store(const struct bus_type *bus,
 819                                 const char *buf, size_t count)
 820 {
 821         struct subsys_private *sp = bus_to_subsys(bus);
 822         int ret;
 823
 824         if (!sp)
 825                 return -EINVAL;
 826
 827         ret = kobject_synth_uevent(&sp->subsys.kobj, buf, count);
 828         subsys_put(sp);
 829
 830         if (ret)
 831                 return ret;
 832         return count;
 833 }
 834 /*
 835  * "open code" the old BUS_ATTR() macro here.  We want to use BUS_ATTR_WO()
 836  * here, but can not use it as earlier in the file we have
 837  * DEVICE_ATTR_WO(uevent), which would cause a clash with the with the store
 838  * function name.
 839  */
 840 static struct bus_attribute bus_attr_uevent = __ATTR(uevent, 0200, NULL,
 841                                                      bus_uevent_store);
 842
 843 /**
 844  * bus_register - register a driver-core subsystem
 845  * @bus: bus to register
 846  *
 847  * Once we have that, we register the bus with the kobject
 848  * infrastructure, then register the children subsystems it has:
 849  * the devices and drivers that belong to the subsystem.
 850  */
 851 int bus_register(const struct bus_type *bus)
 852 {
 853         int retval;
 854         struct subsys_private *priv;
 855         struct kobject *bus_kobj;
 856         struct lock_class_key *key;
 857
 858         priv = kzalloc(sizeof(struct subsys_private), GFP_KERNEL);
 859         if (!priv)
 860                 return -ENOMEM;
 861
 862         priv->bus = bus;
 863
 864         BLOCKING_INIT_NOTIFIER_HEAD(&priv->bus_notifier);
 865
 866         bus_kobj = &priv->subsys.kobj;
 867         retval = kobject_set_name(bus_kobj, "%s", bus->name);
 868         if (retval)
 869                 goto out;
 870
 871         bus_kobj->kset = bus_kset;
 872         bus_kobj->ktype = &bus_ktype;
 873         priv->drivers_autoprobe = 1;
 874
 875         retval = kset_register(&priv->subsys);
 876         if (retval)
 877                 goto out;
 878
 879         retval = bus_create_file(bus, &bus_attr_uevent);
 880         if (retval)
 881                 goto bus_uevent_fail;
 882
 883         priv->devices_kset = kset_create_and_add("devices", NULL, bus_kobj);
 884         if (!priv->devices_kset) {
 885                 retval = -ENOMEM;
 886                 goto bus_devices_fail;
 887         }
 888
 889         priv->drivers_kset = kset_create_and_add("drivers", NULL, bus_kobj);
 890         if (!priv->drivers_kset) {
 891                 retval = -ENOMEM;
 892                 goto bus_drivers_fail;
 893         }
 894
 895         INIT_LIST_HEAD(&priv->interfaces);
 896         key = &priv->lock_key;
 897         lockdep_register_key(key);
 898         __mutex_init(&priv->mutex, "subsys mutex", key);
 899         klist_init(&priv->klist_devices, klist_devices_get, klist_devices_put);
 900         klist_init(&priv->klist_drivers, NULL, NULL);
 901
 902         retval = add_probe_files(bus);
 903         if (retval)
 904                 goto bus_probe_files_fail;
 905
 906         retval = sysfs_create_groups(bus_kobj, bus->bus_groups);
 907         if (retval)
 908                 goto bus_groups_fail;
 909
 910         pr_debug("bus: '%s': registered\n", bus->name);
 911         return 0;
 912
 913 bus_groups_fail:
 914         remove_probe_files(bus);
 915 bus_probe_files_fail:
 916         kset_unregister(priv->drivers_kset);
 917 bus_drivers_fail:
 918         kset_unregister(priv->devices_kset);
 919 bus_devices_fail:
 920         bus_remove_file(bus, &bus_attr_uevent);
 921 bus_uevent_fail:
 922         kset_unregister(&priv->subsys);
 923 out:
 924         kfree(priv);
 925         return retval;
 926 }
 927 EXPORT_SYMBOL_GPL(bus_register);
 928
 929 /**
 930  * bus_unregister - remove a bus from the system
 931  * @bus: bus.
 932  *
 933  * Unregister the child subsystems and the bus itself.
 934  * Finally, we call bus_put() to release the refcount
 935  */
 936 void bus_unregister(const struct bus_type *bus)
 937 {
 938         struct subsys_private *sp = bus_to_subsys(bus);
 939         struct kobject *bus_kobj;
 940
 941         if (!sp)
 942                 return;
 943
 944         pr_debug("bus: '%s': unregistering\n", bus->name);
 945         if (sp->dev_root)
 946                 device_unregister(sp->dev_root);
 947
 948         bus_kobj = &sp->subsys.kobj;
 949         sysfs_remove_groups(bus_kobj, bus->bus_groups);
 950         remove_probe_files(bus);
 951         bus_remove_file(bus, &bus_attr_uevent);
 952
 953         kset_unregister(sp->drivers_kset);
 954         kset_unregister(sp->devices_kset);
 955         kset_unregister(&sp->subsys);
 956         subsys_put(sp);
 957 }
 958 EXPORT_SYMBOL_GPL(bus_unregister);
 959
 960 int bus_register_notifier(const struct bus_type *bus, struct notifier_block *nb)
 961 {
 962         struct subsys_private *sp = bus_to_subsys(bus);
 963         int retval;
 964
 965         if (!sp)
 966                 return -EINVAL;
 967
 968         retval = blocking_notifier_chain_register(&sp->bus_notifier, nb);
 969         subsys_put(sp);
 970         return retval;
 971 }
 972 EXPORT_SYMBOL_GPL(bus_register_notifier);
 973
 974 int bus_unregister_notifier(const struct bus_type *bus, struct notifier_block *nb)
 975 {
 976         struct subsys_private *sp = bus_to_subsys(bus);
 977         int retval;
 978
 979         if (!sp)
 980                 return -EINVAL;
 981         retval = blocking_notifier_chain_unregister(&sp->bus_notifier, nb);
 982         subsys_put(sp);
 983         return retval;
 984 }
 985 EXPORT_SYMBOL_GPL(bus_unregister_notifier);
 986
 987 void bus_notify(struct device *dev, enum bus_notifier_event value)
 988 {
 989         struct subsys_private *sp = bus_to_subsys(dev->bus);
 990
 991         if (!sp)
 992                 return;
 993
 994         blocking_notifier_call_chain(&sp->bus_notifier, value, dev);
 995         subsys_put(sp);
 996 }
 997
 998 struct kset *bus_get_kset(const struct bus_type *bus)
 999 {
1000         struct subsys_private *sp = bus_to_subsys(bus);
1001         struct kset *kset;
1002
1003         if (!sp)
1004                 return NULL;
1005
1006         kset = &sp->subsys;
1007         subsys_put(sp);
1008
1009         return kset;
1010 }
1011 EXPORT_SYMBOL_GPL(bus_get_kset);
1012
1013 /*
1014  * Yes, this forcibly breaks the klist abstraction temporarily.  It
1015  * just wants to sort the klist, not change reference counts and
1016  * take/drop locks rapidly in the process.  It does all this while
1017  * holding the lock for the list, so objects can't otherwise be
1018  * added/removed while we're swizzling.
1019  */
1020 static void device_insertion_sort_klist(struct device *a, struct list_head *list,
1021                                         int (*compare)(const struct device *a,
1022                                                         const struct device *b))
1023 {
1024         struct klist_node *n;
1025         struct device_private *dev_prv;
1026         struct device *b;
1027
1028         list_for_each_entry(n, list, n_node) {
1029                 dev_prv = to_device_private_bus(n);
1030                 b = dev_prv->device;
1031                 if (compare(a, b) <= 0) {
1032                         list_move_tail(&a->p->knode_bus.n_node,
1033                                        &b->p->knode_bus.n_node);
1034                         return;
1035                 }
1036         }
1037         list_move_tail(&a->p->knode_bus.n_node, list);
1038 }
1039
1040 void bus_sort_breadthfirst(const struct bus_type *bus,
1041                            int (*compare)(const struct device *a,
1042                                           const struct device *b))
1043 {
1044         struct subsys_private *sp = bus_to_subsys(bus);
1045         LIST_HEAD(sorted_devices);
1046         struct klist_node *n, *tmp;
1047         struct device_private *dev_prv;
1048         struct device *dev;
1049         struct klist *device_klist;
1050
1051         if (!sp)
1052                 return;
1053         device_klist = &sp->klist_devices;
1054
1055         spin_lock(&device_klist->k_lock);
1056         list_for_each_entry_safe(n, tmp, &device_klist->k_list, n_node) {
1057                 dev_prv = to_device_private_bus(n);
1058                 dev = dev_prv->device;
1059                 device_insertion_sort_klist(dev, &sorted_devices, compare);
1060         }
1061         list_splice(&sorted_devices, &device_klist->k_list);
1062         spin_unlock(&device_klist->k_lock);
1063         subsys_put(sp);
1064 }
1065 EXPORT_SYMBOL_GPL(bus_sort_breadthfirst);
1066
1067 struct subsys_dev_iter {
1068         struct klist_iter               ki;
1069         const struct device_type        *type;
1070 };
1071
1072 /**
1073  * subsys_dev_iter_init - initialize subsys device iterator
1074  * @iter: subsys iterator to initialize
1075  * @sp: the subsys private (i.e. bus) we wanna iterate over
1076  * @start: the device to start iterating from, if any
1077  * @type: device_type of the devices to iterate over, NULL for all
1078  *
1079  * Initialize subsys iterator @iter such that it iterates over devices
1080  * of @subsys.  If @start is set, the list iteration will start there,
1081  * otherwise if it is NULL, the iteration starts at the beginning of
1082  * the list.
1083  */
1084 static void subsys_dev_iter_init(struct subsys_dev_iter *iter, struct subsys_private *sp,
1085                                  struct device *start, const struct device_type *type)
1086 {
1087         struct klist_node *start_knode = NULL;
1088
1089         if (start)
1090                 start_knode = &start->p->knode_bus;
1091         klist_iter_init_node(&sp->klist_devices, &iter->ki, start_knode);
1092         iter->type = type;
1093 }
1094
1095 /**
1096  * subsys_dev_iter_next - iterate to the next device
1097  * @iter: subsys iterator to proceed
1098  *
1099  * Proceed @iter to the next device and return it.  Returns NULL if
1100  * iteration is complete.
1101  *
1102  * The returned device is referenced and won't be released till
1103  * iterator is proceed to the next device or exited.  The caller is
1104  * free to do whatever it wants to do with the device including
1105  * calling back into subsys code.
1106  */
1107 static struct device *subsys_dev_iter_next(struct subsys_dev_iter *iter)
1108 {
1109         struct klist_node *knode;
1110         struct device *dev;
1111
1112         for (;;) {
1113                 knode = klist_next(&iter->ki);
1114                 if (!knode)
1115                         return NULL;
1116                 dev = to_device_private_bus(knode)->device;
1117                 if (!iter->type || iter->type == dev->type)
1118                         return dev;
1119         }
1120 }
1121
1122 /**
1123  * subsys_dev_iter_exit - finish iteration
1124  * @iter: subsys iterator to finish
1125  *
1126  * Finish an iteration.  Always call this function after iteration is
1127  * complete whether the iteration ran till the end or not.
1128  */
1129 static void subsys_dev_iter_exit(struct subsys_dev_iter *iter)
1130 {
1131         klist_iter_exit(&iter->ki);
1132 }
1133
1134 int subsys_interface_register(struct subsys_interface *sif)
1135 {
1136         struct subsys_private *sp;
1137         struct subsys_dev_iter iter;
1138         struct device *dev;
1139
1140         if (!sif || !sif->subsys)
1141                 return -ENODEV;
1142
1143         sp = bus_to_subsys(sif->subsys);
1144         if (!sp)
1145                 return -EINVAL;
1146
1147         /*
1148          * Reference in sp is now incremented and will be dropped when
1149          * the interface is removed from the bus
1150          */
1151
1152         mutex_lock(&sp->mutex);
1153         list_add_tail(&sif->node, &sp->interfaces);
1154         if (sif->add_dev) {
1155                 subsys_dev_iter_init(&iter, sp, NULL, NULL);
1156                 while ((dev = subsys_dev_iter_next(&iter)))
1157                         sif->add_dev(dev, sif);
1158                 subsys_dev_iter_exit(&iter);
1159         }
1160         mutex_unlock(&sp->mutex);
1161
1162         return 0;
1163 }
1164 EXPORT_SYMBOL_GPL(subsys_interface_register);
1165
1166 void subsys_interface_unregister(struct subsys_interface *sif)
1167 {
1168         struct subsys_private *sp;
1169         struct subsys_dev_iter iter;
1170         struct device *dev;
1171
1172         if (!sif || !sif->subsys)
1173                 return;
1174
1175         sp = bus_to_subsys(sif->subsys);
1176         if (!sp)
1177                 return;
1178
1179         mutex_lock(&sp->mutex);
1180         list_del_init(&sif->node);
1181         if (sif->remove_dev) {
1182                 subsys_dev_iter_init(&iter, sp, NULL, NULL);
1183                 while ((dev = subsys_dev_iter_next(&iter)))
1184                         sif->remove_dev(dev, sif);
1185                 subsys_dev_iter_exit(&iter);
1186         }
1187         mutex_unlock(&sp->mutex);
1188
1189         /*
1190          * Decrement the reference count twice, once for the bus_to_subsys()
1191          * call in the start of this function, and the second one from the
1192          * reference increment in subsys_interface_register()
1193          */
1194         subsys_put(sp);
1195         subsys_put(sp);
1196 }
1197 EXPORT_SYMBOL_GPL(subsys_interface_unregister);
1198
1199 static void system_root_device_release(struct device *dev)
1200 {
1201         kfree(dev);
1202 }
1203
1204 static int subsys_register(const struct bus_type *subsys,
1205                            const struct attribute_group **groups,
1206                            struct kobject *parent_of_root)
1207 {
1208         struct subsys_private *sp;
1209         struct device *dev;
1210         int err;
1211
1212         err = bus_register(subsys);
1213         if (err < 0)
1214                 return err;
1215
1216         sp = bus_to_subsys(subsys);
1217         if (!sp) {
1218                 err = -EINVAL;
1219                 goto err_sp;
1220         }
1221
1222         dev = kzalloc(sizeof(struct device), GFP_KERNEL);
1223         if (!dev) {
1224                 err = -ENOMEM;
1225                 goto err_dev;
1226         }
1227
1228         err = dev_set_name(dev, "%s", subsys->name);
1229         if (err < 0)
1230                 goto err_name;
1231
1232         dev->kobj.parent = parent_of_root;
1233         dev->groups = groups;
1234         dev->release = system_root_device_release;
1235
1236         err = device_register(dev);
1237         if (err < 0)
1238                 goto err_dev_reg;
1239
1240         sp->dev_root = dev;
1241         subsys_put(sp);
1242         return 0;
1243
1244 err_dev_reg:
1245         put_device(dev);
1246         dev = NULL;
1247 err_name:
1248         kfree(dev);
1249 err_dev:
1250         subsys_put(sp);
1251 err_sp:
1252         bus_unregister(subsys);
1253         return err;
1254 }
1255
1256 /**
1257  * subsys_system_register - register a subsystem at /sys/devices/system/
1258  * @subsys: system subsystem
1259  * @groups: default attributes for the root device
1260  *
1261  * All 'system' subsystems have a /sys/devices/system/<name> root device
1262  * with the name of the subsystem. The root device can carry subsystem-
1263  * wide attributes. All registered devices are below this single root
1264  * device and are named after the subsystem with a simple enumeration
1265  * number appended. The registered devices are not explicitly named;
1266  * only 'id' in the device needs to be set.
1267  *
1268  * Do not use this interface for anything new, it exists for compatibility
1269  * with bad ideas only. New subsystems should use plain subsystems; and
1270  * add the subsystem-wide attributes should be added to the subsystem
1271  * directory itself and not some create fake root-device placed in
1272  * /sys/devices/system/<name>.
1273  */
1274 int subsys_system_register(const struct bus_type *subsys,
1275                            const struct attribute_group **groups)
1276 {
1277         return subsys_register(subsys, groups, &system_kset->kobj);
1278 }
1279 EXPORT_SYMBOL_GPL(subsys_system_register);
1280
1281 /**
1282  * subsys_virtual_register - register a subsystem at /sys/devices/virtual/
1283  * @subsys: virtual subsystem
1284  * @groups: default attributes for the root device
1285  *
1286  * All 'virtual' subsystems have a /sys/devices/system/<name> root device
1287  * with the name of the subystem.  The root device can carry subsystem-wide
1288  * attributes.  All registered devices are below this single root device.
1289  * There's no restriction on device naming.  This is for kernel software
1290  * constructs which need sysfs interface.
1291  */
1292 int subsys_virtual_register(const struct bus_type *subsys,
1293                             const struct attribute_group **groups)
1294 {
1295         struct kobject *virtual_dir;
1296
1297         virtual_dir = virtual_device_parent(NULL);
1298         if (!virtual_dir)
1299                 return -ENOMEM;
1300
1301         return subsys_register(subsys, groups, virtual_dir);
1302 }
1303 EXPORT_SYMBOL_GPL(subsys_virtual_register);
1304
1305 /**
1306  * driver_find - locate driver on a bus by its name.
1307  * @name: name of the driver.
1308  * @bus: bus to scan for the driver.
1309  *
1310  * Call kset_find_obj() to iterate over list of drivers on
1311  * a bus to find driver by name. Return driver if found.
1312  *
1313  * This routine provides no locking to prevent the driver it returns
1314  * from being unregistered or unloaded while the caller is using it.
1315  * The caller is responsible for preventing this.
1316  */
1317 struct device_driver *driver_find(const char *name, const struct bus_type *bus)
1318 {
1319         struct subsys_private *sp = bus_to_subsys(bus);
1320         struct kobject *k;
1321         struct driver_private *priv;
1322
1323         if (!sp)
1324                 return NULL;
1325
1326         k = kset_find_obj(sp->drivers_kset, name);
1327         subsys_put(sp);
1328         if (!k)
1329                 return NULL;
1330
1331         priv = to_driver(k);
1332
1333         /* Drop reference added by kset_find_obj() */
1334         kobject_put(k);
1335         return priv->driver;
1336 }
1337 EXPORT_SYMBOL_GPL(driver_find);
1338
1339 /*
1340  * Warning, the value could go to "removed" instantly after calling this function, so be very
1341  * careful when calling it...
1342  */
1343 bool bus_is_registered(const struct bus_type *bus)
1344 {
1345         struct subsys_private *sp = bus_to_subsys(bus);
1346         bool is_initialized = false;
1347
1348         if (sp) {
1349                 is_initialized = true;
1350                 subsys_put(sp);
1351         }
1352         return is_initialized;
1353 }
1354
1355 /**
1356  * bus_get_dev_root - return a pointer to the "device root" of a bus
1357  * @bus: bus to return the device root of.
1358  *
1359  * If a bus has a "device root" structure, return it, WITH THE REFERENCE
1360  * COUNT INCREMENTED.
1361  *
1362  * Note, when finished with the device, a call to put_device() is required.
1363  *
1364  * If the device root is not present (or bus is not a valid pointer), NULL
1365  * will be returned.
1366  */
1367 struct device *bus_get_dev_root(const struct bus_type *bus)
1368 {
1369         struct subsys_private *sp = bus_to_subsys(bus);
1370         struct device *dev_root;
1371
1372         if (!sp)
1373                 return NULL;
1374
1375         dev_root = get_device(sp->dev_root);
1376         subsys_put(sp);
1377         return dev_root;
1378 }
1379 EXPORT_SYMBOL_GPL(bus_get_dev_root);
1380
1381 int __init buses_init(void)
1382 {
1383         bus_kset = kset_create_and_add("bus", &bus_uevent_ops, NULL);
1384         if (!bus_kset)
1385                 return -ENOMEM;
1386
1387         system_kset = kset_create_and_add("system", NULL, &devices_kset->kobj);
1388         if (!system_kset)
1389                 return -ENOMEM;
1390
1391         return 0;
1392 }