drivers/mailbox/mailbox.c

   1 /*
   2  * Mailbox: Common code for Mailbox controllers and users
   3  *
   4  * Copyright (C) 2013-2014 Linaro Ltd.
   5  * Author: Jassi Brar <[email protected]>
   6  *
   7  * This program is free software; you can redistribute it and/or modify
   8  * it under the terms of the GNU General Public License version 2 as
   9  * published by the Free Software Foundation.
  10  */
  11
  12 #include <linux/interrupt.h>
  13 #include <linux/spinlock.h>
  14 #include <linux/mutex.h>
  15 #include <linux/delay.h>
  16 #include <linux/slab.h>
  17 #include <linux/err.h>
  18 #include <linux/module.h>
  19 #include <linux/device.h>
  20 #include <linux/bitops.h>
  21 #include <linux/mailbox_client.h>
  22 #include <linux/mailbox_controller.h>
  23
  24 #include "mailbox.h"
  25
  26 static LIST_HEAD(mbox_cons);
  27 static DEFINE_MUTEX(con_mutex);
  28
  29 static int add_to_rbuf(struct mbox_chan *chan, void *mssg)
  30 {
  31         int idx;
  32         unsigned long flags;
  33
  34         spin_lock_irqsave(&chan->lock, flags);
  35
  36         /* See if there is any space left */
  37         if (chan->msg_count == MBOX_TX_QUEUE_LEN) {
  38                 spin_unlock_irqrestore(&chan->lock, flags);
  39                 return -ENOBUFS;
  40         }
  41
  42         idx = chan->msg_free;
  43         chan->msg_data[idx] = mssg;
  44         chan->msg_count++;
  45
  46         if (idx == MBOX_TX_QUEUE_LEN - 1)
  47                 chan->msg_free = 0;
  48         else
  49                 chan->msg_free++;
  50
  51         spin_unlock_irqrestore(&chan->lock, flags);
  52
  53         return idx;
  54 }
  55
  56 static void msg_submit(struct mbox_chan *chan)
  57 {
  58         unsigned count, idx;
  59         unsigned long flags;
  60         void *data;
  61         int err = -EBUSY;
  62
  63         spin_lock_irqsave(&chan->lock, flags);
  64
  65         if (!chan->msg_count || chan->active_req)
  66                 goto exit;
  67
  68         count = chan->msg_count;
  69         idx = chan->msg_free;
  70         if (idx >= count)
  71                 idx -= count;
  72         else
  73                 idx += MBOX_TX_QUEUE_LEN - count;
  74
  75         data = chan->msg_data[idx];
  76
  77         if (chan->cl->tx_prepare)
  78                 chan->cl->tx_prepare(chan->cl, data);
  79         /* Try to submit a message to the MBOX controller */
  80         err = chan->mbox->ops->send_data(chan, data);
  81         if (!err) {
  82                 chan->active_req = data;
  83                 chan->msg_count--;
  84         }
  85 exit:
  86         spin_unlock_irqrestore(&chan->lock, flags);
  87
  88         if (!err && (chan->txdone_method & TXDONE_BY_POLL))
  89                 /* kick start the timer immediately to avoid delays */
  90                 hrtimer_start(&chan->mbox->poll_hrt, 0, HRTIMER_MODE_REL);
  91 }
  92
  93 static void tx_tick(struct mbox_chan *chan, int r)
  94 {
  95         unsigned long flags;
  96         void *mssg;
  97
  98         spin_lock_irqsave(&chan->lock, flags);
  99         mssg = chan->active_req;
 100         chan->active_req = NULL;
 101         spin_unlock_irqrestore(&chan->lock, flags);
 102
 103         /* Submit next message */
 104         msg_submit(chan);
 105
 106         if (!mssg)
 107                 return;
 108
 109         /* Notify the client */
 110         if (chan->cl->tx_done)
 111                 chan->cl->tx_done(chan->cl, mssg, r);
 112
 113         if (r != -ETIME && chan->cl->tx_block)
 114                 complete(&chan->tx_complete);
 115 }
 116
 117 static enum hrtimer_restart txdone_hrtimer(struct hrtimer *hrtimer)
 118 {
 119         struct mbox_controller *mbox =
 120                 container_of(hrtimer, struct mbox_controller, poll_hrt);
 121         bool txdone, resched = false;
 122         int i;
 123
 124         for (i = 0; i < mbox->num_chans; i++) {
 125                 struct mbox_chan *chan = &mbox->chans[i];
 126
 127                 if (chan->active_req && chan->cl) {
 128                         txdone = chan->mbox->ops->last_tx_done(chan);
 129                         if (txdone)
 130                                 tx_tick(chan, 0);
 131                         else
 132                                 resched = true;
 133                 }
 134         }
 135
 136         if (resched) {
 137                 hrtimer_forward_now(hrtimer, ms_to_ktime(mbox->txpoll_period));
 138                 return HRTIMER_RESTART;
 139         }
 140         return HRTIMER_NORESTART;
 141 }
 142
 143 /**
 144  * mbox_chan_received_data - A way for controller driver to push data
 145  *                              received from remote to the upper layer.
 146  * @chan: Pointer to the mailbox channel on which RX happened.
 147  * @mssg: Client specific message typecasted as void *
 148  *
 149  * After startup and before shutdown any data received on the chan
 150  * is passed on to the API via atomic mbox_chan_received_data().
 151  * The controller should ACK the RX only after this call returns.
 152  */
 153 void mbox_chan_received_data(struct mbox_chan *chan, void *mssg)
 154 {
 155         /* No buffering the received data */
 156         if (chan->cl->rx_callback)
 157                 chan->cl->rx_callback(chan->cl, mssg);
 158 }
 159 EXPORT_SYMBOL_GPL(mbox_chan_received_data);
 160
 161 /**
 162  * mbox_chan_txdone - A way for controller driver to notify the
 163  *                      framework that the last TX has completed.
 164  * @chan: Pointer to the mailbox chan on which TX happened.
 165  * @r: Status of last TX - OK or ERROR
 166  *
 167  * The controller that has IRQ for TX ACK calls this atomic API
 168  * to tick the TX state machine. It works only if txdone_irq
 169  * is set by the controller.
 170  */
 171 void mbox_chan_txdone(struct mbox_chan *chan, int r)
 172 {
 173         if (unlikely(!(chan->txdone_method & TXDONE_BY_IRQ))) {
 174                 dev_err(chan->mbox->dev,
 175                        "Controller can't run the TX ticker\n");
 176                 return;
 177         }
 178
 179         tx_tick(chan, r);
 180 }
 181 EXPORT_SYMBOL_GPL(mbox_chan_txdone);
 182
 183 /**
 184  * mbox_client_txdone - The way for a client to run the TX state machine.
 185  * @chan: Mailbox channel assigned to this client.
 186  * @r: Success status of last transmission.
 187  *
 188  * The client/protocol had received some 'ACK' packet and it notifies
 189  * the API that the last packet was sent successfully. This only works
 190  * if the controller can't sense TX-Done.
 191  */
 192 void mbox_client_txdone(struct mbox_chan *chan, int r)
 193 {
 194         if (unlikely(!(chan->txdone_method & TXDONE_BY_ACK))) {
 195                 dev_err(chan->mbox->dev, "Client can't run the TX ticker\n");
 196                 return;
 197         }
 198
 199         tx_tick(chan, r);
 200 }
 201 EXPORT_SYMBOL_GPL(mbox_client_txdone);
 202
 203 /**
 204  * mbox_client_peek_data - A way for client driver to pull data
 205  *                      received from remote by the controller.
 206  * @chan: Mailbox channel assigned to this client.
 207  *
 208  * A poke to controller driver for any received data.
 209  * The data is actually passed onto client via the
 210  * mbox_chan_received_data()
 211  * The call can be made from atomic context, so the controller's
 212  * implementation of peek_data() must not sleep.
 213  *
 214  * Return: True, if controller has, and is going to push after this,
 215  *          some data.
 216  *         False, if controller doesn't have any data to be read.
 217  */
 218 bool mbox_client_peek_data(struct mbox_chan *chan)
 219 {
 220         if (chan->mbox->ops->peek_data)
 221                 return chan->mbox->ops->peek_data(chan);
 222
 223         return false;
 224 }
 225 EXPORT_SYMBOL_GPL(mbox_client_peek_data);
 226
 227 /**
 228  * mbox_send_message -  For client to submit a message to be
 229  *                              sent to the remote.
 230  * @chan: Mailbox channel assigned to this client.
 231  * @mssg: Client specific message typecasted.
 232  *
 233  * For client to submit data to the controller destined for a remote
 234  * processor. If the client had set 'tx_block', the call will return
 235  * either when the remote receives the data or when 'tx_tout' millisecs
 236  * run out.
 237  *  In non-blocking mode, the requests are buffered by the API and a
 238  * non-negative token is returned for each queued request. If the request
 239  * is not queued, a negative token is returned. Upon failure or successful
 240  * TX, the API calls 'tx_done' from atomic context, from which the client
 241  * could submit yet another request.
 242  * The pointer to message should be preserved until it is sent
 243  * over the chan, i.e, tx_done() is made.
 244  * This function could be called from atomic context as it simply
 245  * queues the data and returns a token against the request.
 246  *
 247  * Return: Non-negative integer for successful submission (non-blocking mode)
 248  *      or transmission over chan (blocking mode).
 249  *      Negative value denotes failure.
 250  */
 251 int mbox_send_message(struct mbox_chan *chan, void *mssg)
 252 {
 253         int t;
 254
 255         if (!chan || !chan->cl)
 256                 return -EINVAL;
 257
 258         t = add_to_rbuf(chan, mssg);
 259         if (t < 0) {
 260                 dev_err(chan->mbox->dev, "Try increasing MBOX_TX_QUEUE_LEN\n");
 261                 return t;
 262         }
 263
 264         msg_submit(chan);
 265
 266         if (chan->cl->tx_block) {
 267                 unsigned long wait;
 268                 int ret;
 269
 270                 if (!chan->cl->tx_tout) /* wait forever */
 271                         wait = msecs_to_jiffies(3600000);
 272                 else
 273                         wait = msecs_to_jiffies(chan->cl->tx_tout);
 274
 275                 ret = wait_for_completion_timeout(&chan->tx_complete, wait);
 276                 if (ret == 0) {
 277                         t = -ETIME;
 278                         tx_tick(chan, t);
 279                 }
 280         }
 281
 282         return t;
 283 }
 284 EXPORT_SYMBOL_GPL(mbox_send_message);
 285
 286 /**
 287  * mbox_flush - flush a mailbox channel
 288  * @chan: mailbox channel to flush
 289  * @timeout: time, in milliseconds, to allow the flush operation to succeed
 290  *
 291  * Mailbox controllers that need to work in atomic context can implement the
 292  * ->flush() callback to busy loop until a transmission has been completed.
 293  * The implementation must call mbox_chan_txdone() upon success. Clients can
 294  * call the mbox_flush() function at any time after mbox_send_message() to
 295  * flush the transmission. After the function returns success, the mailbox
 296  * transmission is guaranteed to have completed.
 297  *
 298  * Returns: 0 on success or a negative error code on failure.
 299  */
 300 int mbox_flush(struct mbox_chan *chan, unsigned long timeout)
 301 {
 302         int ret;
 303
 304         if (!chan->mbox->ops->flush)
 305                 return -ENOTSUPP;
 306
 307         ret = chan->mbox->ops->flush(chan, timeout);
 308         if (ret < 0)
 309                 tx_tick(chan, ret);
 310
 311         return ret;
 312 }
 313 EXPORT_SYMBOL_GPL(mbox_flush);
 314
 315 /**
 316  * mbox_request_channel - Request a mailbox channel.
 317  * @cl: Identity of the client requesting the channel.
 318  * @index: Index of mailbox specifier in 'mboxes' property.
 319  *
 320  * The Client specifies its requirements and capabilities while asking for
 321  * a mailbox channel. It can't be called from atomic context.
 322  * The channel is exclusively allocated and can't be used by another
 323  * client before the owner calls mbox_free_channel.
 324  * After assignment, any packet received on this channel will be
 325  * handed over to the client via the 'rx_callback'.
 326  * The framework holds reference to the client, so the mbox_client
 327  * structure shouldn't be modified until the mbox_free_channel returns.
 328  *
 329  * Return: Pointer to the channel assigned to the client if successful.
 330  *              ERR_PTR for request failure.
 331  */
 332 struct mbox_chan *mbox_request_channel(struct mbox_client *cl, int index)
 333 {
 334         struct device *dev = cl->dev;
 335         struct mbox_controller *mbox;
 336         struct of_phandle_args spec;
 337         struct mbox_chan *chan;
 338         unsigned long flags;
 339         int ret;
 340
 341         if (!dev || !dev->of_node) {
 342                 pr_debug("%s: No owner device node\n", __func__);
 343                 return ERR_PTR(-ENODEV);
 344         }
 345
 346         mutex_lock(&con_mutex);
 347
 348         if (of_parse_phandle_with_args(dev->of_node, "mboxes",
 349                                        "#mbox-cells", index, &spec)) {
 350                 dev_dbg(dev, "%s: can't parse \"mboxes\" property\n", __func__);
 351                 mutex_unlock(&con_mutex);
 352                 return ERR_PTR(-ENODEV);
 353         }
 354
 355         chan = ERR_PTR(-EPROBE_DEFER);
 356         list_for_each_entry(mbox, &mbox_cons, node)
 357                 if (mbox->dev->of_node == spec.np) {
 358                         chan = mbox->of_xlate(mbox, &spec);
 359                         if (!IS_ERR(chan))
 360                                 break;
 361                 }
 362
 363         of_node_put(spec.np);
 364
 365         if (IS_ERR(chan)) {
 366                 mutex_unlock(&con_mutex);
 367                 return chan;
 368         }
 369
 370         if (chan->cl || !try_module_get(mbox->dev->driver->owner)) {
 371                 dev_dbg(dev, "%s: mailbox not free\n", __func__);
 372                 mutex_unlock(&con_mutex);
 373                 return ERR_PTR(-EBUSY);
 374         }
 375
 376         spin_lock_irqsave(&chan->lock, flags);
 377         chan->msg_free = 0;
 378         chan->msg_count = 0;
 379         chan->active_req = NULL;
 380         chan->cl = cl;
 381         init_completion(&chan->tx_complete);
 382
 383         if (chan->txdone_method == TXDONE_BY_POLL && cl->knows_txdone)
 384                 chan->txdone_method = TXDONE_BY_ACK;
 385
 386         spin_unlock_irqrestore(&chan->lock, flags);
 387
 388         if (chan->mbox->ops->startup) {
 389                 ret = chan->mbox->ops->startup(chan);
 390
 391                 if (ret) {
 392                         dev_err(dev, "Unable to startup the chan (%d)\n", ret);
 393                         mbox_free_channel(chan);
 394                         chan = ERR_PTR(ret);
 395                 }
 396         }
 397
 398         mutex_unlock(&con_mutex);
 399         return chan;
 400 }
 401 EXPORT_SYMBOL_GPL(mbox_request_channel);
 402
 403 struct mbox_chan *mbox_request_channel_byname(struct mbox_client *cl,
 404                                               const char *name)
 405 {
 406         struct device_node *np = cl->dev->of_node;
 407         struct property *prop;
 408         const char *mbox_name;
 409         int index = 0;
 410
 411         if (!np) {
 412                 dev_err(cl->dev, "%s() currently only supports DT\n", __func__);
 413                 return ERR_PTR(-EINVAL);
 414         }
 415
 416         if (!of_get_property(np, "mbox-names", NULL)) {
 417                 dev_err(cl->dev,
 418                         "%s() requires an \"mbox-names\" property\n", __func__);
 419                 return ERR_PTR(-EINVAL);
 420         }
 421
 422         of_property_for_each_string(np, "mbox-names", prop, mbox_name) {
 423                 if (!strncmp(name, mbox_name, strlen(name)))
 424                         break;
 425                 index++;
 426         }
 427
 428         return mbox_request_channel(cl, index);
 429 }
 430 EXPORT_SYMBOL_GPL(mbox_request_channel_byname);
 431
 432 /**
 433  * mbox_free_channel - The client relinquishes control of a mailbox
 434  *                      channel by this call.
 435  * @chan: The mailbox channel to be freed.
 436  */
 437 void mbox_free_channel(struct mbox_chan *chan)
 438 {
 439         unsigned long flags;
 440
 441         if (!chan || !chan->cl)
 442                 return;
 443
 444         if (chan->mbox->ops->shutdown)
 445                 chan->mbox->ops->shutdown(chan);
 446
 447         /* The queued TX requests are simply aborted, no callbacks are made */
 448         spin_lock_irqsave(&chan->lock, flags);
 449         chan->cl = NULL;
 450         chan->active_req = NULL;
 451         if (chan->txdone_method == TXDONE_BY_ACK)
 452                 chan->txdone_method = TXDONE_BY_POLL;
 453
 454         module_put(chan->mbox->dev->driver->owner);
 455         spin_unlock_irqrestore(&chan->lock, flags);
 456 }
 457 EXPORT_SYMBOL_GPL(mbox_free_channel);
 458
 459 static struct mbox_chan *
 460 of_mbox_index_xlate(struct mbox_controller *mbox,
 461                     const struct of_phandle_args *sp)
 462 {
 463         int ind = sp->args[0];
 464
 465         if (ind >= mbox->num_chans)
 466                 return ERR_PTR(-EINVAL);
 467
 468         return &mbox->chans[ind];
 469 }
 470
 471 /**
 472  * mbox_controller_register - Register the mailbox controller
 473  * @mbox:       Pointer to the mailbox controller.
 474  *
 475  * The controller driver registers its communication channels
 476  */
 477 int mbox_controller_register(struct mbox_controller *mbox)
 478 {
 479         int i, txdone;
 480
 481         /* Sanity check */
 482         if (!mbox || !mbox->dev || !mbox->ops || !mbox->num_chans)
 483                 return -EINVAL;
 484
 485         if (mbox->txdone_irq)
 486                 txdone = TXDONE_BY_IRQ;
 487         else if (mbox->txdone_poll)
 488                 txdone = TXDONE_BY_POLL;
 489         else /* It has to be ACK then */
 490                 txdone = TXDONE_BY_ACK;
 491
 492         if (txdone == TXDONE_BY_POLL) {
 493
 494                 if (!mbox->ops->last_tx_done) {
 495                         dev_err(mbox->dev, "last_tx_done method is absent\n");
 496                         return -EINVAL;
 497                 }
 498
 499                 hrtimer_init(&mbox->poll_hrt, CLOCK_MONOTONIC,
 500                              HRTIMER_MODE_REL);
 501                 mbox->poll_hrt.function = txdone_hrtimer;
 502         }
 503
 504         for (i = 0; i < mbox->num_chans; i++) {
 505                 struct mbox_chan *chan = &mbox->chans[i];
 506
 507                 chan->cl = NULL;
 508                 chan->mbox = mbox;
 509                 chan->txdone_method = txdone;
 510                 spin_lock_init(&chan->lock);
 511         }
 512
 513         if (!mbox->of_xlate)
 514                 mbox->of_xlate = of_mbox_index_xlate;
 515
 516         mutex_lock(&con_mutex);
 517         list_add_tail(&mbox->node, &mbox_cons);
 518         mutex_unlock(&con_mutex);
 519
 520         return 0;
 521 }
 522 EXPORT_SYMBOL_GPL(mbox_controller_register);
 523
 524 /**
 525  * mbox_controller_unregister - Unregister the mailbox controller
 526  * @mbox:       Pointer to the mailbox controller.
 527  */
 528 void mbox_controller_unregister(struct mbox_controller *mbox)
 529 {
 530         int i;
 531
 532         if (!mbox)
 533                 return;
 534
 535         mutex_lock(&con_mutex);
 536
 537         list_del(&mbox->node);
 538
 539         for (i = 0; i < mbox->num_chans; i++)
 540                 mbox_free_channel(&mbox->chans[i]);
 541
 542         if (mbox->txdone_poll)
 543                 hrtimer_cancel(&mbox->poll_hrt);
 544
 545         mutex_unlock(&con_mutex);
 546 }
 547 EXPORT_SYMBOL_GPL(mbox_controller_unregister);
 548
 549 static void __devm_mbox_controller_unregister(struct device *dev, void *res)
 550 {
 551         struct mbox_controller **mbox = res;
 552
 553         mbox_controller_unregister(*mbox);
 554 }
 555
 556 static int devm_mbox_controller_match(struct device *dev, void *res, void *data)
 557 {
 558         struct mbox_controller **mbox = res;
 559
 560         if (WARN_ON(!mbox || !*mbox))
 561                 return 0;
 562
 563         return *mbox == data;
 564 }
 565
 566 /**
 567  * devm_mbox_controller_register() - managed mbox_controller_register()
 568  * @dev: device owning the mailbox controller being registered
 569  * @mbox: mailbox controller being registered
 570  *
 571  * This function adds a device-managed resource that will make sure that the
 572  * mailbox controller, which is registered using mbox_controller_register()
 573  * as part of this function, will be unregistered along with the rest of
 574  * device-managed resources upon driver probe failure or driver removal.
 575  *
 576  * Returns 0 on success or a negative error code on failure.
 577  */
 578 int devm_mbox_controller_register(struct device *dev,
 579                                   struct mbox_controller *mbox)
 580 {
 581         struct mbox_controller **ptr;
 582         int err;
 583
 584         ptr = devres_alloc(__devm_mbox_controller_unregister, sizeof(*ptr),
 585                            GFP_KERNEL);
 586         if (!ptr)
 587                 return -ENOMEM;
 588
 589         err = mbox_controller_register(mbox);
 590         if (err < 0) {
 591                 devres_free(ptr);
 592                 return err;
 593         }
 594
 595         devres_add(dev, ptr);
 596         *ptr = mbox;
 597
 598         return 0;
 599 }
 600 EXPORT_SYMBOL_GPL(devm_mbox_controller_register);
 601
 602 /**
 603  * devm_mbox_controller_unregister() - managed mbox_controller_unregister()
 604  * @dev: device owning the mailbox controller being unregistered
 605  * @mbox: mailbox controller being unregistered
 606  *
 607  * This function unregisters the mailbox controller and removes the device-
 608  * managed resource that was set up to automatically unregister the mailbox
 609  * controller on driver probe failure or driver removal. It's typically not
 610  * necessary to call this function.
 611  */
 612 void devm_mbox_controller_unregister(struct device *dev, struct mbox_controller *mbox)
 613 {
 614         WARN_ON(devres_release(dev, __devm_mbox_controller_unregister,
 615                                devm_mbox_controller_match, mbox));
 616 }
 617 EXPORT_SYMBOL_GPL(devm_mbox_controller_unregister);