drivers/infiniband/core/agent.c

   1 /*
   2  * Copyright (c) 2004, 2005 Mellanox Technologies Ltd.  All rights reserved.
   3  * Copyright (c) 2004, 2005 Infinicon Corporation.  All rights reserved.
   4  * Copyright (c) 2004, 2005 Intel Corporation.  All rights reserved.
   5  * Copyright (c) 2004, 2005 Topspin Corporation.  All rights reserved.
   6  * Copyright (c) 2004-2007 Voltaire Corporation.  All rights reserved.
   7  * Copyright (c) 2005 Sun Microsystems, Inc. All rights reserved.
   8  *
   9  * This software is available to you under a choice of one of two
  10  * licenses.  You may choose to be licensed under the terms of the GNU
  11  * General Public License (GPL) Version 2, available from the file
  12  * COPYING in the main directory of this source tree, or the
  13  * OpenIB.org BSD license below:
  14  *
  15  *     Redistribution and use in source and binary forms, with or
  16  *     without modification, are permitted provided that the following
  17  *     conditions are met:
  18  *
  19  *      - Redistributions of source code must retain the above
  20  *        copyright notice, this list of conditions and the following
  21  *        disclaimer.
  22  *
  23  *      - Redistributions in binary form must reproduce the above
  24  *        copyright notice, this list of conditions and the following
  25  *        disclaimer in the documentation and/or other materials
  26  *        provided with the distribution.
  27  *
  28  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
  29  * EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
  30  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
  31  * NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS
  32  * BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN
  33  * ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
  34  * CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  35  * SOFTWARE.
  36  *
  37  */
  38
  39 #include <linux/slab.h>
  40 #include <linux/string.h>
  41
  42 #include "agent.h"
  43 #include "smi.h"
  44 #include "mad_priv.h"
  45
  46 #define SPFX "ib_agent: "
  47
  48 struct ib_agent_port_private {
  49         struct list_head port_list;
  50         struct ib_mad_agent *agent[2];
  51 };
  52
  53 static DEFINE_SPINLOCK(ib_agent_port_list_lock);
  54 static LIST_HEAD(ib_agent_port_list);
  55
  56 static struct ib_agent_port_private *
  57 __ib_get_agent_port(const struct ib_device *device, int port_num)
  58 {
  59         struct ib_agent_port_private *entry;
  60
  61         list_for_each_entry(entry, &ib_agent_port_list, port_list) {
  62                 /* Need to check both agent[0] and agent[1], as an agent port
  63                  * may only have one of them
  64                  */
  65                 if (entry->agent[0] &&
  66                     entry->agent[0]->device == device &&
  67                     entry->agent[0]->port_num == port_num)
  68                         return entry;
  69
  70                 if (entry->agent[1] &&
  71                     entry->agent[1]->device == device &&
  72                     entry->agent[1]->port_num == port_num)
  73                         return entry;
  74         }
  75         return NULL;
  76 }
  77
  78 static struct ib_agent_port_private *
  79 ib_get_agent_port(const struct ib_device *device, int port_num)
  80 {
  81         struct ib_agent_port_private *entry;
  82         unsigned long flags;
  83
  84         spin_lock_irqsave(&ib_agent_port_list_lock, flags);
  85         entry = __ib_get_agent_port(device, port_num);
  86         spin_unlock_irqrestore(&ib_agent_port_list_lock, flags);
  87         return entry;
  88 }
  89
  90 void agent_send_response(const struct ib_mad_hdr *mad_hdr, const struct ib_grh *grh,
  91                          const struct ib_wc *wc, const struct ib_device *device,
  92                          int port_num, int qpn, size_t resp_mad_len, bool opa)
  93 {
  94         struct ib_agent_port_private *port_priv;
  95         struct ib_mad_agent *agent;
  96         struct ib_mad_send_buf *send_buf;
  97         struct ib_ah *ah;
  98         struct ib_mad_send_wr_private *mad_send_wr;
  99
 100         if (rdma_cap_ib_switch(device))
 101                 port_priv = ib_get_agent_port(device, 0);
 102         else
 103                 port_priv = ib_get_agent_port(device, port_num);
 104
 105         if (!port_priv) {
 106                 dev_err(&device->dev, "Unable to find port agent\n");
 107                 return;
 108         }
 109
 110         agent = port_priv->agent[qpn];
 111         ah = ib_create_ah_from_wc(agent->qp->pd, wc, grh, port_num);
 112         if (IS_ERR(ah)) {
 113                 dev_err(&device->dev, "ib_create_ah_from_wc error %ld\n",
 114                         PTR_ERR(ah));
 115                 return;
 116         }
 117
 118         if (opa && mad_hdr->base_version != OPA_MGMT_BASE_VERSION)
 119                 resp_mad_len = IB_MGMT_MAD_SIZE;
 120
 121         send_buf = ib_create_send_mad(agent, wc->src_qp, wc->pkey_index, 0,
 122                                       IB_MGMT_MAD_HDR,
 123                                       resp_mad_len - IB_MGMT_MAD_HDR,
 124                                       GFP_KERNEL,
 125                                       mad_hdr->base_version);
 126         if (IS_ERR(send_buf)) {
 127                 dev_err(&device->dev, "ib_create_send_mad error\n");
 128                 goto err1;
 129         }
 130
 131         memcpy(send_buf->mad, mad_hdr, resp_mad_len);
 132         send_buf->ah = ah;
 133
 134         if (rdma_cap_ib_switch(device)) {
 135                 mad_send_wr = container_of(send_buf,
 136                                            struct ib_mad_send_wr_private,
 137                                            send_buf);
 138                 mad_send_wr->send_wr.port_num = port_num;
 139         }
 140
 141         if (ib_post_send_mad(send_buf, NULL)) {
 142                 dev_err(&device->dev, "ib_post_send_mad error\n");
 143                 goto err2;
 144         }
 145         return;
 146 err2:
 147         ib_free_send_mad(send_buf);
 148 err1:
 149         rdma_destroy_ah(ah, RDMA_DESTROY_AH_SLEEPABLE);
 150 }
 151
 152 static void agent_send_handler(struct ib_mad_agent *mad_agent,
 153                                struct ib_mad_send_wc *mad_send_wc)
 154 {
 155         rdma_destroy_ah(mad_send_wc->send_buf->ah, RDMA_DESTROY_AH_SLEEPABLE);
 156         ib_free_send_mad(mad_send_wc->send_buf);
 157 }
 158
 159 int ib_agent_port_open(struct ib_device *device, int port_num)
 160 {
 161         struct ib_agent_port_private *port_priv;
 162         unsigned long flags;
 163         int ret;
 164
 165         /* Create new device info */
 166         port_priv = kzalloc(sizeof *port_priv, GFP_KERNEL);
 167         if (!port_priv) {
 168                 ret = -ENOMEM;
 169                 goto error1;
 170         }
 171
 172         if (rdma_cap_ib_smi(device, port_num)) {
 173                 /* Obtain send only MAD agent for SMI QP */
 174                 port_priv->agent[0] = ib_register_mad_agent(device, port_num,
 175                                                             IB_QPT_SMI, NULL, 0,
 176                                                             &agent_send_handler,
 177                                                             NULL, NULL, 0);
 178                 if (IS_ERR(port_priv->agent[0])) {
 179                         ret = PTR_ERR(port_priv->agent[0]);
 180                         goto error2;
 181                 }
 182         }
 183
 184         if (rdma_cap_ib_cm(device, port_num)) {
 185                 /* Obtain send only MAD agent for GSI QP */
 186                 port_priv->agent[1] = ib_register_mad_agent(device, port_num,
 187                                                             IB_QPT_GSI, NULL, 0,
 188                                                             &agent_send_handler,
 189                                                             NULL, NULL, 0);
 190                 if (IS_ERR(port_priv->agent[1])) {
 191                         ret = PTR_ERR(port_priv->agent[1]);
 192                         goto error3;
 193                 }
 194         }
 195
 196         spin_lock_irqsave(&ib_agent_port_list_lock, flags);
 197         list_add_tail(&port_priv->port_list, &ib_agent_port_list);
 198         spin_unlock_irqrestore(&ib_agent_port_list_lock, flags);
 199
 200         return 0;
 201
 202 error3:
 203         if (port_priv->agent[0])
 204                 ib_unregister_mad_agent(port_priv->agent[0]);
 205 error2:
 206         kfree(port_priv);
 207 error1:
 208         return ret;
 209 }
 210
 211 int ib_agent_port_close(struct ib_device *device, int port_num)
 212 {
 213         struct ib_agent_port_private *port_priv;
 214         unsigned long flags;
 215
 216         spin_lock_irqsave(&ib_agent_port_list_lock, flags);
 217         port_priv = __ib_get_agent_port(device, port_num);
 218         if (port_priv == NULL) {
 219                 spin_unlock_irqrestore(&ib_agent_port_list_lock, flags);
 220                 dev_err(&device->dev, "Port %d not found\n", port_num);
 221                 return -ENODEV;
 222         }
 223         list_del(&port_priv->port_list);
 224         spin_unlock_irqrestore(&ib_agent_port_list_lock, flags);
 225
 226         if (port_priv->agent[1])
 227                 ib_unregister_mad_agent(port_priv->agent[1]);
 228         if (port_priv->agent[0])
 229                 ib_unregister_mad_agent(port_priv->agent[0]);
 230
 231         kfree(port_priv);
 232         return 0;
 233 }