pc-bios/s390-ccw/virtio.c

   1 /*
   2  * Virtio driver bits
   3  *
   4  * Copyright (c) 2013 Alexander Graf <[email protected]>
   5  *
   6  * This work is licensed under the terms of the GNU GPL, version 2 or (at
   7  * your option) any later version. See the COPYING file in the top-level
   8  * directory.
   9  */
  10
  11 #include "s390-ccw.h"
  12 #include "virtio.h"
  13
  14 #define VRING_WAIT_REPLY_TIMEOUT 3
  15
  16 static VRing block[VIRTIO_MAX_VQS];
  17 static char ring_area[VIRTIO_RING_SIZE * VIRTIO_MAX_VQS]
  18                      __attribute__((__aligned__(PAGE_SIZE)));
  19
  20 static char chsc_page[PAGE_SIZE] __attribute__((__aligned__(PAGE_SIZE)));
  21
  22 static VDev vdev = {
  23     .nr_vqs = 1,
  24     .vrings = block,
  25     .cmd_vr_idx = 0,
  26     .ring_area = ring_area,
  27     .wait_reply_timeout = VRING_WAIT_REPLY_TIMEOUT,
  28     .schid = { .one = 1 },
  29 };
  30
  31 VDev *virtio_get_device(void)
  32 {
  33     return &vdev;
  34 }
  35
  36 VirtioDevType virtio_get_device_type(void)
  37 {
  38     return vdev.senseid.cu_model;
  39 }
  40
  41 /* virtio spec v1.0 para 4.3.3.2 */
  42 static long kvm_hypercall(unsigned long nr, unsigned long param1,
  43                           unsigned long param2, unsigned long param3)
  44 {
  45     register ulong r_nr asm("1") = nr;
  46     register ulong r_param1 asm("2") = param1;
  47     register ulong r_param2 asm("3") = param2;
  48     register ulong r_param3 asm("4") = param3;
  49     register long retval asm("2");
  50
  51     asm volatile ("diag 2,4,0x500"
  52                   : "=d" (retval)
  53                   : "d" (r_nr), "0" (r_param1), "r"(r_param2), "d"(r_param3)
  54                   : "memory", "cc");
  55
  56     return retval;
  57 }
  58
  59 static long virtio_notify(SubChannelId schid, int vq_idx, long cookie)
  60 {
  61     return kvm_hypercall(KVM_S390_VIRTIO_CCW_NOTIFY, *(u32 *)&schid,
  62                          vq_idx, cookie);
  63 }
  64
  65 /***********************************************
  66  *             Virtio functions                *
  67  ***********************************************/
  68
  69 static int drain_irqs(SubChannelId schid)
  70 {
  71     Irb irb = {};
  72     int r = 0;
  73
  74     while (1) {
  75         /* FIXME: make use of TPI, for that enable subchannel and isc */
  76         if (tsch(schid, &irb)) {
  77             /* Might want to differentiate error codes later on. */
  78             if (irb.scsw.cstat) {
  79                 r = -EIO;
  80             } else if (irb.scsw.dstat != 0xc) {
  81                 r = -EIO;
  82             }
  83             return r;
  84         }
  85     }
  86 }
  87
  88 static int run_ccw(VDev *vdev, int cmd, void *ptr, int len)
  89 {
  90     Ccw1 ccw = {};
  91     CmdOrb orb = {};
  92     Schib schib;
  93     int r;
  94
  95     /* start command processing */
  96     stsch_err(vdev->schid, &schib);
  97     schib.scsw.ctrl = SCSW_FCTL_START_FUNC;
  98     msch(vdev->schid, &schib);
  99
 100     /* start subchannel command */
 101     orb.fmt = 1;
 102     orb.cpa = (u32)(long)&ccw;
 103     orb.lpm = 0x80;
 104
 105     ccw.cmd_code = cmd;
 106     ccw.cda = (long)ptr;
 107     ccw.count = len;
 108
 109     r = ssch(vdev->schid, &orb);
 110     /*
 111      * XXX Wait until device is done processing the CCW. For now we can
 112      *     assume that a simple tsch will have finished the CCW processing,
 113      *     but the architecture allows for asynchronous operation
 114      */
 115     if (!r) {
 116         r = drain_irqs(vdev->schid);
 117     }
 118     return r;
 119 }
 120
 121 static void vring_init(VRing *vr, VqInfo *info)
 122 {
 123     void *p = (void *) info->queue;
 124
 125     debug_print_addr("init p", p);
 126     vr->id = info->index;
 127     vr->num = info->num;
 128     vr->desc = p;
 129     vr->avail = p + info->num * sizeof(VRingDesc);
 130     vr->used = (void *)(((unsigned long)&vr->avail->ring[info->num]
 131                + info->align - 1) & ~(info->align - 1));
 132
 133     /* Zero out all relevant field */
 134     vr->avail->flags = 0;
 135     vr->avail->idx = 0;
 136
 137     /* We're running with interrupts off anyways, so don't bother */
 138     vr->used->flags = VRING_USED_F_NO_NOTIFY;
 139     vr->used->idx = 0;
 140     vr->used_idx = 0;
 141     vr->next_idx = 0;
 142     vr->cookie = 0;
 143
 144     debug_print_addr("init vr", vr);
 145 }
 146
 147 static bool vring_notify(VRing *vr)
 148 {
 149     vr->cookie = virtio_notify(vr->schid, vr->id, vr->cookie);
 150     return vr->cookie >= 0;
 151 }
 152
 153 static void vring_send_buf(VRing *vr, void *p, int len, int flags)
 154 {
 155     /* For follow-up chains we need to keep the first entry point */
 156     if (!(flags & VRING_HIDDEN_IS_CHAIN)) {
 157         vr->avail->ring[vr->avail->idx % vr->num] = vr->next_idx;
 158     }
 159
 160     vr->desc[vr->next_idx].addr = (ulong)p;
 161     vr->desc[vr->next_idx].len = len;
 162     vr->desc[vr->next_idx].flags = flags & ~VRING_HIDDEN_IS_CHAIN;
 163     vr->desc[vr->next_idx].next = vr->next_idx;
 164     vr->desc[vr->next_idx].next++;
 165     vr->next_idx++;
 166
 167     /* Chains only have a single ID */
 168     if (!(flags & VRING_DESC_F_NEXT)) {
 169         vr->avail->idx++;
 170     }
 171 }
 172
 173 static u64 get_clock(void)
 174 {
 175     u64 r;
 176
 177     asm volatile("stck %0" : "=Q" (r) : : "cc");
 178     return r;
 179 }
 180
 181 ulong get_second(void)
 182 {
 183     return (get_clock() >> 12) / 1000000;
 184 }
 185
 186 static int vr_poll(VRing *vr)
 187 {
 188     if (vr->used->idx == vr->used_idx) {
 189         vring_notify(vr);
 190         yield();
 191         return 0;
 192     }
 193
 194     vr->used_idx = vr->used->idx;
 195     vr->next_idx = 0;
 196     vr->desc[0].len = 0;
 197     vr->desc[0].flags = 0;
 198     return 1; /* vr has been updated */
 199 }
 200
 201 /*
 202  * Wait for the host to reply.
 203  *
 204  * timeout is in seconds if > 0.
 205  *
 206  * Returns 0 on success, 1 on timeout.
 207  */
 208 static int vring_wait_reply(void)
 209 {
 210     ulong target_second = get_second() + vdev.wait_reply_timeout;
 211
 212     /* Wait for any queue to be updated by the host */
 213     do {
 214         int i, r = 0;
 215
 216         for (i = 0; i < vdev.nr_vqs; i++) {
 217             r += vr_poll(&vdev.vrings[i]);
 218         }
 219         yield();
 220         if (r) {
 221             return 0;
 222         }
 223     } while (!vdev.wait_reply_timeout || (get_second() < target_second));
 224
 225     return 1;
 226 }
 227
 228 int virtio_run(VDev *vdev, int vqid, VirtioCmd *cmd)
 229 {
 230     VRing *vr = &vdev->vrings[vqid];
 231     int i = 0;
 232
 233     do {
 234         vring_send_buf(vr, cmd[i].data, cmd[i].size,
 235                        cmd[i].flags | (i ? VRING_HIDDEN_IS_CHAIN : 0));
 236     } while (cmd[i++].flags & VRING_DESC_F_NEXT);
 237
 238     vring_wait_reply();
 239     if (drain_irqs(vr->schid)) {
 240         return -1;
 241     }
 242     return 0;
 243 }
 244
 245 /***********************************************
 246  *               Virtio block                  *
 247  ***********************************************/
 248
 249 static int virtio_blk_read_many(VDev *vdev,
 250                                 ulong sector, void *load_addr, int sec_num)
 251 {
 252     VirtioBlkOuthdr out_hdr;
 253     u8 status;
 254     VRing *vr = &vdev->vrings[vdev->cmd_vr_idx];
 255
 256     /* Tell the host we want to read */
 257     out_hdr.type = VIRTIO_BLK_T_IN;
 258     out_hdr.ioprio = 99;
 259     out_hdr.sector = virtio_sector_adjust(sector);
 260
 261     vring_send_buf(vr, &out_hdr, sizeof(out_hdr), VRING_DESC_F_NEXT);
 262
 263     /* This is where we want to receive data */
 264     vring_send_buf(vr, load_addr, virtio_get_block_size() * sec_num,
 265                    VRING_DESC_F_WRITE | VRING_HIDDEN_IS_CHAIN |
 266                    VRING_DESC_F_NEXT);
 267
 268     /* status field */
 269     vring_send_buf(vr, &status, sizeof(u8),
 270                    VRING_DESC_F_WRITE | VRING_HIDDEN_IS_CHAIN);
 271
 272     /* Now we can tell the host to read */
 273     vring_wait_reply();
 274
 275     if (drain_irqs(vr->schid)) {
 276         /* Well, whatever status is supposed to contain... */
 277         status = 1;
 278     }
 279     return status;
 280 }
 281
 282 int virtio_read_many(ulong sector, void *load_addr, int sec_num)
 283 {
 284     switch (vdev.senseid.cu_model) {
 285     case VIRTIO_ID_BLOCK:
 286         return virtio_blk_read_many(&vdev, sector, load_addr, sec_num);
 287     }
 288     panic("\n! No readable IPL device !\n");
 289     return -1;
 290 }
 291
 292 unsigned long virtio_load_direct(ulong rec_list1, ulong rec_list2,
 293                                  ulong subchan_id, void *load_addr)
 294 {
 295     u8 status;
 296     int sec = rec_list1;
 297     int sec_num = ((rec_list2 >> 32) & 0xffff) + 1;
 298     int sec_len = rec_list2 >> 48;
 299     ulong addr = (ulong)load_addr;
 300
 301     if (sec_len != virtio_get_block_size()) {
 302         return -1;
 303     }
 304
 305     sclp_print(".");
 306     status = virtio_read_many(sec, (void *)addr, sec_num);
 307     if (status) {
 308         panic("I/O Error");
 309     }
 310     addr += sec_num * virtio_get_block_size();
 311
 312     return addr;
 313 }
 314
 315 int virtio_read(ulong sector, void *load_addr)
 316 {
 317     return virtio_read_many(sector, load_addr, 1);
 318 }
 319
 320 VirtioGDN virtio_guessed_disk_nature(void)
 321 {
 322     return vdev.guessed_disk_nature;
 323 }
 324
 325 void virtio_assume_scsi(void)
 326 {
 327     vdev.guessed_disk_nature = VIRTIO_GDN_SCSI;
 328     switch (vdev.senseid.cu_model) {
 329     case VIRTIO_ID_BLOCK:
 330         vdev.config.blk.blk_size = 512;
 331         vdev.config.blk.physical_block_exp = 0;
 332         break;
 333     }
 334 }
 335
 336 void virtio_assume_iso9660(void)
 337 {
 338     vdev.guessed_disk_nature = VIRTIO_GDN_CDROM;
 339     switch (vdev.senseid.cu_model) {
 340     case VIRTIO_ID_BLOCK:
 341         vdev.config.blk.blk_size = 2048;
 342         vdev.config.blk.physical_block_exp = 0;
 343         break;
 344     }
 345 }
 346
 347 void virtio_assume_eckd(void)
 348 {
 349     vdev.guessed_disk_nature = VIRTIO_GDN_DASD;
 350     switch (vdev.senseid.cu_model) {
 351     case VIRTIO_ID_BLOCK:
 352         vdev.config.blk.blk_size = 4096;
 353         vdev.config.blk.physical_block_exp = 0;
 354
 355         /* this must be here to calculate code segment position */
 356         vdev.config.blk.geometry.heads = 15;
 357         vdev.config.blk.geometry.sectors = 12;
 358         break;
 359     }
 360 }
 361
 362 bool virtio_disk_is_scsi(void)
 363 {
 364     if (vdev.guessed_disk_nature == VIRTIO_GDN_SCSI) {
 365         return true;
 366     }
 367     switch (vdev.senseid.cu_model) {
 368     case VIRTIO_ID_BLOCK:
 369         return (vdev.config.blk.geometry.heads == 255)
 370             && (vdev.config.blk.geometry.sectors == 63)
 371             && (virtio_get_block_size()  == 512);
 372     }
 373     return false;
 374 }
 375
 376 /*
 377  * Other supported value pairs, if any, would need to be added here.
 378  * Note: head count is always 15.
 379  */
 380 static inline u8 virtio_eckd_sectors_for_block_size(int size)
 381 {
 382     switch (size) {
 383     case 512:
 384         return 49;
 385     case 1024:
 386         return 33;
 387     case 2048:
 388         return 21;
 389     case 4096:
 390         return 12;
 391     }
 392     return 0;
 393 }
 394
 395 bool virtio_disk_is_eckd(void)
 396 {
 397     const int block_size = virtio_get_block_size();
 398
 399     if (vdev.guessed_disk_nature == VIRTIO_GDN_DASD) {
 400         return true;
 401     }
 402     switch (vdev.senseid.cu_model) {
 403     case VIRTIO_ID_BLOCK:
 404         return (vdev.config.blk.geometry.heads == 15)
 405             && (vdev.config.blk.geometry.sectors ==
 406                 virtio_eckd_sectors_for_block_size(block_size));
 407     }
 408     return false;
 409 }
 410
 411 bool virtio_ipl_disk_is_valid(void)
 412 {
 413     return virtio_disk_is_scsi() || virtio_disk_is_eckd();
 414 }
 415
 416 int virtio_get_block_size(void)
 417 {
 418     switch (vdev.senseid.cu_model) {
 419     case VIRTIO_ID_BLOCK:
 420         return vdev.config.blk.blk_size << vdev.config.blk.physical_block_exp;
 421     }
 422     return 0;
 423 }
 424
 425 uint8_t virtio_get_heads(void)
 426 {
 427     switch (vdev.senseid.cu_model) {
 428     case VIRTIO_ID_BLOCK:
 429         return vdev.config.blk.geometry.heads;
 430     }
 431     return 0;
 432 }
 433
 434 uint8_t virtio_get_sectors(void)
 435 {
 436     switch (vdev.senseid.cu_model) {
 437     case VIRTIO_ID_BLOCK:
 438         return vdev.config.blk.geometry.sectors;
 439     }
 440     return 0;
 441 }
 442
 443 uint64_t virtio_get_blocks(void)
 444 {
 445     switch (vdev.senseid.cu_model) {
 446     case VIRTIO_ID_BLOCK:
 447         return vdev.config.blk.capacity /
 448                (virtio_get_block_size() / VIRTIO_SECTOR_SIZE);
 449     }
 450     return 0;
 451 }
 452
 453 static void virtio_setup_ccw(VDev *vdev)
 454 {
 455     int i, cfg_size;
 456     unsigned char status = VIRTIO_CONFIG_S_DRIVER_OK;
 457
 458     vdev->config.blk.blk_size = 0; /* mark "illegal" - setup started... */
 459     vdev->guessed_disk_nature = VIRTIO_GDN_NONE;
 460
 461     run_ccw(vdev, CCW_CMD_VDEV_RESET, NULL, 0);
 462
 463     switch (vdev->senseid.cu_model) {
 464     case VIRTIO_ID_BLOCK:
 465         vdev->nr_vqs = 1;
 466         vdev->cmd_vr_idx = 0;
 467         cfg_size = sizeof(vdev->config.blk);
 468         break;
 469     default:
 470         panic("Unsupported virtio device\n");
 471     }
 472     IPL_assert(run_ccw(vdev, CCW_CMD_READ_CONF, &vdev->config, cfg_size) == 0,
 473                "Could not get block device configuration");
 474
 475     /*
 476      * Skipping CCW_CMD_READ_FEAT. We're not doing anything fancy, and
 477      * we'll just stop dead anyway if anything does not work like we
 478      * expect it.
 479      */
 480
 481     for (i = 0; i < vdev->nr_vqs; i++) {
 482         VqInfo info = {
 483             .queue = (unsigned long long) ring_area + (i * VIRTIO_RING_SIZE),
 484             .align = KVM_S390_VIRTIO_RING_ALIGN,
 485             .index = i,
 486             .num = 0,
 487         };
 488         VqConfig config = {
 489             .index = i,
 490             .num = 0,
 491         };
 492
 493         IPL_assert(
 494             run_ccw(vdev, CCW_CMD_READ_VQ_CONF, &config, sizeof(config)) == 0,
 495             "Could not get block device VQ configuration");
 496         info.num = config.num;
 497         vring_init(&vdev->vrings[i], &info);
 498         vdev->vrings[i].schid = vdev->schid;
 499         IPL_assert(run_ccw(vdev, CCW_CMD_SET_VQ, &info, sizeof(info)) == 0,
 500                    "Cannot set VQ info");
 501     }
 502     IPL_assert(
 503         run_ccw(vdev, CCW_CMD_WRITE_STATUS, &status, sizeof(status)) == 0,
 504         "Could not write status to host");
 505 }
 506
 507 void virtio_setup_device(SubChannelId schid)
 508 {
 509     vdev.schid = schid;
 510     virtio_setup_ccw(&vdev);
 511
 512     switch (vdev.senseid.cu_model) {
 513     case VIRTIO_ID_BLOCK:
 514         if (!virtio_ipl_disk_is_valid()) {
 515             /* make sure all getters but blocksize return 0 for
 516              * invalid IPL disk
 517              */
 518             memset(&vdev.config.blk, 0, sizeof(vdev.config.blk));
 519             virtio_assume_scsi();
 520         }
 521         break;
 522     default:
 523         panic("\n! No IPL device available !\n");
 524     }
 525 }
 526
 527 bool virtio_is_supported(SubChannelId schid)
 528 {
 529     vdev.schid = schid;
 530     memset(&vdev.senseid, 0, sizeof(vdev.senseid));
 531     /* run sense id command */
 532     if (run_ccw(&vdev, CCW_CMD_SENSE_ID, &vdev.senseid, sizeof(vdev.senseid))) {
 533         return false;
 534     }
 535     if (vdev.senseid.cu_type == 0x3832) {
 536         switch (vdev.senseid.cu_model) {
 537         case VIRTIO_ID_BLOCK:
 538             return true;
 539         }
 540     }
 541     return false;
 542 }
 543
 544 int enable_mss_facility(void)
 545 {
 546     int ret;
 547     ChscAreaSda *sda_area = (ChscAreaSda *) chsc_page;
 548
 549     memset(sda_area, 0, PAGE_SIZE);
 550     sda_area->request.length = 0x0400;
 551     sda_area->request.code = 0x0031;
 552     sda_area->operation_code = 0x2;
 553
 554     ret = chsc(sda_area);
 555     if ((ret == 0) && (sda_area->response.code == 0x0001)) {
 556         return 0;
 557     }
 558     return -EIO;
 559 }