target-i386/exec.h

   1 /*
   2  *  i386 execution defines
   3  *
   4  *  Copyright (c) 2003 Fabrice Bellard
   5  *
   6  * This library is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Lesser General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2 of the License, or (at your option) any later version.
  10  *
  11  * This library is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Lesser General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Lesser General Public
  17  * License along with this library; if not, write to the Free Software
  18  * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  19  */
  20 #include "config.h"
  21 #include "dyngen-exec.h"
  22
  23 /* XXX: factorize this mess */
  24 #if defined(__alpha__) || defined (__ia64__) || defined(__x86_64__)
  25 #define HOST_LONG_BITS 64
  26 #else
  27 #define HOST_LONG_BITS 32
  28 #endif
  29
  30 #ifdef TARGET_X86_64
  31 #define TARGET_LONG_BITS 64
  32 #else
  33 #define TARGET_LONG_BITS 32
  34 #endif
  35
  36 /* at least 4 register variables are defined */
  37 register struct CPUX86State *env asm(AREG0);
  38
  39 /* XXX: use 64 bit regs if HOST_LONG_BITS == 64 */
  40 #if TARGET_LONG_BITS == 32
  41
  42 register uint32_t T0 asm(AREG1);
  43 register uint32_t T1 asm(AREG2);
  44 register uint32_t T2 asm(AREG3);
  45
  46 /* if more registers are available, we define some registers too */
  47 #ifdef AREG4
  48 register uint32_t EAX asm(AREG4);
  49 #define reg_EAX
  50 #endif
  51
  52 #ifdef AREG5
  53 register uint32_t ESP asm(AREG5);
  54 #define reg_ESP
  55 #endif
  56
  57 #ifdef AREG6
  58 register uint32_t EBP asm(AREG6);
  59 #define reg_EBP
  60 #endif
  61
  62 #ifdef AREG7
  63 register uint32_t ECX asm(AREG7);
  64 #define reg_ECX
  65 #endif
  66
  67 #ifdef AREG8
  68 register uint32_t EDX asm(AREG8);
  69 #define reg_EDX
  70 #endif
  71
  72 #ifdef AREG9
  73 register uint32_t EBX asm(AREG9);
  74 #define reg_EBX
  75 #endif
  76
  77 #ifdef AREG10
  78 register uint32_t ESI asm(AREG10);
  79 #define reg_ESI
  80 #endif
  81
  82 #ifdef AREG11
  83 register uint32_t EDI asm(AREG11);
  84 #define reg_EDI
  85 #endif
  86
  87 #else
  88
  89 /* no registers can be used */
  90 #define T0 (env->t0)
  91 #define T1 (env->t1)
  92 #define T2 (env->t2)
  93
  94 #endif
  95
  96 #define A0 T2
  97
  98 extern FILE *logfile;
  99 extern int loglevel;
 100
 101 #ifndef reg_EAX
 102 #define EAX (env->regs[R_EAX])
 103 #endif
 104 #ifndef reg_ECX
 105 #define ECX (env->regs[R_ECX])
 106 #endif
 107 #ifndef reg_EDX
 108 #define EDX (env->regs[R_EDX])
 109 #endif
 110 #ifndef reg_EBX
 111 #define EBX (env->regs[R_EBX])
 112 #endif
 113 #ifndef reg_ESP
 114 #define ESP (env->regs[R_ESP])
 115 #endif
 116 #ifndef reg_EBP
 117 #define EBP (env->regs[R_EBP])
 118 #endif
 119 #ifndef reg_ESI
 120 #define ESI (env->regs[R_ESI])
 121 #endif
 122 #ifndef reg_EDI
 123 #define EDI (env->regs[R_EDI])
 124 #endif
 125 #define EIP  (env->eip)
 126 #define DF  (env->df)
 127
 128 #define CC_SRC (env->cc_src)
 129 #define CC_DST (env->cc_dst)
 130 #define CC_OP  (env->cc_op)
 131
 132 /* float macros */
 133 #define FT0    (env->ft0)
 134 #define ST0    (env->fpregs[env->fpstt].d)
 135 #define ST(n)  (env->fpregs[(env->fpstt + (n)) & 7].d)
 136 #define ST1    ST(1)
 137
 138 #ifdef USE_FP_CONVERT
 139 #define FP_CONVERT  (env->fp_convert)
 140 #endif
 141
 142 #include "cpu.h"
 143 #include "exec-all.h"
 144
 145 typedef struct CCTable {
 146     int (*compute_all)(void); /* return all the flags */
 147     int (*compute_c)(void);  /* return the C flag */
 148 } CCTable;
 149
 150 extern CCTable cc_table[];
 151
 152 void load_seg(int seg_reg, int selector);
 153 void helper_ljmp_protected_T0_T1(int next_eip);
 154 void helper_lcall_real_T0_T1(int shift, int next_eip);
 155 void helper_lcall_protected_T0_T1(int shift, int next_eip);
 156 void helper_iret_real(int shift);
 157 void helper_iret_protected(int shift, int next_eip);
 158 void helper_lret_protected(int shift, int addend);
 159 void helper_lldt_T0(void);
 160 void helper_ltr_T0(void);
 161 void helper_movl_crN_T0(int reg);
 162 void helper_movl_drN_T0(int reg);
 163 void helper_invlpg(unsigned int addr);
 164 void cpu_x86_update_cr0(CPUX86State *env, uint32_t new_cr0);
 165 void cpu_x86_update_cr3(CPUX86State *env, target_ulong new_cr3);
 166 void cpu_x86_update_cr4(CPUX86State *env, uint32_t new_cr4);
 167 void cpu_x86_flush_tlb(CPUX86State *env, uint32_t addr);
 168 int cpu_x86_handle_mmu_fault(CPUX86State *env, target_ulong addr,
 169                              int is_write, int is_user, int is_softmmu);
 170 void tlb_fill(target_ulong addr, int is_write, int is_user,
 171               void *retaddr);
 172 void __hidden cpu_lock(void);
 173 void __hidden cpu_unlock(void);
 174 void do_interrupt(int intno, int is_int, int error_code,
 175                   target_ulong next_eip, int is_hw);
 176 void do_interrupt_user(int intno, int is_int, int error_code,
 177                        target_ulong next_eip);
 178 void raise_interrupt(int intno, int is_int, int error_code,
 179                      int next_eip_addend);
 180 void raise_exception_err(int exception_index, int error_code);
 181 void raise_exception(int exception_index);
 182 void __hidden cpu_loop_exit(void);
 183
 184 void OPPROTO op_movl_eflags_T0(void);
 185 void OPPROTO op_movl_T0_eflags(void);
 186 void helper_divl_EAX_T0(void);
 187 void helper_idivl_EAX_T0(void);
 188 void helper_mulq_EAX_T0(void);
 189 void helper_imulq_EAX_T0(void);
 190 void helper_imulq_T0_T1(void);
 191 void helper_divq_EAX_T0(void);
 192 void helper_idivq_EAX_T0(void);
 193 void helper_cmpxchg8b(void);
 194 void helper_cpuid(void);
 195 void helper_enter_level(int level, int data32);
 196 void helper_sysenter(void);
 197 void helper_sysexit(void);
 198 void helper_syscall(int next_eip_addend);
 199 void helper_sysret(int dflag);
 200 void helper_rdtsc(void);
 201 void helper_rdmsr(void);
 202 void helper_wrmsr(void);
 203 void helper_lsl(void);
 204 void helper_lar(void);
 205 void helper_verr(void);
 206 void helper_verw(void);
 207
 208 void check_iob_T0(void);
 209 void check_iow_T0(void);
 210 void check_iol_T0(void);
 211 void check_iob_DX(void);
 212 void check_iow_DX(void);
 213 void check_iol_DX(void);
 214
 215 /* XXX: move that to a generic header */
 216 #if !defined(CONFIG_USER_ONLY)
 217
 218 #define ldul_user ldl_user
 219 #define ldul_kernel ldl_kernel
 220
 221 #define ACCESS_TYPE 0
 222 #define MEMSUFFIX _kernel
 223 #define DATA_SIZE 1
 224 #include "softmmu_header.h"
 225
 226 #define DATA_SIZE 2
 227 #include "softmmu_header.h"
 228
 229 #define DATA_SIZE 4
 230 #include "softmmu_header.h"
 231
 232 #define DATA_SIZE 8
 233 #include "softmmu_header.h"
 234 #undef ACCESS_TYPE
 235 #undef MEMSUFFIX
 236
 237 #define ACCESS_TYPE 1
 238 #define MEMSUFFIX _user
 239 #define DATA_SIZE 1
 240 #include "softmmu_header.h"
 241
 242 #define DATA_SIZE 2
 243 #include "softmmu_header.h"
 244
 245 #define DATA_SIZE 4
 246 #include "softmmu_header.h"
 247
 248 #define DATA_SIZE 8
 249 #include "softmmu_header.h"
 250 #undef ACCESS_TYPE
 251 #undef MEMSUFFIX
 252
 253 /* these access are slower, they must be as rare as possible */
 254 #define ACCESS_TYPE 2
 255 #define MEMSUFFIX _data
 256 #define DATA_SIZE 1
 257 #include "softmmu_header.h"
 258
 259 #define DATA_SIZE 2
 260 #include "softmmu_header.h"
 261
 262 #define DATA_SIZE 4
 263 #include "softmmu_header.h"
 264
 265 #define DATA_SIZE 8
 266 #include "softmmu_header.h"
 267 #undef ACCESS_TYPE
 268 #undef MEMSUFFIX
 269
 270 #define ldub(p) ldub_data(p)
 271 #define ldsb(p) ldsb_data(p)
 272 #define lduw(p) lduw_data(p)
 273 #define ldsw(p) ldsw_data(p)
 274 #define ldl(p) ldl_data(p)
 275 #define ldq(p) ldq_data(p)
 276
 277 #define stb(p, v) stb_data(p, v)
 278 #define stw(p, v) stw_data(p, v)
 279 #define stl(p, v) stl_data(p, v)
 280 #define stq(p, v) stq_data(p, v)
 281
 282 static inline double ldfq(target_ulong ptr)
 283 {
 284     union {
 285         double d;
 286         uint64_t i;
 287     } u;
 288     u.i = ldq(ptr);
 289     return u.d;
 290 }
 291
 292 static inline void stfq(target_ulong ptr, double v)
 293 {
 294     union {
 295         double d;
 296         uint64_t i;
 297     } u;
 298     u.d = v;
 299     stq(ptr, u.i);
 300 }
 301
 302 static inline float ldfl(target_ulong ptr)
 303 {
 304     union {
 305         float f;
 306         uint32_t i;
 307     } u;
 308     u.i = ldl(ptr);
 309     return u.f;
 310 }
 311
 312 static inline void stfl(target_ulong ptr, float v)
 313 {
 314     union {
 315         float f;
 316         uint32_t i;
 317     } u;
 318     u.f = v;
 319     stl(ptr, u.i);
 320 }
 321
 322 #endif /* !defined(CONFIG_USER_ONLY) */
 323
 324 #ifdef USE_X86LDOUBLE
 325 /* use long double functions */
 326 #define lrint lrintl
 327 #define llrint llrintl
 328 #define fabs fabsl
 329 #define sin sinl
 330 #define cos cosl
 331 #define sqrt sqrtl
 332 #define pow powl
 333 #define log logl
 334 #define tan tanl
 335 #define atan2 atan2l
 336 #define floor floorl
 337 #define ceil ceill
 338 #define rint rintl
 339 #endif
 340
 341 #if !defined(_BSD)
 342 extern int lrint(CPU86_LDouble x);
 343 extern int64_t llrint(CPU86_LDouble x);
 344 #else
 345 #define lrint(d)                ((int)rint(d))
 346 #define llrint(d)               ((int)rint(d))
 347 #endif
 348 extern CPU86_LDouble fabs(CPU86_LDouble x);
 349 extern CPU86_LDouble sin(CPU86_LDouble x);
 350 extern CPU86_LDouble cos(CPU86_LDouble x);
 351 extern CPU86_LDouble sqrt(CPU86_LDouble x);
 352 extern CPU86_LDouble pow(CPU86_LDouble, CPU86_LDouble);
 353 extern CPU86_LDouble log(CPU86_LDouble x);
 354 extern CPU86_LDouble tan(CPU86_LDouble x);
 355 extern CPU86_LDouble atan2(CPU86_LDouble, CPU86_LDouble);
 356 extern CPU86_LDouble floor(CPU86_LDouble x);
 357 extern CPU86_LDouble ceil(CPU86_LDouble x);
 358 extern CPU86_LDouble rint(CPU86_LDouble x);
 359
 360 #define RC_MASK         0xc00
 361 #define RC_NEAR         0x000
 362 #define RC_DOWN         0x400
 363 #define RC_UP           0x800
 364 #define RC_CHOP         0xc00
 365
 366 #define MAXTAN 9223372036854775808.0
 367
 368 #ifdef __arm__
 369 /* we have no way to do correct rounding - a FPU emulator is needed */
 370 #define FE_DOWNWARD   FE_TONEAREST
 371 #define FE_UPWARD     FE_TONEAREST
 372 #define FE_TOWARDZERO FE_TONEAREST
 373 #endif
 374
 375 #ifdef USE_X86LDOUBLE
 376
 377 /* only for x86 */
 378 typedef union {
 379     long double d;
 380     struct {
 381         unsigned long long lower;
 382         unsigned short upper;
 383     } l;
 384 } CPU86_LDoubleU;
 385
 386 /* the following deal with x86 long double-precision numbers */
 387 #define MAXEXPD 0x7fff
 388 #define EXPBIAS 16383
 389 #define EXPD(fp)        (fp.l.upper & 0x7fff)
 390 #define SIGND(fp)       ((fp.l.upper) & 0x8000)
 391 #define MANTD(fp)       (fp.l.lower)
 392 #define BIASEXPONENT(fp) fp.l.upper = (fp.l.upper & ~(0x7fff)) | EXPBIAS
 393
 394 #else
 395
 396 /* NOTE: arm is horrible as double 32 bit words are stored in big endian ! */
 397 typedef union {
 398     double d;
 399 #if !defined(WORDS_BIGENDIAN) && !defined(__arm__)
 400     struct {
 401         uint32_t lower;
 402         int32_t upper;
 403     } l;
 404 #else
 405     struct {
 406         int32_t upper;
 407         uint32_t lower;
 408     } l;
 409 #endif
 410 #ifndef __arm__
 411     int64_t ll;
 412 #endif
 413 } CPU86_LDoubleU;
 414
 415 /* the following deal with IEEE double-precision numbers */
 416 #define MAXEXPD 0x7ff
 417 #define EXPBIAS 1023
 418 #define EXPD(fp)        (((fp.l.upper) >> 20) & 0x7FF)
 419 #define SIGND(fp)       ((fp.l.upper) & 0x80000000)
 420 #ifdef __arm__
 421 #define MANTD(fp)       (fp.l.lower | ((uint64_t)(fp.l.upper & ((1 << 20) - 1)) << 32))
 422 #else
 423 #define MANTD(fp)       (fp.ll & ((1LL << 52) - 1))
 424 #endif
 425 #define BIASEXPONENT(fp) fp.l.upper = (fp.l.upper & ~(0x7ff << 20)) | (EXPBIAS << 20)
 426 #endif
 427
 428 static inline void fpush(void)
 429 {
 430     env->fpstt = (env->fpstt - 1) & 7;
 431     env->fptags[env->fpstt] = 0; /* validate stack entry */
 432 }
 433
 434 static inline void fpop(void)
 435 {
 436     env->fptags[env->fpstt] = 1; /* invvalidate stack entry */
 437     env->fpstt = (env->fpstt + 1) & 7;
 438 }
 439
 440 #ifndef USE_X86LDOUBLE
 441 static inline CPU86_LDouble helper_fldt(target_ulong ptr)
 442 {
 443     CPU86_LDoubleU temp;
 444     int upper, e;
 445     uint64_t ll;
 446
 447     /* mantissa */
 448     upper = lduw(ptr + 8);
 449     /* XXX: handle overflow ? */
 450     e = (upper & 0x7fff) - 16383 + EXPBIAS; /* exponent */
 451     e |= (upper >> 4) & 0x800; /* sign */
 452     ll = (ldq(ptr) >> 11) & ((1LL << 52) - 1);
 453 #ifdef __arm__
 454     temp.l.upper = (e << 20) | (ll >> 32);
 455     temp.l.lower = ll;
 456 #else
 457     temp.ll = ll | ((uint64_t)e << 52);
 458 #endif
 459     return temp.d;
 460 }
 461
 462 static inline void helper_fstt(CPU86_LDouble f, target_ulong ptr)
 463 {
 464     CPU86_LDoubleU temp;
 465     int e;
 466
 467     temp.d = f;
 468     /* mantissa */
 469     stq(ptr, (MANTD(temp) << 11) | (1LL << 63));
 470     /* exponent + sign */
 471     e = EXPD(temp) - EXPBIAS + 16383;
 472     e |= SIGND(temp) >> 16;
 473     stw(ptr + 8, e);
 474 }
 475 #else
 476
 477 /* XXX: same endianness assumed */
 478
 479 #ifdef CONFIG_USER_ONLY
 480
 481 static inline CPU86_LDouble helper_fldt(target_ulong ptr)
 482 {
 483     return *(CPU86_LDouble *)ptr;
 484 }
 485
 486 static inline void helper_fstt(CPU86_LDouble f, target_ulong ptr)
 487 {
 488     *(CPU86_LDouble *)ptr = f;
 489 }
 490
 491 #else
 492
 493 /* we use memory access macros */
 494
 495 static inline CPU86_LDouble helper_fldt(target_ulong ptr)
 496 {
 497     CPU86_LDoubleU temp;
 498
 499     temp.l.lower = ldq(ptr);
 500     temp.l.upper = lduw(ptr + 8);
 501     return temp.d;
 502 }
 503
 504 static inline void helper_fstt(CPU86_LDouble f, target_ulong ptr)
 505 {
 506     CPU86_LDoubleU temp;
 507
 508     temp.d = f;
 509     stq(ptr, temp.l.lower);
 510     stw(ptr + 8, temp.l.upper);
 511 }
 512
 513 #endif /* !CONFIG_USER_ONLY */
 514
 515 #endif /* USE_X86LDOUBLE */
 516
 517 #define FPUS_IE (1 << 0)
 518 #define FPUS_DE (1 << 1)
 519 #define FPUS_ZE (1 << 2)
 520 #define FPUS_OE (1 << 3)
 521 #define FPUS_UE (1 << 4)
 522 #define FPUS_PE (1 << 5)
 523 #define FPUS_SF (1 << 6)
 524 #define FPUS_SE (1 << 7)
 525 #define FPUS_B  (1 << 15)
 526
 527 #define FPUC_EM 0x3f
 528
 529 extern const CPU86_LDouble f15rk[7];
 530
 531 void helper_fldt_ST0_A0(void);
 532 void helper_fstt_ST0_A0(void);
 533 void fpu_raise_exception(void);
 534 CPU86_LDouble helper_fdiv(CPU86_LDouble a, CPU86_LDouble b);
 535 void helper_fbld_ST0_A0(void);
 536 void helper_fbst_ST0_A0(void);
 537 void helper_f2xm1(void);
 538 void helper_fyl2x(void);
 539 void helper_fptan(void);
 540 void helper_fpatan(void);
 541 void helper_fxtract(void);
 542 void helper_fprem1(void);
 543 void helper_fprem(void);
 544 void helper_fyl2xp1(void);
 545 void helper_fsqrt(void);
 546 void helper_fsincos(void);
 547 void helper_frndint(void);
 548 void helper_fscale(void);
 549 void helper_fsin(void);
 550 void helper_fcos(void);
 551 void helper_fxam_ST0(void);
 552 void helper_fstenv(target_ulong ptr, int data32);
 553 void helper_fldenv(target_ulong ptr, int data32);
 554 void helper_fsave(target_ulong ptr, int data32);
 555 void helper_frstor(target_ulong ptr, int data32);
 556 void helper_fxsave(target_ulong ptr, int data64);
 557 void helper_fxrstor(target_ulong ptr, int data64);
 558 void restore_native_fp_state(CPUState *env);
 559 void save_native_fp_state(CPUState *env);
 560 float approx_rsqrt(float a);
 561 float approx_rcp(float a);
 562 int fpu_isnan(double a);
 563
 564 extern const uint8_t parity_table[256];
 565 extern const uint8_t rclw_table[32];
 566 extern const uint8_t rclb_table[32];
 567
 568 static inline uint32_t compute_eflags(void)
 569 {
 570     return env->eflags | cc_table[CC_OP].compute_all() | (DF & DF_MASK);
 571 }
 572
 573 /* NOTE: CC_OP must be modified manually to CC_OP_EFLAGS */
 574 static inline void load_eflags(int eflags, int update_mask)
 575 {
 576     CC_SRC = eflags & (CC_O | CC_S | CC_Z | CC_A | CC_P | CC_C);
 577     DF = 1 - (2 * ((eflags >> 10) & 1));
 578     env->eflags = (env->eflags & ~update_mask) |
 579         (eflags & update_mask);
 580 }
 581
 582 static inline void env_to_regs(void)
 583 {
 584 #ifdef reg_EAX
 585     EAX = env->regs[R_EAX];
 586 #endif
 587 #ifdef reg_ECX
 588     ECX = env->regs[R_ECX];
 589 #endif
 590 #ifdef reg_EDX
 591     EDX = env->regs[R_EDX];
 592 #endif
 593 #ifdef reg_EBX
 594     EBX = env->regs[R_EBX];
 595 #endif
 596 #ifdef reg_ESP
 597     ESP = env->regs[R_ESP];
 598 #endif
 599 #ifdef reg_EBP
 600     EBP = env->regs[R_EBP];
 601 #endif
 602 #ifdef reg_ESI
 603     ESI = env->regs[R_ESI];
 604 #endif
 605 #ifdef reg_EDI
 606     EDI = env->regs[R_EDI];
 607 #endif
 608 }
 609
 610 static inline void regs_to_env(void)
 611 {
 612 #ifdef reg_EAX
 613     env->regs[R_EAX] = EAX;
 614 #endif
 615 #ifdef reg_ECX
 616     env->regs[R_ECX] = ECX;
 617 #endif
 618 #ifdef reg_EDX
 619     env->regs[R_EDX] = EDX;
 620 #endif
 621 #ifdef reg_EBX
 622     env->regs[R_EBX] = EBX;
 623 #endif
 624 #ifdef reg_ESP
 625     env->regs[R_ESP] = ESP;
 626 #endif
 627 #ifdef reg_EBP
 628     env->regs[R_EBP] = EBP;
 629 #endif
 630 #ifdef reg_ESI
 631     env->regs[R_ESI] = ESI;
 632 #endif
 633 #ifdef reg_EDI
 634     env->regs[R_EDI] = EDI;
 635 #endif
 636 }