nsz Git - musl/blob - arch/i386/atomic.h

   1 #ifndef _INTERNAL_ATOMIC_H
   2 #define _INTERNAL_ATOMIC_H
   3
   4 #include <stdint.h>
   5
   6 static inline int a_ctz_64(uint64_t x)
   7 {
   8         int r;
   9         __asm__( "bsf %1,%0 ; jnz 1f ; bsf %2,%0 ; addl $32,%0\n1:"
  10                 : "=r"(r) : "r"((unsigned)x), "r"((unsigned)(x>>32)) );
  11         return r;
  12 }
  13
  14 static inline int a_ctz_l(unsigned long x)
  15 {
  16         long r;
  17         __asm__( "bsf %1,%0" : "=r"(r) : "r"(x) );
  18         return r;
  19 }
  20
  21 static inline void a_and_64(volatile uint64_t *p, uint64_t v)
  22 {
  23         __asm__( "lock ; andl %1, (%0) ; lock ; andl %2, 4(%0)"
  24                 : : "r"((long *)p), "r"((unsigned)v), "r"((unsigned)(v>>32)) : "memory" );
  25 }
  26
  27 static inline void a_or_64(volatile uint64_t *p, uint64_t v)
  28 {
  29         __asm__( "lock ; orl %1, (%0) ; lock ; orl %2, 4(%0)"
  30                 : : "r"((long *)p), "r"((unsigned)v), "r"((unsigned)(v>>32)) : "memory" );
  31 }
  32
  33 static inline void a_store_l(volatile void *p, long x)
  34 {
  35         __asm__( "movl %1, %0" : "=m"(*(long *)p) : "r"(x) : "memory" );
  36 }
  37
  38 static inline void a_or_l(volatile void *p, long v)
  39 {
  40         __asm__( "lock ; orl %1, %0"
  41                 : "=m"(*(long *)p) : "r"(v) : "memory" );
  42 }
  43
  44 static inline void *a_cas_p(volatile void *p, void *t, void *s)
  45 {
  46         __asm__( "lock ; cmpxchg %3, %1"
  47                 : "=a"(t), "=m"(*(long *)p) : "a"(t), "r"(s) : "memory" );
  48         return t;
  49 }
  50
  51 static inline long a_cas_l(volatile void *p, long t, long s)
  52 {
  53         __asm__( "lock ; cmpxchg %3, %1"
  54                 : "=a"(t), "=m"(*(long *)p) : "a"(t), "r"(s) : "memory" );
  55         return t;
  56 }
  57
  58 static inline int a_cas(volatile int *p, int t, int s)
  59 {
  60         __asm__( "lock ; cmpxchg %3, %1"
  61                 : "=a"(t), "=m"(*p) : "a"(t), "r"(s) : "memory" );
  62         return t;
  63 }
  64
  65 static inline void *a_swap_p(void *volatile *x, void *v)
  66 {
  67         __asm__( "xchg %0, %1" : "=r"(v), "=m"(*(void **)x) : "0"(v) : "memory" );
  68         return v;
  69 }
  70 static inline long a_swap_l(volatile void *x, long v)
  71 {
  72         __asm__( "xchg %0, %1" : "=r"(v), "=m"(*(long *)x) : "0"(v) : "memory" );
  73         return v;
  74 }
  75
  76 static inline void a_or(volatile void *p, int v)
  77 {
  78         __asm__( "lock ; orl %1, %0"
  79                 : "=m"(*(int *)p) : "r"(v) : "memory" );
  80 }
  81
  82 static inline void a_and(volatile void *p, int v)
  83 {
  84         __asm__( "lock ; andl %1, %0"
  85                 : "=m"(*(int *)p) : "r"(v) : "memory" );
  86 }
  87
  88 static inline int a_swap(volatile int *x, int v)
  89 {
  90         __asm__( "xchg %0, %1" : "=r"(v), "=m"(*x) : "0"(v) : "memory" );
  91         return v;
  92 }
  93
  94 #define a_xchg a_swap
  95
  96 static inline int a_fetch_add(volatile int *x, int v)
  97 {
  98         __asm__( "lock ; xadd %0, %1" : "=r"(v), "=m"(*x) : "0"(v) : "memory" );
  99         return v;
 100 }
 101
 102 static inline void a_inc(volatile int *x)
 103 {
 104         __asm__( "lock ; incl %0" : "=m"(*x) : "m"(*x) : "memory" );
 105 }
 106
 107 static inline void a_dec(volatile int *x)
 108 {
 109         __asm__( "lock ; decl %0" : "=m"(*x) : "m"(*x) : "memory" );
 110 }
 111
 112 static inline void a_store(volatile int *p, int x)
 113 {
 114         __asm__( "movl %1, %0" : "=m"(*p) : "r"(x) : "memory" );
 115 }
 116
 117 static inline void a_spin()
 118 {
 119         __asm__ __volatile__( "pause" : : : "memory" );
 120 }
 121
 122 static inline void a_crash()
 123 {
 124         __asm__ __volatile__( "hlt" : : : "memory" );
 125 }
 126
 127
 128 #endif