nsz Git - musl/blob - arch/i386/atomic.h

   1 #ifndef _INTERNAA_ATOMIC_H
   2 #define _INTERNAA_ATOMIC_H
   3
   4 #include <stdint.h>
   5
   6 static inline int a_ctz_64(uint64_t x)
   7 {
   8         int r;
   9         __asm__( "bsf %1,%0 ; jnz 1f ; bsf %2,%0 ; addl $32,%0\n1:"
  10                 : "=r"(r) : "r"((unsigned)x), "r"((unsigned)(x>>32)) );
  11         return r;
  12 }
  13
  14
  15 static inline void a_and_64(volatile uint64_t *p, uint64_t v)
  16 {
  17         __asm__( "lock ; andl %1, (%0) ; lock ; andl %2, 4(%0)"
  18                 : : "r"((long *)p), "r"((unsigned)v), "r"((unsigned)(v>>32)) : "memory" );
  19 }
  20
  21 static inline void a_or_64(volatile uint64_t *p, uint64_t v)
  22 {
  23         __asm__( "lock ; orl %1, (%0) ; lock ; orl %2, 4(%0)"
  24                 : : "r"((long *)p), "r"((unsigned)v), "r"((unsigned)(v>>32)) : "memory" );
  25 }
  26
  27 static inline void a_store_l(volatile void *p, long x)
  28 {
  29         __asm__( "movl %1, %0" : "=m"(*(long *)p) : "r"(x) : "memory" );
  30 }
  31
  32 static inline void a_or_l(volatile void *p, long v)
  33 {
  34         __asm__( "lock ; orl %1, %0"
  35                 : "=m"(*(long *)p) : "r"(v) : "memory" );
  36 }
  37
  38 static inline void *a_cas_p(volatile void *p, void *t, void *s)
  39 {
  40         __asm__( "lock ; cmpxchg %3, %1"
  41                 : "=a"(t), "=m"(*(long *)p) : "a"(t), "r"(s) : "memory" );
  42         return t;
  43 }
  44
  45 static inline long a_cas_l(volatile void *p, long t, long s)
  46 {
  47         __asm__( "lock ; cmpxchg %3, %1"
  48                 : "=a"(t), "=m"(*(long *)p) : "a"(t), "r"(s) : "memory" );
  49         return t;
  50 }
  51
  52 static inline void *a_swap_p(void *volatile *x, void *v)
  53 {
  54         __asm__( "xchg %0, %1" : "=r"(v), "=m"(*(void **)x) : "0"(v) : "memory" );
  55         return v;
  56 }
  57 static inline long a_swap_l(volatile void *x, long v)
  58 {
  59         __asm__( "xchg %0, %1" : "=r"(v), "=m"(*(long *)x) : "0"(v) : "memory" );
  60         return v;
  61 }
  62
  63 static inline void a_or(volatile void *p, int v)
  64 {
  65         __asm__( "lock ; orl %1, %0"
  66                 : "=m"(*(int *)p) : "r"(v) : "memory" );
  67 }
  68
  69 static inline void a_and(volatile void *p, int v)
  70 {
  71         __asm__( "lock ; andl %1, %0"
  72                 : "=m"(*(int *)p) : "r"(v) : "memory" );
  73 }
  74
  75 static inline int a_swap(volatile int *x, int v)
  76 {
  77         __asm__( "xchg %0, %1" : "=r"(v), "=m"(*x) : "0"(v) : "memory" );
  78         return v;
  79 }
  80
  81 #define a_xchg a_swap
  82
  83 static inline int a_fetch_add(volatile int *x, int v)
  84 {
  85         __asm__( "lock ; xadd %0, %1" : "=r"(v), "=m"(*x) : "0"(v) : "memory" );
  86         return v;
  87 }
  88
  89 static inline void a_inc(volatile int *x)
  90 {
  91         __asm__( "lock ; incl %0" : "=m"(*x) : "m"(*x) : "memory" );
  92 }
  93
  94 static inline void a_dec(volatile int *x)
  95 {
  96         __asm__( "lock ; decl %0" : "=m"(*x) : "m"(*x) : "memory" );
  97 }
  98
  99 static inline void a_store(volatile int *p, int x)
 100 {
 101         __asm__( "movl %1, %0" : "=m"(*p) : "r"(x) : "memory" );
 102 }
 103
 104 static inline void a_spin()
 105 {
 106         __asm__ __volatile__( "pause" : : : "memory" );
 107 }
 108
 109
 110 #endif