nsz Git - musl/blob - arch/i386/atomic.h

   1 #ifndef _INTERNAA_ATOMIC_H
   2 #define _INTERNAA_ATOMIC_H
   3
   4 #include <stdint.h>
   5
   6 static inline int a_ctz_64(uint64_t x)
   7 {
   8         int r;
   9         __asm__( "bsf %1,%0 ; jnz 1f ; bsf %2,%0 ; addl $32,%0\n1:"
  10                 : "=r"(r) : "r"((unsigned)x), "r"((unsigned)(x>>32)) );
  11         return r;
  12 }
  13
  14
  15 static inline void a_and_64(volatile uint64_t *p, uint64_t v)
  16 {
  17         __asm__( "lock ; andl %1, (%0) ; lock ; andl %2, 4(%0)"
  18                 : : "r"((long *)p), "r"((unsigned)v), "r"((unsigned)(v>>32)) : "memory" );
  19 }
  20
  21 static inline void a_or_64(volatile uint64_t *p, uint64_t v)
  22 {
  23         __asm__( "lock ; orl %1, (%0) ; lock ; orl %2, 4(%0)"
  24                 : : "r"((long *)p), "r"((unsigned)v), "r"((unsigned)(v>>32)) : "memory" );
  25 }
  26
  27 static inline void a_store_l(volatile void *p, long x)
  28 {
  29         __asm__( "movl %1, %0" : "=m"(*(long *)p) : "r"(x) : "memory" );
  30 }
  31
  32 static inline void a_or_l(volatile void *p, long v)
  33 {
  34         __asm__( "lock ; orl %1, %0"
  35                 : "=m"(*(long *)p) : "r"(v) : "memory" );
  36 }
  37
  38 static inline void *a_cas_p(volatile void *p, void *t, void *s)
  39 {
  40         __asm__( "lock ; cmpxchg %3, %1"
  41                 : "=a"(t), "=m"(*(long *)p) : "a"(t), "r"(s) : "memory" );
  42         return t;
  43 }
  44
  45 static inline long a_cas_l(volatile void *p, long t, long s)
  46 {
  47         __asm__( "lock ; cmpxchg %3, %1"
  48                 : "=a"(t), "=m"(*(long *)p) : "a"(t), "r"(s) : "memory" );
  49         return t;
  50 }
  51
  52 static inline int a_cas(volatile int *p, int t, int s)
  53 {
  54         __asm__( "lock ; cmpxchg %3, %1"
  55                 : "=a"(t), "=m"(*p) : "a"(t), "r"(s) : "memory" );
  56         return t;
  57 }
  58
  59 static inline void *a_swap_p(void *volatile *x, void *v)
  60 {
  61         __asm__( "xchg %0, %1" : "=r"(v), "=m"(*(void **)x) : "0"(v) : "memory" );
  62         return v;
  63 }
  64 static inline long a_swap_l(volatile void *x, long v)
  65 {
  66         __asm__( "xchg %0, %1" : "=r"(v), "=m"(*(long *)x) : "0"(v) : "memory" );
  67         return v;
  68 }
  69
  70 static inline void a_or(volatile void *p, int v)
  71 {
  72         __asm__( "lock ; orl %1, %0"
  73                 : "=m"(*(int *)p) : "r"(v) : "memory" );
  74 }
  75
  76 static inline void a_and(volatile void *p, int v)
  77 {
  78         __asm__( "lock ; andl %1, %0"
  79                 : "=m"(*(int *)p) : "r"(v) : "memory" );
  80 }
  81
  82 static inline int a_swap(volatile int *x, int v)
  83 {
  84         __asm__( "xchg %0, %1" : "=r"(v), "=m"(*x) : "0"(v) : "memory" );
  85         return v;
  86 }
  87
  88 #define a_xchg a_swap
  89
  90 static inline int a_fetch_add(volatile int *x, int v)
  91 {
  92         __asm__( "lock ; xadd %0, %1" : "=r"(v), "=m"(*x) : "0"(v) : "memory" );
  93         return v;
  94 }
  95
  96 static inline void a_inc(volatile int *x)
  97 {
  98         __asm__( "lock ; incl %0" : "=m"(*x) : "m"(*x) : "memory" );
  99 }
 100
 101 static inline void a_dec(volatile int *x)
 102 {
 103         __asm__( "lock ; decl %0" : "=m"(*x) : "m"(*x) : "memory" );
 104 }
 105
 106 static inline void a_store(volatile int *p, int x)
 107 {
 108         __asm__( "movl %1, %0" : "=m"(*p) : "r"(x) : "memory" );
 109 }
 110
 111 static inline void a_spin()
 112 {
 113         __asm__ __volatile__( "pause" : : : "memory" );
 114 }
 115
 116
 117 #endif