track all live threads in an AS-safe, fully-consistent linked list
[musl] / src / internal / pthread_impl.h
index 01e6e5a..508b40b 100644 (file)
@@ -2,17 +2,10 @@
 #define _PTHREAD_IMPL_H
 
 #include <pthread.h>
-#include <sched.h>
 #include <signal.h>
-#include <unistd.h>
-#include <sys/mman.h>
 #include <errno.h>
 #include <limits.h>
-#include <inttypes.h>
-#include <setjmp.h>
-#include <string.h>
-#include <time.h>
-#include <locale.h>
+#include <sys/mman.h>
 #include "libc.h"
 #include "syscall.h"
 #include "atomic.h"
 #define pthread __pthread
 
 struct pthread {
+       /* Part 1 -- these fields may be external or
+        * internal (accessed via asm) ABI. Do not change. */
        struct pthread *self;
-       void *dtv, *unused1, *unused2;
+       uintptr_t *dtv;
+       struct pthread *prev, *next; /* non-ABI */
        uintptr_t sysinfo;
-       uintptr_t canary;
-       pid_t tid, pid;
-       int tsd_used, errno_val, *errno_ptr;
-       volatile int cancel, canceldisable, cancelasync;
+       uintptr_t canary, canary2;
+
+       /* Part 2 -- implementation details, non-ABI. */
+       int tid;
+       int errno_val;
+       volatile int detach_state;
+       volatile int cancel;
+       volatile unsigned char canceldisable, cancelasync;
+       unsigned char tsd_used:1;
+       unsigned char dlerror_flag:1;
        unsigned char *map_base;
        size_t map_size;
-       void *start_arg;
-       void *(*start)(void *);
+       void *stack;
+       size_t stack_size;
+       size_t guard_size;
        void *result;
-       int detached;
-       int exitlock;
        struct __ptcb *cancelbuf;
        void **tsd;
-       pthread_attr_t attr;
-       volatile int dead;
        struct {
-               void **head;
+               volatile void *volatile head;
                long off;
-               void *pending;
+               volatile void *volatile pending;
        } robust_list;
-       int unblock_cancel;
-       int delete_timer;
+       volatile int timer_id;
        locale_t locale;
-       int killlock;
+       volatile int killlock[1];
+       char *dlerror_buf;
+       void *stdio_locks;
+
+       /* Part 3 -- the positions of these fields relative to
+        * the end of the structure is external and internal ABI. */
+       uintptr_t canary_at_end;
+       uintptr_t *dtv_copy;
+};
+
+enum {
+       DT_EXITING = 0,
+       DT_JOINABLE,
+       DT_DETACHED,
 };
 
 struct __timer {
@@ -59,58 +70,122 @@ struct __timer {
 
 #define _a_stacksize __u.__s[0]
 #define _a_guardsize __u.__s[1]
-#define _a_detach __u.__i[2*__SU+0]
+#define _a_stackaddr __u.__s[2]
+#define _a_detach __u.__i[3*__SU+0]
+#define _a_sched __u.__i[3*__SU+1]
+#define _a_policy __u.__i[3*__SU+2]
+#define _a_prio __u.__i[3*__SU+3]
 #define _m_type __u.__i[0]
-#define _m_lock __u.__i[1]
-#define _m_waiters __u.__i[2]
+#define _m_lock __u.__vi[1]
+#define _m_waiters __u.__vi[2]
 #define _m_prev __u.__p[3]
 #define _m_next __u.__p[4]
 #define _m_count __u.__i[5]
-#define _c_mutex __u.__p[0]
-#define _c_seq __u.__i[2]
-#define _c_waiters __u.__i[3]
+#define _c_shared __u.__p[0]
+#define _c_seq __u.__vi[2]
+#define _c_waiters __u.__vi[3]
 #define _c_clock __u.__i[4]
-#define _c_lock __u.__i[5]
-#define _c_lockwait __u.__i[6]
-#define _c_waiters2 __u.__i[7]
-#define _c_destroy __u.__i[8]
-#define _rw_lock __u.__i[0]
-#define _rw_waiters __u.__i[1]
-#define _b_lock __u.__i[0]
-#define _b_waiters __u.__i[1]
+#define _c_lock __u.__vi[8]
+#define _c_head __u.__p[1]
+#define _c_tail __u.__p[5]
+#define _rw_lock __u.__vi[0]
+#define _rw_waiters __u.__vi[1]
+#define _rw_shared __u.__i[2]
+#define _b_lock __u.__vi[0]
+#define _b_waiters __u.__vi[1]
 #define _b_limit __u.__i[2]
-#define _b_count __u.__i[3]
-#define _b_waiters2 __u.__i[4]
+#define _b_count __u.__vi[3]
+#define _b_waiters2 __u.__vi[4]
 #define _b_inst __u.__p[3]
 
 #include "pthread_arch.h"
 
+#ifndef CANARY
+#define CANARY canary
+#endif
+
+#ifndef DTP_OFFSET
+#define DTP_OFFSET 0
+#endif
+
+#ifndef tls_mod_off_t
+#define tls_mod_off_t size_t
+#endif
+
 #define SIGTIMER 32
 #define SIGCANCEL 33
 #define SIGSYNCCALL 34
 
-#define SIGPT_SET ((sigset_t *)(unsigned long [1+(sizeof(long)==4)]){ \
+#define SIGALL_SET ((sigset_t *)(const unsigned long long [2]){ -1,-1 })
+#define SIGPT_SET \
+       ((sigset_t *)(const unsigned long [_NSIG/8/sizeof(long)]){ \
        [sizeof(long)==4] = 3UL<<(32*(sizeof(long)>4)) })
-#define SIGTIMER_SET ((sigset_t *)(unsigned long [1+(sizeof(long)==4)]){ \
+#define SIGTIMER_SET \
+       ((sigset_t *)(const unsigned long [_NSIG/8/sizeof(long)]){ \
         0x80000000 })
 
-pthread_t __pthread_self_init(void);
+void *__tls_get_addr(tls_mod_off_t *);
+hidden void *__tls_get_new(tls_mod_off_t *);
+hidden int __init_tp(void *);
+hidden void *__copy_tls(unsigned char *);
+hidden void __reset_tls();
+
+hidden void __dl_thread_cleanup(void);
+hidden void __testcancel();
+hidden void __do_cleanup_push(struct __ptcb *);
+hidden void __do_cleanup_pop(struct __ptcb *);
+hidden void __pthread_tsd_run_dtors();
+
+hidden void __pthread_key_delete_synccall(void (*)(void *), void *);
+hidden int __pthread_key_delete_impl(pthread_key_t);
+
+extern hidden volatile int __block_new_threads;
+extern hidden volatile size_t __pthread_tsd_size;
+extern hidden void *__pthread_tsd_main[];
+extern hidden volatile int __aio_fut;
+extern hidden volatile int __eintr_valid_flag;
+
+hidden int __clone(int (*)(void *), void *, int, void *, ...);
+hidden int __set_thread_area(void *);
+hidden int __libc_sigaction(int, const struct sigaction *, struct sigaction *);
+hidden void __unmapself(void *, size_t);
+
+hidden int __timedwait(volatile int *, int, clockid_t, const struct timespec *, int);
+hidden int __timedwait_cp(volatile int *, int, clockid_t, const struct timespec *, int);
+hidden void __wait(volatile int *, volatile int *, int, int);
+static inline void __wake(volatile void *addr, int cnt, int priv)
+{
+       if (priv) priv = FUTEX_PRIVATE;
+       if (cnt<0) cnt = INT_MAX;
+       __syscall(SYS_futex, addr, FUTEX_WAKE|priv, cnt) != -ENOSYS ||
+       __syscall(SYS_futex, addr, FUTEX_WAKE, cnt);
+}
+static inline void __futexwait(volatile void *addr, int val, int priv)
+{
+       if (priv) priv = FUTEX_PRIVATE;
+       __syscall(SYS_futex, addr, FUTEX_WAIT|priv, val, 0) != -ENOSYS ||
+       __syscall(SYS_futex, addr, FUTEX_WAIT, val, 0);
+}
+
+hidden void __acquire_ptc(void);
+hidden void __release_ptc(void);
+hidden void __inhibit_ptc(void);
+
+hidden void __tl_lock(void);
+hidden void __tl_unlock(void);
+hidden void __tl_sync(pthread_t);
+
+extern hidden volatile int __thread_list_lock;
 
-int __clone(int (*)(void *), void *, int, void *, ...);
-int __set_thread_area(void *);
-int __libc_sigaction(int, const struct sigaction *, struct sigaction *);
-int __libc_sigprocmask(int, const sigset_t *, sigset_t *);
-void __lock(volatile int *);
-void __unmapself(void *, size_t);
+extern hidden unsigned __default_stacksize;
+extern hidden unsigned __default_guardsize;
 
-int __timedwait(volatile int *, int, clockid_t, const struct timespec *, void (*)(void *), void *, int);
-void __wait(volatile int *, volatile int *, int, int);
-void __wake(volatile int *, int, int);
+#define DEFAULT_STACK_SIZE 131072
+#define DEFAULT_GUARD_SIZE 8192
 
-void __synccall_lock();
-void __synccall_unlock();
+#define DEFAULT_STACK_MAX (8<<20)
+#define DEFAULT_GUARD_MAX (1<<20)
 
-#define DEFAULT_STACK_SIZE (16384-PAGE_SIZE)
-#define DEFAULT_GUARD_SIZE PAGE_SIZE
+#define __ATTRP_C11_THREAD ((void*)(uintptr_t)-1)
 
 #endif