11 years agoupdate fnmatch to POSIX 2008 semantics
Rich Felker [Thu, 26 Apr 2012 16:24:44 +0000 (12:24 -0400)]
update fnmatch to POSIX 2008 semantics

an invalid bracket expression must be treated as if the opening
bracket were just a literal character. this is to fix a bug whereby
POSIX left the behavior of the "[" shell command undefined due to it
being an invalid bracket expression.

11 years agorelease notes for 0.8.10
Rich Felker [Wed, 25 Apr 2012 18:35:51 +0000 (14:35 -0400)]
release notes for 0.8.10

11 years agogdb shared library debugging support
Rich Felker [Wed, 25 Apr 2012 04:05:42 +0000 (00:05 -0400)]
gdb shared library debugging support

provide the minimal level of dynamic linker-to-debugger glue needed to
let gdb find loaded libraries and load their symbols.

11 years agofirst attempt at enabling stack protector support
Rich Felker [Tue, 24 Apr 2012 22:07:59 +0000 (18:07 -0400)]
first attempt at enabling stack protector support

the code is written to pre-init the thread pointer in static linked
programs that pull in __stack_chk_fail or dynamic-linked programs that
lookup the symbol. no explicit canary is set; the canary will be
whatever happens to be in the thread structure at the offset gcc
hard-coded. this can be improved later.

11 years agouse signed char rather than plain char for int8_t
Rich Felker [Tue, 24 Apr 2012 22:06:56 +0000 (18:06 -0400)]
use signed char rather than plain char for int8_t

otherwise this BADLY breaks if -funsigned-char is passed to gcc

11 years agoadd another example option to dist/config.mak
Rich Felker [Tue, 24 Apr 2012 20:49:11 +0000 (16:49 -0400)]
add another example option to dist/config.mak

11 years agoditch the priority inheritance locks; use malloc's version of lock
Rich Felker [Tue, 24 Apr 2012 20:32:23 +0000 (16:32 -0400)]
ditch the priority inheritance locks; use malloc's version of lock

i did some testing trying to switch malloc to use the new internal
lock with priority inheritance, and my malloc contention test got
20-100 times slower. if priority inheritance futexes are this slow,
it's simply too high a price to pay for avoiding priority inversion.
maybe we can consider them somewhere down the road once the kernel
folks get their act together on this (and perferably don't link it to
glibc's inefficient lock API)...

as such, i've switch __lock to use malloc's implementation of
lightweight locks, and updated all the users of the code to use an
array with a waiter count for their locks. this should give optimal
performance in the vast majority of cases, and it's simple.

malloc is still using its own internal copy of the lock code because
it seems to yield measurably better performance with -O3 when it's
inlined (20% or more difference in the contention stress test).

11 years agointernal locks: new owner of contended lock must set waiters flag
Rich Felker [Tue, 24 Apr 2012 17:55:06 +0000 (13:55 -0400)]
internal locks: new owner of contended lock must set waiters flag

this bug probably would have gone unnoticed since it's only used in
the fallback code for systems where priority-inheritance locking
fails. unfortunately this approach results in one spurious wake
syscall on the final unlock, when there are no waiters remaining. the
alternative (possibly better) would be to use broadcast wakes instead
of reflagging the waiter unconditionally, and let each waiter reflag
itself; this saves one syscall at the expense of invoking the
"thundering herd" effect (worse performance degredation) when there
are many waiters.

ideally we would be able to update all of our locks to use an array of
two ints rather than a single int, and use a separate counter system
like proper mutexes use; then we could avoid all spurious wake calls
without resorting to broadcasts. however, it's not clear to me that
priority inheritance futexes support this usage. the kernel sets the
waiters flag for them (just like we're doing now) and i can't tell if
it's safe to bypass the kernel when unlocking just because we know
(from private data, the waiter count) that there are no waiters. this
is something that could be explored in the future.

11 years agonew internal locking primitive; drop spinlocks
Rich Felker [Tue, 24 Apr 2012 10:36:50 +0000 (06:36 -0400)]
new internal locking primitive; drop spinlocks

we use priority inheritance futexes if possible so that the library
cannot hit internal priority inversion deadlocks in the presence of
realtime priority scheduling (full support to be added later).

11 years agonew wcwidth implementation (fast table-based)
Rich Felker [Tue, 24 Apr 2012 08:23:55 +0000 (04:23 -0400)]
new wcwidth implementation (fast table-based)

i tried to go with improving the old binary-search-based algorithm,
but between growth in the number of ranges, bad performance, and lack
of confidence in the binary search code's stability under changes in
the table, i decided it was worth the extra 1.8k to have something
clean and maintainable.

also note that, like the alpha and punct tables, there's definitely
room to optimize the nonspacing/wide tables by overlapping subtables.
this is not a high priority, but i've begun looking into how to do it,
and i suspect the table sizes can be roughly halved. if that turns out
to be true, the new, fast, table-based implementation will be roughly
the same size as if i had just extended the old binary search one.

11 years agosync case mappings with unicode 6.1
Rich Felker [Mon, 23 Apr 2012 23:19:26 +0000 (19:19 -0400)]
sync case mappings with unicode 6.1

also special-case ß (U+00DF) as lowercase even though it does not have
a mapping to uppercase. unicode added an uppercase version of this
character but does not map it, presumably because the uppercase
version is not actually used except for some obscure purpose...

11 years agooptimize iswprint
Rich Felker [Mon, 23 Apr 2012 20:10:36 +0000 (16:10 -0400)]
optimize iswprint

11 years agofix spurious punct class for some surrogate codepoints (invalid)
Rich Felker [Mon, 23 Apr 2012 20:02:46 +0000 (16:02 -0400)]
fix spurious punct class for some surrogate codepoints (invalid)

this happened due to their entries in UnicodeData.txt

11 years agodestubify iswalpha and update iswpunct to unicode 6.1
Rich Felker [Mon, 23 Apr 2012 19:25:23 +0000 (15:25 -0400)]
destubify iswalpha and update iswpunct to unicode 6.1

alpha is defined as unicode property "Alphabetic" plus category Nd
minus ASCII digits minus 2 special-cased Thai punctuation marks
supposedly misclassified by Unicode as letters.

punct is defined as all of unicode except control, alphanumeric, and
space characters.

the tables were generated by a simple tool based on the code posted
previously to the mailing list. in the future, this and other code
used for maintaining locale/iconv/i18n data will be published either
in the main source repository or in a separate locale data generation

11 years agomake dlerror produce informative results
Rich Felker [Mon, 23 Apr 2012 16:03:31 +0000 (12:03 -0400)]
make dlerror produce informative results

note that dlerror is specified to be non-thread-safe, so no locking is
performed on the error flag or message aside from the rwlock already
held by dlopen or dlsym. if 2 invocations of dlsym are generating
errors at the same time, they could clobber each other's results, but
the resulting string, albeit corrupt, will still be null-terminated.
any use of dlerror in such a situation could not be expected to give
meaningful results anyway.

11 years agoimplement getusershell, etc. legacy functions
Rich Felker [Sun, 22 Apr 2012 18:41:54 +0000 (14:41 -0400)]
implement getusershell, etc. legacy functions

I actually wrote these a month ago but forgot to integrate them. ugly,
probably-harmful-to-use functions, but some legacy apps want them...

11 years agogetdtablesize is not standard; move it to its correct spot in unistd.h
Rich Felker [Sun, 22 Apr 2012 18:39:07 +0000 (14:39 -0400)]
getdtablesize is not standard; move it to its correct spot in unistd.h

11 years agonew gcc wrapper, entirely specfile based
Rich Felker [Sun, 22 Apr 2012 18:32:49 +0000 (14:32 -0400)]
new gcc wrapper, entirely specfile based

the _concept_ of this wrapper has been tested extensively, but the
integration with the build/install system, and using a persistent
specfile rather than one generated at build-time, have not been
heavily tested and may need minor tweaks.

this approach should be a lot more robust (and easier to improve) than
writing a shell script that's responsible for trying to mimic gcc's
logic about whether it's compiling or linking, building shared libs or
executable files, etc. it's also lighter weight and should result in
mildly faster builds when using the wrapper.

11 years agoremove redundant (unmaintained) check in floatscan
Rich Felker [Sun, 22 Apr 2012 18:05:12 +0000 (14:05 -0400)]
remove redundant (unmaintained) check in floatscan

also be extra careful to avoid wrapping the circular buffer early

11 years agofix breakage in endian.h
Rich Felker [Sun, 22 Apr 2012 15:19:17 +0000 (11:19 -0400)]
fix breakage in endian.h

11 years agoadd some ugly byte swapping cruft in endian.h
Rich Felker [Sun, 22 Apr 2012 15:08:01 +0000 (11:08 -0400)]
add some ugly byte swapping cruft in endian.h

11 years agoadd getresuid and getresgid syscall wrappers
Rich Felker [Sun, 22 Apr 2012 14:37:19 +0000 (10:37 -0400)]
add getresuid and getresgid syscall wrappers

11 years agofix major breakage in iconv, bogus rejecting of dest charsets
Rich Felker [Sat, 21 Apr 2012 18:46:40 +0000 (14:46 -0400)]
fix major breakage in iconv, bogus rejecting of dest charsets

11 years agomake floatscan correctly set errno for overflow/underflow
Rich Felker [Sat, 21 Apr 2012 18:14:10 +0000 (14:14 -0400)]
make floatscan correctly set errno for overflow/underflow

care is taken that the setting of errno correctly reflects underflow
condition. scanning exact denormal values does not result in ERANGE,
nor does scanning values (such as the usual string definition of
FLT_MIN) which are actually less than the smallest normal number but
which round to a normal result.

only the decimal case is handled so far; hex float require a separate
fix to come later.

11 years agoskip leading zeros even after decimal point in floatscan
Rich Felker [Sat, 21 Apr 2012 17:50:23 +0000 (13:50 -0400)]
skip leading zeros even after decimal point in floatscan

in principle this should just be an optimization, but it happens to
also fix a nasty bug where values like 0.00000000001 were getting
caught by the early zero detection path and wrongly scanned as zero.

11 years agofix overread (consuming an extra byte) scanning NAN
Rich Felker [Sat, 21 Apr 2012 15:57:39 +0000 (11:57 -0400)]
fix overread (consuming an extra byte) scanning NAN

bug detected by glib test suite

11 years agofix broken sysconf when correct value is -1
Rich Felker [Sat, 21 Apr 2012 15:45:07 +0000 (11:45 -0400)]
fix broken sysconf when correct value is -1

this caused glib to try to allocate >2gb for getpwnam_r, and probably
numerous other problems.

11 years agorelease notes for 0.8.9 (bugfix release)
Rich Felker [Fri, 20 Apr 2012 02:02:50 +0000 (22:02 -0400)]
release notes for 0.8.9 (bugfix release)

11 years agofurther fixes to leading space issue (forgot the wide versions)
Rich Felker [Thu, 19 Apr 2012 16:56:29 +0000 (12:56 -0400)]
further fixes to leading space issue (forgot the wide versions)

11 years agofix really bad breakage in strtol, etc.: failure to accept leading spaces
Rich Felker [Thu, 19 Apr 2012 16:47:34 +0000 (12:47 -0400)]
fix really bad breakage in strtol, etc.: failure to accept leading spaces

11 years agofix header typo
Rich Felker [Wed, 18 Apr 2012 17:11:35 +0000 (13:11 -0400)]
fix header typo

11 years agolegacy junk compatibility grab-bag
Rich Felker [Wed, 18 Apr 2012 16:22:24 +0000 (12:22 -0400)]
legacy junk compatibility grab-bag

- add the rest of the junk traditionally in sys/param.h
- add prototypes for some nonstandard functions
- add _GNU_SOURCE to their source files so the compiler can check proto

11 years agofix incorrect macro name for MATH_ERREXCEPT in math.h
Rich Felker [Wed, 18 Apr 2012 15:41:04 +0000 (11:41 -0400)]
fix incorrect macro name for MATH_ERREXCEPT in math.h

11 years agorelease notes for 0.8.8
Rich Felker [Wed, 18 Apr 2012 08:40:06 +0000 (04:40 -0400)]
release notes for 0.8.8

11 years agofix typo in exponent reading code or floats
Rich Felker [Wed, 18 Apr 2012 07:53:53 +0000 (03:53 -0400)]
fix typo in exponent reading code or floats

this was basically harmless, but could have resulted in misreading
inputs with more than a few gigabytes worth of digits..

11 years agofix wide scanf's handling of input failure on %c, and simplify %[
Rich Felker [Wed, 18 Apr 2012 03:35:49 +0000 (23:35 -0400)]
fix wide scanf's handling of input failure on %c, and simplify %[

11 years agofix failure to distinguish input/match failure in wide %[ scanf
Rich Felker [Wed, 18 Apr 2012 03:08:58 +0000 (23:08 -0400)]
fix failure to distinguish input/match failure in wide %[ scanf

this also includes a related fix for vswscanf's read function, which
was returning a spurious (uninitialized) character for empty strings.

11 years agofix over-read in %ls with non-wide scanf
Rich Felker [Wed, 18 Apr 2012 02:41:38 +0000 (22:41 -0400)]
fix over-read in %ls with non-wide scanf

11 years agofix broken %s and %[ with no width specifier in wide scanf
Rich Felker [Wed, 18 Apr 2012 02:15:33 +0000 (22:15 -0400)]
fix broken %s and %[ with no width specifier in wide scanf

11 years agofix failure to read infinity in scanf
Rich Felker [Wed, 18 Apr 2012 02:05:51 +0000 (22:05 -0400)]
fix failure to read infinity in scanf

this code worked in strtod, but not in scanf. more evidence that i
should design a better interface for discarding multiple tail
characters than just calling unget repeatedly...

11 years agofix failure of int parser to unget an initial mismatching character
Rich Felker [Wed, 18 Apr 2012 01:17:19 +0000 (21:17 -0400)]
fix failure of int parser to unget an initial mismatching character

11 years agomake wide scanf %[ respect width
Rich Felker [Wed, 18 Apr 2012 01:17:09 +0000 (21:17 -0400)]
make wide scanf %[ respect width

11 years agofix wide scanf to respect field width for strings
Rich Felker [Tue, 17 Apr 2012 23:37:31 +0000 (19:37 -0400)]
fix wide scanf to respect field width for strings

11 years agofix some bugs in scanf %[ handling detected while writing the wide version
Rich Felker [Tue, 17 Apr 2012 18:22:22 +0000 (14:22 -0400)]
fix some bugs in scanf %[ handling detected while writing the wide version

11 years agointroduce new wide scanf code and remove the last remnants of old scanf
Rich Felker [Tue, 17 Apr 2012 18:19:46 +0000 (14:19 -0400)]
introduce new wide scanf code and remove the last remnants of old scanf

at this point, strto* and all scanf family functions are using the new
unified integer and floating point parser/converter code.

the wide scanf is largely a wrapper for ordinary byte-based scanf;
since numbers can only contain ascii characters, only strings need to
be handled specially.

11 years agoavoid depending on POSIX symbol in code used from plain C functions
Rich Felker [Tue, 17 Apr 2012 17:17:01 +0000 (13:17 -0400)]
avoid depending on POSIX symbol in code used from plain C functions

11 years agoavoid null pointer dereference on %*p fields in scanf
Rich Felker [Tue, 17 Apr 2012 15:50:02 +0000 (11:50 -0400)]
avoid null pointer dereference on %*p fields in scanf

11 years agoalso ensure that write buffer is bounded when __stdio_write returns
Rich Felker [Tue, 17 Apr 2012 15:08:11 +0000 (11:08 -0400)]
also ensure that write buffer is bounded when __stdio_write returns

assuming other code is correct, this should be a no-op, but better to
be safe...

11 years agofix buffer overflow in vfprintf on long writes to unbuffered files
Rich Felker [Tue, 17 Apr 2012 14:58:02 +0000 (10:58 -0400)]
fix buffer overflow in vfprintf on long writes to unbuffered files

vfprintf temporarily swaps in a local buffer (for the duration of the
operation) when the target stream is unbuffered; this both simplifies
the implementation of functions like dprintf (they don't need their
own buffers) and eliminates the pathologically bad performance of
writing the formatted output with one or more write syscalls per
formatting field.

in cases like dprintf where we are dealing with a virgin FILE
structure, everything worked correctly. however for long-lived files
(like stderr), it's possible that the buffer bounds were already set
for the internal zero-size buffer. on the next write, __stdio_write
would pick up and use the new buffer provided by vfprintf, but the
bound (wend) field was still pointing at the internal zero-size
buffer's end. this in turn allowed unbounded writes to the temporary

11 years agofix %lf, etc. with printf
Rich Felker [Tue, 17 Apr 2012 01:50:23 +0000 (21:50 -0400)]
fix %lf, etc. with printf

the l prefix is redundant/no-op with printf, since default promotions
always promote floats to double; however, it is valid, and printf was
wrongly rejecting it.

11 years agobetter description for errno==0
Rich Felker [Mon, 16 Apr 2012 22:37:53 +0000 (18:37 -0400)]
better description for errno==0

11 years agoimplement wcstod and family
Rich Felker [Mon, 16 Apr 2012 21:26:54 +0000 (17:26 -0400)]
implement wcstod and family

not heavily tested but these functions appear to work correctly

11 years agoavoid hitting eof in wcstol
Rich Felker [Mon, 16 Apr 2012 21:17:05 +0000 (17:17 -0400)]
avoid hitting eof in wcstol

shunget cannot unget eof status, causing wcstol to leave endptr
pointing to the wrong place when scanning, for example, L"0x". cheap
fix is to make the read function provide an infinite stream of bogus
characters rather than eof. really this is something of a design flaw
in how the shgetc system is used for strto* and wcsto*; in the long
term, I believe multi-character unget should be scrapped and replaced
with a function that can subtract from the f->shcnt counter.

11 years agouse the new integer parser (FILE/shgetc based) for strtol, wcstol, etc.
Rich Felker [Mon, 16 Apr 2012 20:55:24 +0000 (16:55 -0400)]
use the new integer parser (FILE/shgetc based) for strtol, wcstol, etc.

11 years agonew scanf implementation and corresponding integer parser/converter
Rich Felker [Mon, 16 Apr 2012 20:03:45 +0000 (16:03 -0400)]
new scanf implementation and corresponding integer parser/converter

advantages over the old code:
- correct results for floating point (old code was bogus)
- wide/regular scanf separated so scanf does not pull in wide code
- well-defined behavior on integers that overflow dest type
- support for %[a-b] ranges with %[ (impl-defined by widely used)
- no intermediate conversion of fmt string to wide string
- cleaner, easier to share code with strto* functions
- better standards conformance for corner cases

the old code remains in the source tree, as the wide versions of the
scanf-family functions are still using it. it will be removed when no
longer needed.

11 years agofix buggy limiter handling in shgetc
Rich Felker [Mon, 16 Apr 2012 19:36:18 +0000 (15:36 -0400)]
fix buggy limiter handling in shgetc

this is needed for upcoming new scanf

11 years agowordexp must set the we_offs entries of we_wordv to null pointers
Rich Felker [Mon, 16 Apr 2012 17:25:05 +0000 (13:25 -0400)]
wordexp must set the we_offs entries of we_wordv to null pointers

11 years agofix crash in wordfree if we_offs is not initialized by the caller
Rich Felker [Mon, 16 Apr 2012 17:03:22 +0000 (13:03 -0400)]
fix crash in wordfree if we_offs is not initialized by the caller

I'm not sure if it's legal for wordexp to modify this field, but this
is the only easy/straightforward fix, and applications should not
care. if it's an issue, i can work out a different (but more complex)
solution later.

11 years agofix broken shgetc limiter logic (wasn't working)
Rich Felker [Mon, 16 Apr 2012 05:55:37 +0000 (01:55 -0400)]
fix broken shgetc limiter logic (wasn't working)

11 years agofloatscan: fix incorrect count of leading nonzero digits
Rich Felker [Mon, 16 Apr 2012 05:53:52 +0000 (01:53 -0400)]
floatscan: fix incorrect count of leading nonzero digits

this off-by-one error was causing values with just one digit past the
decimal point to be treated by the integer case. in many cases it
would yield the correct result, but if expressions are evaluated in
excess precision, double rounding may occur.

11 years agomove F_DUPFD_CLOEXEC out of bits
Rich Felker [Sun, 15 Apr 2012 21:05:10 +0000 (17:05 -0400)]
move F_DUPFD_CLOEXEC out of bits

fcntl values 1024 and up are universal, arch-independent. later I'll
add some of the other linux-specific ones for notify, leases, pipe
size, etc. here too.

11 years agoadd F_SETSIG and F_GETSIG (linux specific) to fcntl.h
Rich Felker [Sun, 15 Apr 2012 21:01:58 +0000 (17:01 -0400)]
add F_SETSIG and F_GETSIG (linux specific) to fcntl.h

F_* is in the reserved namespace so no feature test is needed

11 years agofix signedness error handling invalid multibyte sequences in regexec
Rich Felker [Sun, 15 Apr 2012 02:32:42 +0000 (22:32 -0400)]
fix signedness error handling invalid multibyte sequences in regexec

the "< 0" test was always false due to use of an unsigned type. this
resulted in infinite loops on 32-bit machines (adding -1U to a pointer
is the same as adding -1) and crashes on 64-bit machines (offsetting
the string pointer by 4gb-1b when an illegal sequence was hit).

11 years agorename __sa_restorer to sa_restorer in struct sigaction
Rich Felker [Sat, 14 Apr 2012 03:06:54 +0000 (23:06 -0400)]
rename __sa_restorer to sa_restorer in struct sigaction

this is legal since sa_* is in the reserved namespace for signal.h,
per posix. note that the sa_restorer field is not used anywhere, so
programs that are trying to use it may still break, but at least
they'll compile. if it turns out such programs actually need to be
able to set their own sa_restorer to function properly, i'll add the
necessary code to sigaction.c later.

11 years agoremove invalid code from TRE
Rich Felker [Fri, 13 Apr 2012 23:50:58 +0000 (19:50 -0400)]
remove invalid code from TRE

TRE wants to treat + and ? after a +, ?, or * as special; ? means
ungreedy and + is reserved for future use. however, this is
non-conformant. although redundant, these redundant characters have
well-defined (no-op) meaning for POSIX ERE, and are actually _literal_
characters (which TRE is wrongly ignoring) in POSIX BRE mode.

the simplest fix is to simply remove the unneeded nonstandard
functionality. as a plus, this shaves off a small amount of bloat.

11 years agofix broken regerror (typo) and missing message
Rich Felker [Fri, 13 Apr 2012 22:40:38 +0000 (18:40 -0400)]
fix broken regerror (typo) and missing message

11 years agouse fast version of the int reading code for the high-order digits too
Rich Felker [Fri, 13 Apr 2012 08:38:56 +0000 (04:38 -0400)]
use fast version of the int reading code for the high-order digits too

this increases code size slightly, but it's considerably faster,
especially for power-of-2 bases.

11 years agouse macros instead of inline functions in shgetc.h
Rich Felker [Fri, 13 Apr 2012 07:59:36 +0000 (03:59 -0400)]
use macros instead of inline functions in shgetc.h

at -Os optimization level, gcc refuses to inline these functions even
though the inlined code would roughly the same size as the function
call, and much faster. the easy solution is to make them into macros.

11 years agofix spurious overflows in strtoull with small bases
Rich Felker [Fri, 13 Apr 2012 07:26:59 +0000 (03:26 -0400)]
fix spurious overflows in strtoull with small bases

whenever the base was small enough that more than one digit could
still fit after UINTMAX_MAX/36-1 was reached, only the first would be
allowed; subsequent digits would trigger spurious overflow, making it
impossible to read the largest values in low bases.

11 years agoremove magic numbers from floatscan
Rich Felker [Thu, 12 Apr 2012 04:25:52 +0000 (00:25 -0400)]
remove magic numbers from floatscan

11 years agooptimize more integer cases in floatscan; comment the whole procedure
Rich Felker [Thu, 12 Apr 2012 04:16:01 +0000 (00:16 -0400)]
optimize more integer cases in floatscan; comment the whole procedure

11 years agorevert invalid optimization in floatscan
Rich Felker [Thu, 12 Apr 2012 03:08:50 +0000 (23:08 -0400)]
revert invalid optimization in floatscan

11 years agofix stupid typo in floatscan that caused excess rounding of some values
Rich Felker [Thu, 12 Apr 2012 01:29:12 +0000 (21:29 -0400)]
fix stupid typo in floatscan that caused excess rounding of some values

11 years agoadd some more useful suggested options to config.mak template
Rich Felker [Thu, 12 Apr 2012 00:25:42 +0000 (20:25 -0400)]
add some more useful suggested options to config.mak template

11 years agoMerge remote branch 'nsz/master'
Rich Felker [Wed, 11 Apr 2012 18:59:36 +0000 (14:59 -0400)]
Merge remote branch 'nsz/master'

11 years agooptimize floatscan downscaler to skip results that won't be needed
Rich Felker [Wed, 11 Apr 2012 18:51:08 +0000 (14:51 -0400)]
optimize floatscan downscaler to skip results that won't be needed

when upscaling, even the very last digit is needed in cases where the
input is exact; no digits can be discarded. but when downscaling, any
digits less significant than the mantissa bits are destined for the
great bitbucket; the only influence they can have is their presence
(being nonzero). thus, we simply throw them away early. the result is
nearly a 4x performance improvement for processing huge values.

the particular threshold LD_B1B_DIG+3 is not chosen sharply; it's
simply a "safe" distance past the significant bits. it would be nice
to replace it with a sharp bound, but i suspect performance will be
comparable (within a few percent) anyway.

11 years agosimplify/debloat radix point alignment code in floatscan
Rich Felker [Wed, 11 Apr 2012 18:20:45 +0000 (14:20 -0400)]
simplify/debloat radix point alignment code in floatscan

now that this is the first operation, it can rely on the circular
buffer contents not being wrapped when it begins. we limit the number
of digits read slightly in the initial parsing loops too so that this
code does not have to consider the case where it might cause the
circular buffer to wrap; this is perfectly fine because KMAX is chosen
as a power of two for circular-buffer purposes and is much larger than
it otherwise needs to be, anyway.

these changes should not affect performance at all.

11 years agooptimize floatscan: avoid excessive upscaling
Rich Felker [Wed, 11 Apr 2012 18:11:47 +0000 (14:11 -0400)]
optimize floatscan: avoid excessive upscaling

upscaling by even one step too much creates 3-29 extra iterations for
the next loop. this is still suboptimal since it always goes by 2^29
rather than using a smaller upscale factor when nearing the target,
but performance on common, small-magnitude, few-digit values has
already more than doubled with this change.

more optimizations on the way...

11 years agofix incorrect initial count in shgetc when data is already buffered
Rich Felker [Wed, 11 Apr 2012 04:26:41 +0000 (00:26 -0400)]
fix incorrect initial count in shgetc when data is already buffered

11 years agofix bug parsing lone zero followed by junk, and hex float over-reading
Rich Felker [Wed, 11 Apr 2012 04:18:57 +0000 (00:18 -0400)]
fix bug parsing lone zero followed by junk, and hex float over-reading

11 years agofix float scanning of certain values ending in zeros
Rich Felker [Wed, 11 Apr 2012 03:41:54 +0000 (23:41 -0400)]
fix float scanning of certain values ending in zeros

for example, "1000000000" was being read as "1" due to this loop
exiting early. it's necessary to actually update z and zero the
entries so that the subsequent rounding code does not get confused;
before i did that, spurious inexact exceptions were being raised.

11 years agofix potential overflow in exponent reading
Rich Felker [Wed, 11 Apr 2012 03:05:16 +0000 (23:05 -0400)]
fix potential overflow in exponent reading

note that there's no need for a precise cutoff, because exponents this
large will always result in overflow or underflow (it's impossible to
read enough digits to compensate for the exponent magnitude; even at a
few nanoseconds per digit it would take hundreds of years).

11 years agoset errno properly when parsing floating point
Rich Felker [Wed, 11 Apr 2012 02:38:21 +0000 (22:38 -0400)]
set errno properly when parsing floating point

11 years agoadd "scan helper getc" and rework strtod, etc. to use it
Rich Felker [Wed, 11 Apr 2012 01:47:37 +0000 (21:47 -0400)]
add "scan helper getc" and rework strtod, etc. to use it

the immediate benefit is a significant debloating of the float parsing
code by moving the responsibility for keeping track of the number of
characters read to a different module.

by linking shgetc with the stdio buffer logic, counting logic is
defered to buffer refill time, keeping the calls to shgetc fast and

in the future, shgetc will also be useful for integrating the new
float code with scanf, which needs to not only count the characters
consumed, but also limit the number of characters read based on field
width specifiers.

shgetc may also become a useful tool for simplifying the integer
parsing code.

11 years agounify strtof/strtod/strtold wrappers and fix initial whitespace issue
Rich Felker [Wed, 11 Apr 2012 00:25:06 +0000 (20:25 -0400)]
unify strtof/strtod/strtold wrappers and fix initial whitespace issue

11 years agonew floating point parser/converter
Rich Felker [Tue, 10 Apr 2012 15:52:55 +0000 (11:52 -0400)]
new floating point parser/converter

this version is intended to be fully conformant to the ISO C, POSIX,
and IEEE standards for conversion of decimal/hex floating point
strings to float, double, and long double (ld64 or ld80 only at
present) values. in particular, all results are intended to be rounded
correctly according to the current rounding mode. further, this
implementation aims to set the floating point underflow, overflow, and
inexact flags to reflect the conversion performed.

a moderate amount of testing has been performed (by nsz and myself)
prior to integration of the code in musl, but it still may have bugs.

so far, only strto(d|ld|f) use the new code. scanf integration will be
done as a separate commit, and i will add implementations of the wide
character functions later.

11 years agofix alloca issue in stdlib.h too
Rich Felker [Mon, 9 Apr 2012 20:22:05 +0000 (16:22 -0400)]
fix alloca issue in stdlib.h too

I forgot _GNU_SOURCE also has it declared here...

11 years agoalloca cannot be a function. #define it to the gcc builtin if possible
Rich Felker [Mon, 9 Apr 2012 19:06:58 +0000 (15:06 -0400)]
alloca cannot be a function. #define it to the gcc builtin if possible

gcc makes this mapping by default anyway, but it will be disabled by
-fno-builtin (and presumably by -std=c99 or similar). for the main
program the error will be reported by the linker, and the issue can
easily be fixed, but for dynamic-loaded so files, the error cannot be
detected until dlopen time, at which point it has become very obscure.

11 years agomath: fix x86 asin accuracy
nsz [Wed, 4 Apr 2012 15:34:28 +0000 (17:34 +0200)]
math: fix x86 asin accuracy
use (1-x)*(1+x) instead of (1-x*x) in asin.s
the later can be inaccurate with upward rounding when x is close to 1

11 years agowork around nasty gcc bug in the i386 syscall asm
Rich Felker [Wed, 4 Apr 2012 04:37:33 +0000 (00:37 -0400)]
work around nasty gcc bug in the i386 syscall asm

when the "r" (register) constraint is used to let gcc choose a
register, gcc will sometimes assign the same register that was used
for one of the other fixed-register operands, if it knows the values
are the same. one common case is multiple zero arguments to a syscall.
this horribly breaks the intended usage, which is swapping the GOT
pointer from ebx into the temp register and back to perform the

presumably there is a way to fix this with advanced usage of register
constaints on the inline asm, but having bad memories about hellish
compatibility issues with different gcc versions, for the time being
i'm just going to hard-code specific registers to be used. this may
hurt the compiler's ability to optimize, but it will fix serious
miscompilation issues.

so far the only function i know what compiled incorrectly is
getrlimit.c, and naturally the bug only applies to shared (PIC)
builds, but it may be more extensive and may have gone undetected..

11 years agoremove useless (at best, harmful) feature test checks in aio.h
Rich Felker [Tue, 3 Apr 2012 23:16:51 +0000 (19:16 -0400)]
remove useless (at best, harmful) feature test checks in aio.h

11 years agoimprove name lookup performance in corner cases
Rich Felker [Mon, 2 Apr 2012 03:22:16 +0000 (23:22 -0400)]
improve name lookup performance in corner cases

the buffer in getaddrinfo really only matters when /etc/hosts is huge,
but in that case, the huge number of syscalls resulting from a tiny
buffer would seriously impact the performance of every name lookup.

the buffer in __dns.c has also been enlarged a bit so that typical
resolv.conf files will fit fully in the buffer. there's no need to
make it so large as to dominate the syscall overhead for large files,
because resolv.conf should never be large.

11 years agooptimize signbit macro
Rich Felker [Sat, 31 Mar 2012 03:41:43 +0000 (23:41 -0400)]
optimize signbit macro

11 years agomake math.h more c++-friendly
Rich Felker [Sat, 31 Mar 2012 03:33:00 +0000 (23:33 -0400)]
make math.h more c++-friendly

11 years agomath: minor cleanups in ceil and floor
nsz [Thu, 29 Mar 2012 12:09:57 +0000 (14:09 +0200)]
math: minor cleanups in ceil and floor

11 years agomath: remove x86 modf asm
nsz [Thu, 29 Mar 2012 12:05:16 +0000 (14:05 +0200)]
math: remove x86 modf asm
the int part was wrong when -1 < x <= -0 (+0.0 instead of -0.0)
and the size and performace gain of the asm version was negligible

11 years agomath: rewrite modf.c and clean up modff.c
nsz [Thu, 29 Mar 2012 12:03:18 +0000 (14:03 +0200)]
math: rewrite modf.c and clean up modff.c
cleaner implementation with unions and unsigned arithmetic

11 years agomath: fix modfl.c bug
nsz [Wed, 28 Mar 2012 21:51:09 +0000 (23:51 +0200)]
math: fix modfl.c bug
modfl(+-inf) was wrong on ld80 because the explicit msb
was not taken into account during inf vs nan check

11 years agomath: fix a regression in powl and do some cleanups
nsz [Tue, 27 Mar 2012 20:49:37 +0000 (22:49 +0200)]
math: fix a regression in powl and do some cleanups
previously a division was accidentally turned into integer div
(w = -i/NXT;) instead of long double div (w = -i; w /= NXT;)

11 years agomath: add dummy tgamma and tgammaf implementations
nsz [Tue, 27 Mar 2012 20:17:36 +0000 (22:17 +0200)]
math: add dummy tgamma and tgammaf implementations