make floatscan correctly set errno for overflow/underflow
[musl] / src / internal / floatscan.c
index 6390d46..aa962f4 100644 (file)
@@ -24,6 +24,8 @@
 
 #define MASK (KMAX-1)
 
+#define CONCAT2(x,y) x ## y
+#define CONCAT(x,y) CONCAT2(x,y)
 
 static long long scanexp(FILE *f, int pok)
 {
@@ -44,7 +46,7 @@ static long long scanexp(FILE *f, int pok)
        }
        for (x=0; c-'0'<10U && x<INT_MAX/10; c = shgetc(f))
                x = 10*x + c-'0';
-       for (y=x; c-'0'<10U && x<LLONG_MAX/100; c = shgetc(f))
+       for (y=x; c-'0'<10U && y<LLONG_MAX/100; c = shgetc(f))
                y = 10*y + c-'0';
        for (; c-'0'<10U; c = shgetc(f));
        shunget(f);
@@ -57,28 +59,39 @@ static long double decfloat(FILE *f, int c, int bits, int emin, int sign, int po
        uint32_t x[KMAX];
        static const uint32_t th[] = { LD_B1B_MAX };
        int i, j, k, a, z;
-       long long lrp=-1, dc=0;
+       long long lrp=0, dc=0;
        long long e10=0;
-       int gotdig = 0;
+       int lnz = 0;
+       int gotdig = 0, gotrad = 0;
        int rp;
        int e2;
+       int emax = -emin-bits+3;
+       int denormal = 0;
        long double y;
        long double frac=0;
        long double bias=0;
+       static const int p10s[] = { 10, 100, 1000, 10000,
+               100000, 1000000, 10000000, 100000000 };
 
        j=0;
        k=0;
 
        /* Don't let leading zeros consume buffer space */
        for (; c=='0'; c = shgetc(f)) gotdig=1;
+       if (c=='.') {
+               gotrad = 1;
+               for (c = shgetc(f); c=='0'; c = shgetc(f)) gotdig=1, lrp--;
+       }
 
        x[0] = 0;
        for (; c-'0'<10U || c=='.'; c = shgetc(f)) {
                if (c == '.') {
-                       if (lrp!=-1) break;
+                       if (gotrad) break;
+                       gotrad = 1;
                        lrp = dc;
                } else if (k < KMAX-2) {
                        dc++;
+                       if (c!='0') lnz = dc;
                        if (j) x[k] = x[k]*10 + c-'0';
                        else x[k] = c-'0';
                        if (++j==9) {
@@ -91,7 +104,7 @@ static long double decfloat(FILE *f, int c, int bits, int emin, int sign, int po
                        if (c!='0') x[KMAX-3] |= 1;
                }
        }
-       if (lrp==-1) lrp=dc;
+       if (!gotrad) lrp=dc;
 
        if (gotdig && (c|32)=='e') {
                e10 = scanexp(f, pok);
@@ -114,9 +127,11 @@ static long double decfloat(FILE *f, int c, int bits, int emin, int sign, int po
                return 0;
        }
 
-       if (!x[0])
-               return sign * 0.0;
-       if (lrp==dc && (!k || (k==1 && !j)) && (bits>30 || x[0]>>bits==0))
+       /* Handle zero specially to avoid nasty special cases later */
+       if (!x[0]) return sign * 0.0;
+
+       /* Optimize small integers (w/no exponent) and over/under-flow */
+       if (lrp==dc && dc<10 && (bits>30 || x[0]>>bits==0))
                return sign * (long double)x[0];
        if (lrp > -emin/2) {
                errno = ERANGE;
@@ -127,6 +142,7 @@ static long double decfloat(FILE *f, int c, int bits, int emin, int sign, int po
                return sign * LDBL_MIN * LDBL_MIN;
        }
 
+       /* Align incomplete final B1B digit */
        if (k<KMAX && j) {
                for (; j<9; j++) x[k]*=10;
                k++;
@@ -138,13 +154,19 @@ static long double decfloat(FILE *f, int c, int bits, int emin, int sign, int po
        e2 = 0;
        rp = lrp;
 
+       /* Optimize small to mid-size integers (even in exp. notation) */
+       if (lnz<9 && lnz<=rp && rp < 18) {
+               if (rp == 9) return sign * (long double)x[0];
+               if (rp < 9) return sign * (long double)x[0] / p10s[8-rp];
+               int bitlim = bits-3*(int)(rp-9);
+               if (bitlim>30 || x[0]>>bitlim==0)
+                       return sign * (long double)x[0] * p10s[rp-10];
+       }
+
+       /* Align radix point to B1B digit boundary */
        if (rp % 9) {
-               static const int p10s[] = {
-                       100000000, 10000000, 1000000, 100000,
-                       10000, 1000, 100, 10
-               };
                int rpm9 = rp>=0 ? rp%9 : rp%9+9;
-               int p10 = p10s[rpm9-1];
+               int p10 = p10s[8-rpm9];
                uint32_t carry = 0;
                for (k=a; k!=z; k++) {
                        uint32_t tmp = x[k] % p10;
@@ -159,7 +181,8 @@ static long double decfloat(FILE *f, int c, int bits, int emin, int sign, int po
                rp += 9-rpm9;
        }
 
-       while (rp < 9*LD_B1B_DIG || (rp == 9*LD_B1B_DIG && x[0]<th[0])) {
+       /* Upscale until desired number of bits are left of radix point */
+       while (rp < 9*LD_B1B_DIG || (rp == 9*LD_B1B_DIG && x[a]<th[0])) {
                uint32_t carry = 0;
                e2 -= 29;
                for (k=(z-1 & MASK); ; k=(k-1 & MASK)) {
@@ -185,6 +208,7 @@ static long double decfloat(FILE *f, int c, int bits, int emin, int sign, int po
                }
        }
 
+       /* Downscale until exactly number of bits are left of radix point */
        for (;;) {
                uint32_t carry = 0;
                int sh = 1;
@@ -206,6 +230,7 @@ static long double decfloat(FILE *f, int c, int bits, int emin, int sign, int po
                        carry = (1000000000>>sh) * tmp;
                        if (k==a && !x[k]) {
                                a = (a+1 & MASK);
+                               i--;
                                rp -= 9;
                        }
                }
@@ -217,6 +242,7 @@ static long double decfloat(FILE *f, int c, int bits, int emin, int sign, int po
                }
        }
 
+       /* Assemble desired bits into floating point variable */
        for (y=i=0; i<LD_B1B_DIG; i++) {
                if ((a+i & MASK)==z) x[z=(z+1 & MASK)] = 0;
                y = 1000000000.0L * y + x[a+i & MASK];
@@ -224,11 +250,14 @@ static long double decfloat(FILE *f, int c, int bits, int emin, int sign, int po
 
        y *= sign;
 
+       /* Limit precision for denormal results */
        if (bits > LDBL_MANT_DIG+e2-emin) {
                bits = LDBL_MANT_DIG+e2-emin;
                if (bits<0) bits=0;
+               denormal = 1;
        }
 
+       /* Calculate bias term to force rounding, move out lower bits */
        if (bits < LDBL_MANT_DIG) {
                bias = copysignl(scalbn(1, 2*LDBL_MANT_DIG-bits-1), y);
                frac = fmodl(y, scalbn(1, LDBL_MANT_DIG-bits));
@@ -236,6 +265,7 @@ static long double decfloat(FILE *f, int c, int bits, int emin, int sign, int po
                y += bias;
        }
 
+       /* Process tail of decimal input so it can affect rounding */
        if ((a+i & MASK) != z) {
                uint32_t t = x[a+i & MASK];
                if (t < 500000000 && (t || (a+i+1 & MASK) != z))
@@ -255,11 +285,18 @@ static long double decfloat(FILE *f, int c, int bits, int emin, int sign, int po
        y += frac;
        y -= bias;
 
-       y = scalbnl(y, e2);
-
-       if (!y) errno = ERANGE;
+       if ((e2+LDBL_MANT_DIG & INT_MAX) > emax-5) {
+               if (fabs(y) >= CONCAT(0x1p, LDBL_MANT_DIG)) {
+                       if (denormal && bits==LDBL_MANT_DIG+e2-emin)
+                               denormal = 0;
+                       y *= 0.5;
+                       e2++;
+               }
+               if (e2+LDBL_MANT_DIG>emax || (denormal && frac))
+                       errno = ERANGE;
+       }
 
-       return y;
+       return scalbnl(y, e2);
 }
 
 static long double hexfloat(FILE *f, int bits, int emin, int sign, int pok)
@@ -374,31 +411,32 @@ static long double hexfloat(FILE *f, int bits, int emin, int sign, int pok)
        return scalbnl(y, e2);
 }
 
-long double __floatscan(FILE *f, int c, int prec, int pok)
+long double __floatscan(FILE *f, int prec, int pok)
 {
        int sign = 1;
        int i;
        int bits;
        int emin;
+       int c;
 
        switch (prec) {
        case 0:
-               bits = 24;
-               emin = -149;
+               bits = FLT_MANT_DIG;
+               emin = FLT_MIN_EXP-bits;
                break;
        case 1:
-               bits = 53;
-               emin = -1074;
+               bits = DBL_MANT_DIG;
+               emin = DBL_MIN_EXP-bits;
                break;
        case 2:
                bits = LDBL_MANT_DIG;
-               emin = -16445;
+               emin = LDBL_MIN_EXP-bits;
                break;
        default:
                return 0;
        }
 
-       if (c<0) c = shgetc(f);
+       while (isspace((c=shgetc(f))));
 
        if (c=='+' || c=='-') {
                sign -= 2*(c=='-');
@@ -408,13 +446,14 @@ long double __floatscan(FILE *f, int c, int prec, int pok)
        for (i=0; i<8 && (c|32)=="infinity"[i]; i++)
                if (i<7) c = shgetc(f);
        if (i==3 || i==8 || (i>3 && pok)) {
-               if (i==3) shunget(f);
-               if (pok) for (; i>3; i--) shunget(f);
-               else shlim(f, 0);
+               if (i!=8) {
+                       shunget(f);
+                       if (pok) for (; i>3; i--) shunget(f);
+               }
                return sign * INFINITY;
        }
        if (!i) for (i=0; i<3 && (c|32)=="nan"[i]; i++)
-               if (i<3) c = shgetc(f);
+               if (i<2) c = shgetc(f);
        if (i==3) {
                return NAN;
        }