math: fix modfl.c bug