浮点数的由来及运算解析
2024年4月19日 - 新浪
NotRounded模式下,数域为1.00110011001100110011001,最终计算得到的十进制数是0.299999总是比0.3小一点点。为什么会这样?因为十进制的有穷数0.3,转换为二进制数后是一个无穷数(1001无限循环),如果直接扔掉后面的数,那么最终转换后的十进制数据就会少了一点点,变成了0.29999999。Rounded模式下Rounded模式下,数域为...
详情
NotRounded模式下,数域为1.00110011001100110011001,最终计算得到的十进制数是0.299999总是比0.3小一点点。为什么会这样?因为十进制的有穷数0.3,转换为二进制数后是一个无穷数(1001无限循环),如果直接扔掉后面的数,那么最终转换后的十进制数据就会少了一点点,变成了0.29999999。Rounded模式下Rounded模式下,数域为...