机器学习中的新数学,加速AI训练离不开数字表示方式和基本计算的变革
2022年11月26日 - 腾讯新闻
将两个低精度数字相乘可能会导致数字太小或太大而无法表示给定的bit长度——分别称为下溢和上溢;另外,将一个大的低精度数和一个小的低精度数相加时,会发生swamping现象,导致较小的数字完全丢失。混合精度对于改善上溢、下溢和swamping问题具有重要作用,其中使用低精度输入执行计算并产生更高精度的输出,...
详情
将两个低精度数字相乘可能会导致数字太小或太大而无法表示给定的bit长度——分别称为下溢和上溢;另外,将一个大的低精度数和一个小的低精度数相加时,会发生swamping现象,导致较小的数字完全丢失。混合精度对于改善上溢、下溢和swamping问题具有重要作用,其中使用低精度输入执行计算并产生更高精度的输出,...