UIUC孙若愚:从“拿着锤子找钉子”到“找准钉子造锤子”
2022年7月15日 - 网易
他用这个例子说明“找钉子”是什么意思。他之前把钉子设置为“理解为什么大神经网络能训练得很好”,但后来发现这个目标下的研究难以和一线AI研究人员的关切产生直接联系。后来他修改了钉子为“如何训练小网络”,发现了大量相关的应用研究分支(如边缘计算、剪枝、彩票假设等),他感觉这个新的目标可能会促成更多理论学者和...
详情
他用这个例子说明“找钉子”是什么意思。他之前把钉子设置为“理解为什么大神经网络能训练得很好”,但后来发现这个目标下的研究难以和一线AI研究人员的关切产生直接联系。后来他修改了钉子为“如何训练小网络”,发现了大量相关的应用研究分支(如边缘计算、剪枝、彩票假设等),他感觉这个新的目标可能会促成更多理论学者和...