学界| 深度神经网络为什么不易过拟合?傅里叶分析发现固有频谱偏差
2018年7月15日 - 网易
作为这一理论的附带结果,研究者揭示了(有限权重)深度神经网络在学习类似狄拉克delta函数(单位脉冲函数)峰函数的理论极限。这是因为它的傅立叶变换的量级是一个常值函数(因此所有的频率都有相同的振幅)。并且如上文中所讨论的,深度神经网络(DNN)无法学习对这样的函数建模,因为它们的傅立叶系数必须至少以1/k^2...
详情
作为这一理论的附带结果,研究者揭示了(有限权重)深度神经网络在学习类似狄拉克delta函数(单位脉冲函数)峰函数的理论极限。这是因为它的傅立叶变换的量级是一个常值函数(因此所有的频率都有相同的振幅)。并且如上文中所讨论的,深度神经网络(DNN)无法学习对这样的函数建模,因为它们的傅立叶系数必须至少以1/k^2...