不定积分的求法-不定积分常用方法小结
2023年5月23日 - 搜狐教育
(secx)2??(tanx)2=1(secx)^{2}-(tanx)^{2}=1,(chx)2??(shx)2=1(chx)^{2}-(shx)^{2}=1等公式消去根号,因此第二类换元法,很重要的一个目的是消去根号。4.6∫arcsin(a??xa+x)dx4.6\int_{}^{}arcsin(\sqrt{\frac{a-x}{a+x}})dx对于I1=∫1(1+t2)1??t2dtI_{1}=\i...
详情
AI Optimizing - 揭秘神经网络容易被忽略的权重初始化
2019年2月5日 - 网易
考虑梯度稳定的情况:假设每层来说,激活函数的梯度值都为1,就是g函数的导数为1。再次利用方差公式:还是那句话,保持方差稳定性:第二个推论出来了:每层最优的权重应满足其方差与当前层神经元数量成反比。结合原函数与一阶函数,最优的当前层权重的设置应当与当前层的神经元数量成反比,且与下一层神经元数量也...
详情
2021年9月底,字节跳动(抖音)NLP岗位面试题分享!
2021年11月3日 - 网易
问题5:Bert模型中激活函数GELU问题6:部分激活函数的公式及求导问题7:最短矩阵路径和问题8:有序的全排列问题1、Bert模型中,根号dk的作用QK进行点击之后,值之间的方差会较大,也就是大小差距会较大;如果直接通过Softmax操作,会导致大的更大,小的更小;进行缩放,会使参数更平滑,训练效果更好。问题2、Bert...
详情