中国散裂中子源靶站的物理设计和工程实现
核数据截面是保证模拟结果正确的基础,TMR模拟计算中采用的截面数据主要源自ENDF7.0、ENDF6.6A/B/C、Sab2002、La150n、La150h等数据库。在计算中采用了大量的方差缩减技术以提高计算精度和减少计算时间。通过和国外已有实验数据的TMR计算和实验结果进行对比验算,验证了计算方法、结果的准确性。3.几何模型TMR设计...
新湖瑞丰:奇异期权定价中 蒙特卡洛模拟的优化
所谓方差缩减,就是通过一定的抽样方式来减小模拟结果的方差,从而提高精度。首先介绍的是对偶变量技巧:即在每一次模拟抽样时,除了计算抽出的样本值,同时计算其相反值,再对二者得出的结果取平均,这样可以一定程度上提高模拟的精度。新湖瑞丰表示,这种方法使用起来较为简便,但是效果取决于样本及其对偶变量产生的结果直接的相...
Francis Bach新书稿:第一性原理学习理论 | 附PDF下载
方差缩减:当最小化强凸有限和时,这类算法以指数级速度收敛,但迭代复杂度很小。本章主要提出一种基于梯度下降的优化算法,并分析了其在凸函数上的性能。作者表示将考虑应用于机器学习之外的通用算法,以及专用于机器学习的算法(例如随机梯度方法)。第六章:局部平均法“线性”估计器:为每个观测值分配权重函数,以便...
模型攻击:鲁棒性联邦学习研究的最新进展
本文是UniversityofMinnesotaGeorgiosB.Giannakis教授团队的成果,主要研究的是对拜占庭攻击具有鲁棒性的联合方差缩减随机梯度下降方法。具体的,本文讨论在恶意拜占庭攻击的情况下,在联邦学习网络中进行分布式有限优化学习的问题。为了应对这种攻击,迄今为止,大多数方法是将随机梯度下降(stochasticgradientdescent,SGD)...
人工智能之蒙特卡罗方法(MCM)
即使使用速度最快的计算机,传统的数值计算方法也难以对付,但蒙特卡罗方法MCM的计算复杂性不再依赖于维数,MCM能很好地用来对付维数的灾难。为提高方法的效率,科学家们提出了许多所谓的“方差缩减”技巧。另一类形式与蒙特卡罗方法MCM相似,但理论基础不同的方法—“拟蒙特卡罗方法”(Quasi-MonteCarlo方法)—近年来也获得...
数据挖掘图书:应用随机过程:概率模型导论(第10版) [平装] | 互联...
11.5.1模拟非时齐泊松过程11.5.2模拟二维泊松过程11.6方差缩减技术11.6.1对偶变量的应用11.6.2通过取条件缩减方差11.6.3控制变量11.6.4重要抽样11.7确定运行的次数11.8马尔可夫链的平稳分布的生成11.8.1过去耦合法11.8.2另一种方法习题参考文献附录带星号习题的解索引文摘...
鄂维南院士:科学与智能——机器学习的新前沿、应用数学时代的曙光
对于统计物理学家来说,计算数百万个变量的函数的积分是一件很平常的事情。我们对这件事情已经太习惯了而忘记了这事实上是多么了不起。它依靠的是多年来发展起来的蒙特卡罗算法和方差缩减技术。相比于基于网格的算法(如辛普森法则),蒙特卡罗算法的收敛速度与维数无关。
「如何跳出鞍点?」NeurIPS 2018优化相关论文提前看
SEGA方差缩减方法采用迭代随机算法。这是通过将一个困难(在计算方面)的问题简化为一个容易(或更轻松的问题)的问题,利用草图和投影法来解这个问题。在平滑假设下,随着迭代逼近最优点,每一步的梯度估计都更接近真实梯度。即梯度估计值逐渐提高,从而达到方差缩减的目的。
NeurIPS 2018 | 腾讯AI Lab&北大提出基于随机路径积分的差分估计...
对于传统的随机梯度下降法(SGD),理论上对于上述问题,只能获得负4次幂的收敛速度。当使用方差缩减技巧(variancereduction)[1]之后,速度可以提升到的负3分之10次幂。而本文提出的SPIDER技术,可以进一步将收敛速度在理论上提升到的负3次幂!我们将算法展示在下图算法1中。可以看出算法的核心在于...