...腾讯AI Lab&北大提出基于随机路径积分的差分估计子非凸优化方法
当使用方差缩减技巧(variancereduction)[1]之后,速度可以提升到的负3分之10次幂。而本文提出的SPIDER技术,可以进一步将收敛速度在理论上提升到的负3次幂!我们将算法展示在下图算法1中。可以看出算法的核心在于使用随机梯度的差分的累和估计真实梯度,与使用了归一化的步长。当得到了上述算法之后,...
人工智能之蒙特卡罗方法(MCM)
对于围棋已经证明,计算这个“最优值”的时间至少随该盘面到终盘之间的步数呈指数级数增长,比如平均200步的话,每步平均增长200倍数量的可能盘面。从理论上无法得到“最优值”,于是人们想到用蒙特卡罗方法思想对整个可能性空间进行某种采样,然后通过统计估值的方法逼近这个“最优值”。这就是2006年提出的一种称为蒙特卡罗...
世界步行日 | 街道视觉可步行性评估及其对居民步行活动的影响...
空模型所得的组间方差(社区层面)估计值(1725.36)远远大于其标准误(2.05),说明居民步行活动时间的差异一定程度上来自于社区间的差异(表4-1)。具体而言,根据组内和组间的方差贡献,计算得到组间相关系数(ICC)为0.032,空模型的Deviance为5480.78。似然比检验(LRtest)结果表明,多层模型的解释力度显著高于单层模型。因此...
Francis Bach新书稿:第一性原理学习理论 | 附PDF下载
方差缩减:当最小化强凸有限和时,这类算法以指数级速度收敛,但迭代复杂度很小。本章主要提出一种基于梯度下降的优化算法,并分析了其在凸函数上的性能。作者表示将考虑应用于机器学习之外的通用算法,以及专用于机器学习的算法(例如随机梯度方法)。第六章:局部平均法“线性”估计器:为每个观测值分配权重函数,以便...
德扑AI大神、AAAI学术新星 Noam Brown:不完美信息多智能体场景下...
Step2:同样地,玩家2选择各种动作的概率也与其正向遗憾值成正比。假设玩家2随机选择了左侧分支。接着,我们又回来到另一个玩家1的决策点。Step3:假设此时玩家1又随机选择了左侧的分支,我们最终得到了50美元的奖励。图10:计算右侧动作的遗憾值...
模型攻击:鲁棒性联邦学习研究的最新进展
图2:对于攻击者所占比例不同的固定频率攻击(左列)和随机采样攻击(右列),范数为10的范数约束攻击,其中,绿线是后门准确度的累积平均值图3:范数边界和高斯噪声的影响(www.e993.com)2024年8月5日。点:主要任务;实线:后门任务在图3(a)中,考虑了每个用户的范数阈值更新。假设每一轮出现一名攻击者,对应于ε=3.3%的被破坏的客户端,范数...
「如何跳出鞍点?」NeurIPS 2018优化相关论文提前看
Choromanska等人在2015年发表的研究表明,随着问题维度的增加,局部最小值之间的损失的方差会减小。这意味着在局部最小值点产生的损失与在全局最小值点产生的损失类似。然而,由于优化算法可能陷入鞍点无法跳出,我们并不总是能很轻易地得到局部最小值。本文介绍了一种避开鞍点的方法,该方法具有较高的发生损失,有望...