人工智能优化算法总结

2024年9月21日 - 网易

2.优点-加速收敛:动量法能够加速参数的更新,特别是在梯度方向变化缓慢的情况下,能够更快地收敛到最优解。-减少振荡:由于考虑了上一次参数更新的方向,动量法能够减少参数更新的振荡,提高收敛的稳定性。Adagrad算法Adagrad算法是一种自适应学习率的优化算法,它能够根据参数的历史梯度信息自动调整学习率,对于...

详情

详解凸优化、图神经网络、强化学习、贝叶斯方法等四大主题

2020年11月23日 - 网易

这个训练营的目的很简单:想培养更多高端的人才,帮助那些即将或者目前从事科研的朋友,同时帮助已从事AI行业的提高技术深度。在本期训练营(第四期)中我们对内容做了大幅度的更新,一方面新增了对前沿主题的讲解如图神经网络(GCN,GAT等),另外一方面对核心部分(如凸优化、强化学习)加大了对理论层面上的深度。除此之外,...

详情

详解凸优化、贝叶斯、MCMC、GCN

2020年12月22日 - 网易

在本期训练营(第四期)中我们对内容做了大幅度的更新,一方面新增了对前沿主题的讲解如图神经网络(GCN,GAT等),另外一方面对核心部分(如凸优化、强化学习)加大了对理论层面上的深度。除此之外,也会包含科研方法论、元学习、解释性、Fairlearning等系列主题。目前在全网上应该找不到类似体系化的课程。课程仍然采用全程...

详情

DeepMind等摘得杰出论文、IBM超算深蓝成经典,IJCAI2023奖项公布

2023年8月25日 - 澎湃新闻

本文表明,在这个新模型下LTS损失是凸的,它允许使用标准的凸优化工具,并且在给定的一组解轨迹的在线设置中获得了最优参数的收敛保证——这是神经网络无法提供的保证。新的LTS+CM算法在几个基准上优于LTS+NN,包括Sokoban(Boxoban)、TheWitness、STP(the24-SlidingTilepuzzle)基准。在STP基准...

详情

综述:基于超构表面的三维成像技术

2023年8月14日 - 电子工程专辑

结合超透镜的强大横向色散能力和光场技术,Hua等提出超紧凑快照式光谱光场成像技术,如图9(f)所示,该技术通过光场和色散联合编码不同深度和波长通道的PSF,构建正向成像模型并设计相应的凸优化算法,以48×48个口径30μm的超透镜阵列实现4nm的光谱分辨能力和30cm范围的深度成像。

详情

【机器学习基础】各种梯度下降优化算法回顾和总结

2022年4月19日 - 网易

论文中提到,当缓慢降低学习率时,SGD会显示与BGD相同的收敛行为,几乎一定会收敛到局部(非凸优化)或全局最小值(凸优化)(www.e993.com)2024年12月19日。SGD的优点:虽然看起来SGD波动非常大,会走很多弯路,但是对梯度的要求很低(计算梯度快),而且对于引入噪声,大量的理论和实践工作证明,只要噪声不是特别大,SGD都能很好地收敛。

详情

非凸函数上,随机梯度下降能否收敛?网友热议:能,但有条件,且比凸...

2022年2月8日 - 澎湃新闻

非凸优化问题被认为是非常难求解的,因为可行域集合可能存在无数个局部最优点,通常求解全局最优的算法复杂度是指数级的(NP困难)。那么随机梯度下降能否收敛于非凸函数?针对这一问题,众多网友进行了一番讨论。在机器学习领域,我们经常会听到凸函数和非凸函数,简单来讲,凸函数指的是顺着梯度方向走,函数能得到最优...

详情

加入联邦学习的客户端设备——随机选择真的好吗?

2021年5月4日 - 澎湃新闻

对于非凸优化,作者选择使用LSTM分类器的Sent140和Shakespeare。对比方法包括SequentialSGD(S-SGD)、经典FedAvg和FedProx(FedProx是FedAvg的一个流行变体,它增加了一个二次近似项以限制异构网络中本地更新的影响)。5.2.1凸优化问题图23比较了使用逻辑回归的合成数据库和FashionMNIST数据库的...

详情

FEM | 前沿研究:智能工业数据解析与优化

2021年7月15日 - 科学网

将数据解析引入到凸优化中能够显著提高凸优化模型的建模精度和求解效率。一方面,通过对生产过程中的实际数据进行反馈分析,实现凸优化模型的动态更新和改进;另一方面,充分利用优化求解过程中的历史数据,挖掘问题或算法的规则和性质,从而加快凸优化模型的求解效率。

详情