【新书】深度学习的数学理论,267页pdf
2024年8月20日 - 网易
这进一步解释了为何在实践中,深层架构通常可以优化而不会陷入非全局最小值。第13章:神经网络空间的形状。尽管第11章和第12章强调了神经网络训练成功的潜在原因,但在本章中,我们展示了固定架构神经网络集合从优化角度来看具有一些不理想的性质。具体而言,我们证明了这一集合通常是非凸的。此外,通常它不具备最佳逼近...
详情
MIT博士生杨珩:从L1到L5,自动驾驶的“拦路虎”可能是一个数学问题
2021年10月10日 - 网易
在杨珩的研究中,他所用于求解非凸问题的凸问题是“半正定规划”问题(SemidefiniteProgramming,SDP),属于凸问题里最难的一类。从理论上讲,要解决原来的非凸问题TLS,转换的凸问题可能要无限大,不止100万个参数,也可能是1000万、1亿、10亿甚至上百亿。针对第一个难点,杨珩及团队用真实计算显示:转化的凸问题(...
详情
IJCAI 2019 论文收录结果最新出炉!历年杰出论文带你重温 AI 发展...
2019年5月10日 - 百家号
用于非凸优化的递归分解RecursiveDecompositionforNonconvexOptimization论文摘要:连续优化是人工智能多个领域的一个重要的问题,包括计算机视觉、机器人、概率推理与机器学习。遗憾的是,大多数现实世界的优化问题都是非标准技术,所以即使是像随机重启和模拟退火这样的延伸,标准凸面技术也只能找到局部最优解。我们观察...
详情