华泰金工 | SAM:提升AI量化模型的泛化性能
SAM优化器将损失函数的平坦度加入优化目标,不仅最小化损失函数值,同时最小化模型权重点附近损失函数的变化幅度,使优化后模型权重处于一个平坦的极小值处,增加了模型的鲁棒性。基于SAM优化器,ASAM、GSAM等改进算法被陆续提出,从参数尺度自适应性、扰动方向的准确性等方面进一步增强了SAM优化器的性能。SAM优化器能降低...
安天科技申请基于ORS面向软标签输出深度学习模型鲁棒性评估方法...
金融界2024年9月3日消息,天眼查知识产权信息显示,哈尔滨工业大学、安天科技集团股份有限公司申请一项名为“基于ORS面向软标签输出深度学习模型鲁棒性评估方法“,公开号CN202410688597.7,申请日期为2024年5月。专利摘要显示,本发明提出基于ORS面向软标签输出深度学习模型鲁棒性评估方法,属于鲁棒性评估技术领域。包括生成对...
ACM MM24 | 复旦首个基于扩散模型的视频非限制性对抗攻击框架
第二,扩散模型通常在早期去噪步骤中添加粗略语义信息进行引导,然而在生成对抗视频中,过早对隐变量进行扰动会导致生成对抗帧显著失真,且逐帧生成对抗帧后将导致最终对抗视频时序一致性差。最后,由于时间维度的引入,逐帧的单独对抗扰动会引入单调梯度,缺少视频帧之间的信息交互,使得对抗帧的迁移性较弱。方法为此,研究团...
微调和量化竟会增加越狱风险!Mistral、Llama等无一幸免
由于原理上的问题,AI模型天然兼具鲁棒性和脆弱性,在巨量的参数和计算中,有些无关紧要,但又有一小部分至关重要。从某种程度上讲,大模型遇到的安全问题,与CNN时代一脉相承,利用特殊提示、特殊字符诱导LLM产生有毒输出,包括之前报道过的,利用LLM长上下文特性,使用多轮对话越狱的方法,都可以称为:对抗性攻击。对...
...最热大模型论文:北京大学最新综述:视觉大模型中的漏洞与攻防对抗
(2)持续评估框架:开发自动化测试系统,定期集成并测试最新攻击方法,确保LVLMs能够持续验证其防御效果。(3)详细攻击分类:根据攻击特征,如目标模态、执行手段及影响,对攻击进行细致分类,便于针对性防御。(4)鲁棒性量化指标:制定并标准化评估LVLMs鲁棒性的量化指标,精确反映模型在不同攻击下的表现及受损程度。
高频策略受限,百亿量化私募涉猎“中低频”人才,降频成行业趋势?
量化私募过去有一部分策略是高频策略,绩效主要体现在高频交易上,整体换手比较高,且交易时间集中(www.e993.com)2024年10月18日。中安鼎盛投资合伙人陈伯仲告诉记者,随着量化监管逐步规范,集中的高频交易有所限制,量化私募逐步把重心放在了偏向中低频的策略上,中低频策略对因子的半衰期和鲁棒性要求比较高,容量大,需要长期投入。
量化指数增强:超越基准的策略与实现
成功的量化指数增强策略建立在高质量和多样性的数据基础之上。数据质量直接影响模型的准确性和可靠性。投资者应确保所使用的数据源经过仔细筛选和验证,避免数据中的错误或不准确信息对策略产生负面影响。此外,多样性的数据来源可以提供更全面的市场视角,帮助识别不同资产之间的关联性和交叉影响。2、模型鲁棒性模型的...
文献赏析:机械约束下锂离子电池多场耦合的表征和量化
表征和量化多场耦合行为需要跨学科的努力。但由于测量的局限性和耦合的复杂性,理解错综复杂的多场行为具有两方面的挑战性。一是:虽然现有的测试平台提供了用于研究电池机械响应和多场耦合行为的实验手段,但这些平台各有优缺点,另一个是错综复杂的多场耦合行为因其高度非线性相互作用关系还未被充分地解耦分析。因此,...
FlagEval 12月榜|新增大模型鲁棒性评测,加入Qwen-72B、DeepSeek...
鲁棒性是指模型在面对不同类型的异常、噪声、干扰、变化或恶意攻击时,能够保持稳定性和高效性的能力。目前的基础模型可以在给定数据输入的情况下,经过其定义的计算,得到模型期望的输出,而鲁棒性可以理解为:在给定扰动噪音的情况下,模型的输出是否等于期望的输出,量化该差异为,越小代表该模型鲁棒性能越好。
中科院自动化所:人工智能与人类尚有显著认知差距
然而,神经网络的性能仍然会随着各种图像扭曲和损坏而降低。一个非常极端的例子是对抗攻击,通过在图片上施加人眼难以察觉的微扰,能够使神经网络模型彻底失效。而人类的视觉系统在这些问题上具有高度鲁棒性,说明深度学习与生物视觉系统相比仍然存在根本性缺陷。论文第一作者中科院自动化所类脑认知智能课题组范津宇表示:“这...