Sora刷屏,AI狂飙,如何应对人工智能算法新风险?
人工智能算法应用在金融行业的普及,更为金融信息安全带来新的挑战。挑战1:AI算法应用风险应用于人工智能的机器学习和深度学习技术,工作原理极为复杂,导致人工智能算法通常缺乏可解释性。人工智能产品和系统受到药饵攻击、对抗样本攻击、物理攻击、后门攻击等恶意攻击事件层出不穷,增加了金融交易风险和数据泄露风险。为...
...网络空间安全学院战队荣获IJCAI-19阿里巴巴人工智能对抗算法...
可以“欺骗”神经网络的对抗样本可能被用来攻击人脸识别、无人驾驶、语音识别等各种人工智能系统,是近年来深度学习和人工智能领域的热门研究方向。为了让AI能够抵御攻击,研究人员一直在寻找构建稳固机器学习算法的道路。在此背景下阿里巴巴以电商数据为应用场景组织了此次比赛。本次比赛共分为无目标攻击(使目标图片被错判...
你聊什么网络给你推什么!如何应对数据泄露和数据投毒?华为及时...
在多模态场景中,攻击者可能通过在图像中隐藏文本、在音频中嵌入指令或操纵视频内容来实施攻击,增加了检测和防御的难度。恶意行为者能够通过直接或间接方式注入恶意提示,甚至在用户不知情的情况下触发有害行为。3.3.3应用安全风险——智能体安全风险智能体(Agent)是一种能够感知环境、进行决策和执行动作的智能实体。
应对量子威胁,美国发布首套对抗量子计算攻击的算法
全世界的互联网流量、金融系统以及公共和私人通信基础设施都依赖于算法,这些算法可以防止未经授权的用户读取仅供少数人使用的私人信息。现有算法都是针对传统计算机而设计,无法应对即将到来的量子时代,不少安全研究专家担忧量子计算机可以使用格罗弗算法(Grover's)和秀尔算法(Shor's)等量子算法,突破现有的安全防护。为此...
黑客已经有数十种攻击大模型的手段,如何用AI对抗AI?
针对AI基础设施的攻击原理和传统的攻击类似,会用到一些算力算法的漏洞。“防护的难度没有出现指数级增加,只是需要我们在防护规则上能够适配这一场景,能够识别出威胁。”陈奋对雷峰网表示,“有些检测算法用传统的模型,有些算法需要安全大模型,所以我们采用混合调度架构更加灵活。”面向AI基础设施安全,亚信安全也推出...
黑客已经有40多种攻击大模型的手段,如何用AI对抗AI?
那些“商业嗅觉”灵敏的黑客,已经用AI攻击获利(www.e993.com)2024年10月26日。比如,有黑客利用AI算法,快速在视频中做人脸的深度伪造,新型的网络诈骗犯罪随之涌现。还有,黑客的攻击目标除了传统资产,还盯上了高价值的以GPU为基础的AI算力基础设施和大模型,这是网络安全领域出现的新变化。
AI换脸拟声威胁金融防线 机构“深伪”对抗全面升级
奇富科技首席算法科学家费浩峻向记者表示,在辨识度上,深伪技术能够生成非常逼真的人脸图像和视频,使得伪造内容难以被肉眼识别,增加了攻击的隐蔽性;而利用对抗样本技术,针对特定的检测模型生成能够绕过检测的伪造内容。此外,模式上的升级,除了视频和图像,深度伪造技术还可以结合声音、文本等其他模态,实现更全面的欺骗;通常...
对抗机器学习(AML)攻击没有万能解决方案
EchoMark公司通过在文档和消息中嵌入不可见取证水印来保护敏感信息,该公司创始人兼首席执行官TroyBatterberry也评论道:“NIST的对抗ML报告有利于开发人员深入了解AI攻击。其中的攻击分类和防御建议凸显出不存在通用威胁解决方案的事实,但了解对手运作方式并做好相应准备是缓解风险的关键。”“作为一家利用AI和LLM的公司...
...合作推出信通卫士产品,具有全方位安全需求覆盖和量子攻击对抗...
当前量子攻击的主要方式有两种:密钥分发量子攻击和会话密钥量子攻击。前者旨在破解用户私钥,后者旨在破解会话密钥。针对前者,信通卫士产品采用非中心化的P2P密钥交换机制,PKI私钥由用户密码硬件真随机生成,密钥长度达到了相关国家标准与国际标准要求的最大长度,且用户私钥存储于密码硬件,始终不触网;针对后者,信通卫士...
基于深度强化学习的对抗攻击和防御在动态视频中的应用
FGSM白盒攻击时,扰动量为0.0004时模型被干扰效果仅相当于PGD迭代3次、截断为0.2、扰动量为0.0002的效果。可见PGD攻击是个强大的对抗攻击算法。表6PGD攻击不同扰动量对模型攻击时游戏得分2.3单像素攻击单像素攻击(OnePixelAttack)是一种典型的黑盒攻击方法,只需获取输入图像即可对模...