装完煤油装食用油？AI分得清！院士专家强调人工智能安全必须“人在回路”

据曝光，罐车装完煤油，不清洗油罐，又装食用油，如此“粗放”操作方式，挑战公众食品安全神经。而基于人工智能的“AI之眼”，或许可以及时监督这样的违规行为。

“利用加油站现有及新增摄像头，采用云端视频分析模式，识别卸油、加油、卸气、加气、卸液、加液过程中的行为，对异常动作报警、统计、分析，建立智慧加油站平台。”2日，在普陀区中以创新园进行的第12届互联网安全大会上海AI峰会透露，通过在中国电信云资源上部署AI视频智能分析平台，并落地能源企业，已完成300路视频流对卸油区行为的AI辨析，实现油罐车识别、灭火器识别、油品检测、输油管检测。

【AI深度伪造欺诈暴增3000%】

事实上，AI大模型正大量赋能社会治理，助力破解民生难题，提升老百姓安全感。中国电信人工智能科技有限公司产数业务部副总经理魏文博举例称，比如智慧餐饮监管确保“明厨亮灶”，街道乡村安防关怀老人、预防溺水，还有智能监管垃圾投放与电动车停放的规范化，连骑电动车未戴头盔也“分得清、辨得明”。不过，AI本身也不可避免出现安全问题。从AI换脸到AI变声，《2024人工智能安全报告》表面，AI既放大现有网络安全威助，又引入了新型威胁，引发网络安全事件指数级增长。2023年基于AI的深度伪造欺诈暴增3000%，基于AI的钓鱼邮件数量则增长了1000%。俄罗斯自然科学院外籍院士、赛迪研究院副总工程师刘权，援引一项针对IT行业领导者进行的关于ChatGPT等大模型调查显示，71%受访者认为生成式人工智能会给企业的数据安全带来新的风险。为了防止敏感数据外流，微软、亚马逊等科技公司甚至已相继限制或禁止其员工使用生成式人工智能工具。

【“百模大战”中“以模制模”保安全】

多模态生成，大模型涌现。截至目前，仅在我国，通过双备案的大模型数量已达117个。《北京市人工智能行业大模型创新应用白皮书（2023年）》统计，截至去年10月，我国“10亿+”参数大模型供给方就已达254家。眼下，千亿参数级的国产大模型问世，而人脑神经元的数量级也是1000亿。IDC预测，至2026年中国AI大模型市场规模将达211亿美元。当人工智能进入大规模落地应用关键期时，从隐私泄露、算法歧视到数据偏见，这些新型风险也为人工智能高质量发展构成严峻挑战。360数智化集团首席产品官何帆表示，大模型时代需要“以模制模”保障安全，也就是利用最近20年的安全大数据积累，加持专家知识训练出高水平的安全大模型。中国电信上海分公司信息网络部副总经理陈霄航也告诉解放日报·上观新闻记者，“百模大战”中，大模型天生是“白纸”，需要不断“教育”和“培训”，因此应在源头上把控舆论导向、在过程中滤除垃圾信息，以避免大模型也被“误人子弟”。

【人机竞争关系更需“人在回路”】

众所周知，AI模型的“黑箱”性质使得其决策过程难以解释，这在金融和医疗等高风险领域尤其紧要。监管机构和行业客户都需要了解模型的决策依据，以确保其信用评分模型的透明性和公平性。同时，AI模型自身可能存在安全漏洞。比如，黑客可以通过对抗样本进行攻击，让模型在看似正常的输入下产生错误的输出，造成安全隐患。

在刘权院士眼中，AI明显的“双刃剑”特征给人类带来了诸多好处和巨大挑战，人工智能与人类社会其实是共生关系，包括辅助关系、人机交互、人在回路与竞争关系。诚然，随着弱人工智能到强人工智能的狂飙突进，90%的有人岗位可被人工智能替代为“无人岗位”。而那10%不会躺平的在岗人，必然是拥有庞大海量数据，且拥有超强人工智能操作能力的。

在影片《流浪地球2》中，机器人MOSS说出“人在回路（HumanInLoop）”的概念，也产生了“毁灭人类”的意念。这更说明，由人工主导的人工智能迭代，才能形成人机闭环系统。包括AI安全保障在内，机器在任何时候都离不开人的干预。刘权说，从本质上讲，人工智能替代不了人类的思维方式，也无法完全替代人类。否则，AI发展可能失去本义。

原标题：装完煤油装食用油？AI分得清！院士专家强调人工智能安全必须“人在回路”