热搜！“只要能看到脸的都能换”，涉黄AI换脸案有人用暗恋女生换脸，不少女明星“中招”，法官提醒
每经编辑毕陆名
日前，话题词#涉黄AI换脸案有人用暗恋女生换脸#冲上热搜。
据央视新闻报道，“AI换脸”相信大家都不陌生。只需要一张照片，通过人工智能深度合成技术，任何人都能成为视频中的主人公，甚至连表情和动作都能以假乱真。然而，这项新技术，却让一些人产生了不良想法，杭州的虞某就利用“AI换脸”软件生成大量淫秽视频进行传播，被换脸的有不少女明星等公众人物，虞某甚至还提供换脸定制服务。最终，虞某犯制作、传播淫秽物品牟利罪，被判有期徒刑七年三个月，并处罚金6万元。
法官提醒：“AI换脸”技术即便只是用来搞笑或者制作恶搞照片，也有可能涉及侵犯肖像权、名誉权，造成严重后果的，还可能构成侮辱罪或者诽谤罪。
有人用暗恋女生换脸
2022年8月，杭州市萧山警方在网上巡查中获取一条线索，辖区内有人利用AI技术制作淫秽视频在网上进行大量传播，警方依法对此立案侦查，并迅速抓获了犯罪嫌疑人虞某，随后该案被移送至杭州市萧山区人民检察院审查起诉。
检察机关调查发现，虞某从2020年开始接触“AI换脸”软件，起初，他想通过在网上推广该项技术以及相关的软件来获利，但是，一段时间过后关注他的人却很少，一次偶然的机会，虞某看到有人在社交群组中发布淫秽信息来吸引他人关注，于是他也动起了类似念头。
据虞某供述，为了吸引更多的关注和流量，他在社交软件上创建了“浏览群”和“私人定制群”，“浏览群”主要用来传播“AI换脸”的淫秽视频吸引、招揽观看者，其中包括一些经过虞某换脸的视频，当有人提出“定制换脸”的需求，虞某会将这些人引入所谓“私人定制群”。
杭州市萧山区人民检察院第七检察部检察官助理陈禹尧：通过收取入（浏览）群费用的方式，一个198元、298元或者398元。另外一个就是虞某还提供人脸视频定制服务，相当于客户如果需要定制一个换脸的视频，他可以根据时长，根据视频的难度大小收取相应的费用。
据检察机关调查，虞某一边通过传播换脸的淫秽视频来“吸粉引流”，同时又通过出售“AI换脸”软件和提供所谓“AI换脸”的私人定制服务，在不到半年的时间里就获利数万元。而被“AI换脸”侵害人脸敏感信息的受害者，不仅包括多位知名公众人物，还有很多不特定的普通人。
据检察机关调查，虞某根据“AI换脸”视频的长度、清晰度等难易条件，按照5分钟300元、10分钟500元等标准来收取定制的费用。虞某声称，“只要能看到脸的都能换”。
据检察机关了解，虞某的客户要求“定制”换脸的对象不仅包括一些知名的公众人物，也有生活中的普通人，其中就有人提出想要定制自己暗恋女生的换脸视频，而对于这些未经同意就擅自侵犯他人敏感信息的违法行为，虞某也是来者不拒。
另外，虞某除了进行定制化的换脸服务，还将“AI换脸”软件分为初级、中级和高级三个等级进行销售并传授使用教程，同时还提供网上非法收集的他人人脸素材。
2023年4月14日，杭州萧山区人民检察院决定对虞某“AI换脸”侵犯公民个人信息公益诉讼案立案，当日履行公告程序，公告期满，无适格主体提起诉讼。6月9日，检察机关依法对虞某提起民事公益诉讼。7月28日，该案在杭州互联网法院一审公开审理。
2023年11月，杭州市萧山区人民法院判决被告人虞某犯制作、传播淫秽物品牟利罪，判处有期徒刑七年三个月，并处罚金6万元。
AI技术的迭代升级让不法分子借助智能AI换脸和拟声技术，就可轻松实现远程视频诈骗。记者调查发现，最近多地出现的AI换脸诈骗案件，均具备定制性、迷惑性等特征。
“AI换脸”诈骗，眼见不一定为实
据新华每日电讯，AI技术的迭代升级让不法分子借助智能AI换脸和拟声技术，就可轻松实现远程视频诈骗。记者调查发现，最近多地出现的AI换脸诈骗案件，均具备定制性、迷惑性等特征。
其中，香港警方近期披露一起涉案金额高达2亿港元的多人AI换脸诈骗案尤为典型。据媒体报道，某公司职员受邀参加公司“多人视频会议”时，先后将2亿港元分别转账到5个本地银行账户内。据警方调查，这场视频会议中除了受害者外，其余均为AI换脸后的诈骗人员。
不少业内专家表示，随着文生视频大模型Sora等多模态人工智能的探索和出现，人们可能陷入“眼见也不一定为实”的困局。“一直以来，银行等部门将实时视频用作检验身份的手段之一，如今其可靠性将面临巨大挑战。”沈福俊说，“随着人工智能技术的迭代升级，这类违法行为还可能演变出更多形态。”
中国行政法学研究会常务理事、华东政法大学教授沈福俊坦言，对此类AI换脸和AI拟声的恶性诈骗案件，若只依靠传统监管手段已不能防堵，监管部门在提升自我科技能力储备的同时，有必要引入新兴技术，探索用AI技术监管AI的可能。
从消费者角度出发，沈福俊建议提升全民个人信息保护意识，谨防隐私泄露。“不管是在互联网上还是社交软件上，尽量避免过多地暴露自己的信息，在涉及转账交易等行为时，可以多角度询问身份信息，反复验证对方是否为本人。”
据北京商报报道，当前AI换脸的一些技术弱点仍然存在。中国信通院人工智能中心安全与元宇宙部主任石霖指出，一些换脸的视频会存在光照、表情等不够自然、帧与帧之间不够连贯的问题，尽管随着模型能力的提升，这些换脸的痕迹已经做到几乎肉眼难以辨别的程度，但我们仍然可以通过一些专用的检测算法进行辨别。这些检测算法在训练过程中大量学习了换脸视频中伪造特征的方式，在使用的过程中逐帧提取特征，从而判断一段视频是否经过了换脸。当前，这些技术已经开始用在金融场景中，实现对诈骗等行为的识别。
那么，这些鉴别技术应用于反诈领域，前景如何？不得不承认，网络信号与算力仍是待解决的难题。“由于这些技术仍然需要大量的计算资源特别是GPU的支持，因此，通常在使用过程中，需要将相关的检测模型部署在服务器中。但如果想要将这些检测模型部署在手机、个人电脑中，或嵌入到社交、会议软件里，可能会对软硬件的使用体验造成较大的影响。近年来，很多技术企业已经开始尝试不断优化检测模型，探索将模型部署在端侧。”石霖说道。
每日经济新闻综合央视新闻、新华每日电讯、北京商报
封面图片来源：视频截图