上观新闻2024年10月13日发布:一张照片可实时视频换脸！警惕AI合成这种新型网络诈骗手段

警方在侦办案件过程中，意外发现该涉案社交账号突然解冻并重新登录，推测可能有团伙帮助诈骗嫌疑人解封了账号。调查发现账号IP所在地在河南，黄石警方在当地配合下，很快抓获三名嫌疑人，现场查获13台电脑、9部平板、119部手机和80张电话卡。经讯问，高某与许某2023年9月底开始在网上贩卖和帮他人解锁社交账号，通过AI换脸融合的动态视频帮人解锁一些被平台冻结的交友账号。

湖北省黄石市公安局下陆分局指挥中心民警王楚奇：他通过自己在网上购买的一款视频合成软件，按照社交账号要求解封作认证的这些规定动作，利用他自己的人脸和他合成的那个视频，生成的AI视频上传到社交账号的后台，来进行认证。

据了解，这个团伙每解锁一个账号收费15元至30元不等，其中许多账号是因涉嫌诈骗被冻结的账号。该团伙共解冻了2107个账号，从中获利40万元。民警告诉记者，AI合成视频已经成为新型网络诈骗的重要手段。

湖北省黄石市公安局下陆分局新下陆派出所治安巡防副队长张军：不要将自己的身份证号、身份证头像、手机号等等自己的隐私信息在网上进行暴露，加强自己的隐私信息的保护。

眼见不一定为实
单张照片可实时视频换脸

我们常说“眼见为实”，但在AI时代，肉眼所看见的也不一定是真相。一些不法分子利用“AI换脸”技术实施诈骗，已成为一种新型骗局。一张“肖像照片”、一段“貌似熟人的视频”，都可能被不法分子利用作为诈骗的手段和工具。

在工业和信息化部反诈专班的实验室里，技术人员向记者演示了两种常用的AI换脸技术。通过一张事先从网络上公开获取的记者本人照片，经过一段时间的模型训练。这张照片就能在演示者的控制下像真人一样做出转头、张嘴、眨眼、微笑等表情和动作。

工业和信息化部反诈工作专班专家李坤：不法分子首先会通过各种公开的渠道获取受害人的个人肖像或视频，然后利用AI技术，对这些照片中的面容特征进行学习，从而模仿眨眼、摇头等动作，实现以假乱真的效果。

李坤表示，除了让照片上的人像活化，AI换脸技术还能实现在即时视频通信状态下的实时换脸。技术人员也通过AI换脸技术让记者体验了一下与另一个“自己”视频对话的效果。

工业和信息化部反诈工作专班技术人员：主要找了一些公开的社交媒体平台，去拉取一些公共的视频。拿了这些数据，整体的训练时间差不多花了1天，24小时达到目前这个效果。如果时间长点的话，我们画面的清晰会有所提升。

技术人员告诉记者，所有用于AI换脸训练的记者照片和视频都是从网上公开收集的，总共只用了四五张照片和不到五分钟的素材。如果有充足的训练时间，仿真效果会更好。除了面容以外，声音也可以通过同样的技术来仿冒。专家指出，虽然目前AI换脸和仿声有一定的技术门槛和较高的实现成本，但如果被不法分子掌握，就可能在即时通信或者社交软件上伪装成他人，开展相应的诈骗活动。

AI换脸诈骗检测与预警技术正在测试中

利用AI技术制作换脸视频或合成声音来实施诈骗的确让人防不胜防，那么如何防范这种风险呢？有关部门正在开发相关的反制技术和手段。

工业和信息化部反诈专班专家李坤：我们正在会同行业内的手机终端企业，将推出AI换脸诈骗风险提醒功能。这项功能仅在手机端来本地运行，能够有效保护用户数据不泄露，经过用户授权后，可为用户提供AI换脸诈骗风险预警提醒。