近期,境外掀起一股利用AI深度伪造视频的新型“自骗”攻击浪潮。据网络安全公司Gen Digital的研究表明,该类型攻击在2024年第三季度针对加密货币爱好者和金融交易者激增了614%。攻击者通过攻陷的境外视频网站发布经过精心制作的深度伪造人物视频,这些视频采用先进的面部动画、语音合成和身体动作复制技术,极具迷惑性。
其中一起案例,名为“托马斯·哈里斯“和“托马斯·罗伯茨”的深度伪造合成人物视频频道诱导受害者执行从paste-sharing网站获取的恶意PowerShell命令,声称可以激活一个虚构的 “AI 驱动的开发者模式”,且该模式可以以 97% 的准确率预测加密货币市场趋势。实际上,这些频道则是通过操纵受害者执行恶意命令来窃取加密货币钱包、浏览器凭据,并完全控制受害者系统,给加密货币市场带来了巨大的安全隐患。

频道图片
随着人工智能技术的迅猛发展,利用深度伪造视频进行违法犯罪的事件屡见不鲜,已成为社会安全的新威胁。针对这一新兴的犯罪趋势,某司依托在深度合成和生成式AI技术领域的深厚积累,推出慧眼视频图像鉴真工作站、“内容鉴真平台”微信小程序等智能装备和产品,全面支撑人工智能生成视频图像、音频和文本等多媒体内容的检测、鉴定和溯源工作,为有效打击利用AI技术进行的犯罪行为提供了有力的技术保障。
“鉴真平台”微信小程序支持DeepSeek、文心一言、ChatGPT、ChatGLM、Qwen等13种国内外主流大模型产品生成文本的检测;支持豆包、即梦AI,通义万相,文心一格等30余种主流算法生成图像的检测;支持清影,CogvideoX,可灵AI等10余种主流算法生成视频的检测;支持DeepfaceLab、Facefusion、LatentSync等40余种主流AI合成算法所合成的图像和视频的检测。
图片/视频鉴真
特别是在应对深度伪造视频图像方面,自主研发的慧眼视频图像鉴真工作站已经发布了全新版本,具有智能鉴定和专业鉴定两种鉴定模式,涵盖40余种鉴定算法,近10种深伪鉴定算法,针对ps篡改,深伪合成,AI生成的视频图像进行检测鉴定,支持卷宗管理和报告生成,为鉴定人员提供一站式视频图像检验鉴定服务。并且符合GA/T1021-2013《视频图像原始性检验技术规范》、GA/T 1022-2013《视频图像真实性检验技术规范》、SF/T 0119-2021《声像资料鉴定通用规范》、SF/T 0153—2023《图片真实性鉴定技术规范》、SF/T 0148-2023《合成人脸图像鉴定技术规范》等视频图像真实性、原始性、合成人脸检验鉴定技术规范标准,可有效支持本次人工智能伪造图像鉴定能力验证的要求。

AI-3300慧眼视频图像鉴真工作站
为确保人工智能技术的健康发展,需全社会共同努力。未来,我们将积极钻研大模型技术、生成式AI及AI安全三大领域,旨在携手行业伙伴,为打击此类新型网络犯罪提供技术支撑,共同维护和保障人工智能的健康发展与规范应用,让技术真正惠及人类社会。