如果不法分子利用Sora造谣传谣，我们该如何识别？

最近，美国人工智能研究公司OpenAI的文本生成视频大模型Sora备受关注。但在被认为人工智能技术取得新进展的同时，担忧也随之而来：如果不法分子利用Sora造假、造谣，普通人又如何识别呢?

目前的Sora并不完善，有些视频因为逻辑错误，能够轻易辨别——红酒杯掉在桌面上，杯子没有碎，酒已经洒了一桌;考古学家挖掘出一把椅子，椅子自己开始跑动……但从OpenAI发布的多段样片看，“以假乱真”的案例更多，包括讨论最多的那段走在东京街头的时尚女郎，不论是背景中的城市，还是女主角脸上的雀斑、墨镜里的倒影等细节，几乎无懈可击，靠肉眼完全无法辨别是拍出来的还是人工智能生成的。

于是，有人提出假设：如果用人工智能技术看Sora的视频，能不能识别出来呢?

图片来源：Sora生成视频截屏

一个案例是让谷歌发布的人工智能大模型Gemini 1.5观看并分析 Sora 生成的视频。在观看完一段主题为“樱花雪景”的视频后，Gemini 判断这段视频是假的，理由如下：樱花一般在春天开放，那时不下雪;雪下得太均匀了;虽然是下雪天，但视频中的人物穿得很单薄。

Gemini给出的理由未必都站得住脚，不过提供了另一种思路：面对人工智能造假，技术打假变得越发重要。

“有视频有真相”成为历史

Sora的发布，意味着“假消息”“假新闻”正不断迭代。所以，对那些习惯于从短视频平台获取信息的网友来说，真的不能再随意相信那些视频了。

目前，很多人关注Sora在电影等娱乐内容生产上的应用，可实际上它也会改变新闻的生产方式和流程。眼下，用技术炮制的“假新闻”层出不穷，已经改变了很多惯有理念：图文时代，人们认为“有图有真相”，结果发现图可以P;视频时代，很多人觉得“有视频有真相”，但在出移花接木等造假手段上，如今又出现了Sora，用人工智能直接生成视频，连原始素材都不在需要。

据此，中央民族大学新闻与传播学院教授郭全中认为，Sora的出现导致视频生产门槛大大降底，新闻伦理会受到很大冲击。

合合信息图像算法研发总监郭丰俊也指出，随着人工智能技术的发展，深度造假(Deepfake)带来的治理危机将更加明显。所谓“深度造假”，是指基于深度学习等机器学习方法，创建或合成视听觉内容，如语音模拟、图像、音视频、文本等。所以，不论是已经出现的AI换脸，还是Sora，都可以看作深度造假的典型应用。

新技术、新应用虽然能帮助很多行业摆脱简单或重复的劳动，或者让创新灵感变得更加容易实现，但也会产生一定的负面影响。比如，别有用心之人利用深度造假技术，能更轻易地盗用他人身份、编造相关信息，实施商业诋毁、敲诈勒索、网络攻击和犯罪等违法行为。再比如，不法分子借助深度伪造技术，散布虚假视频，激化社会矛盾，煽动暴力行动，威胁国家安全和公共安全等。

可见，Sora是一把双刃剑。管理部门、业界应当注重针对相关技术的监管，而对普通人来说，也要有所警觉：“有图有真相” “有视频有真相”都已经成为历史。

“打标签”有帮助吗?

如果肉眼无法分辨视频真伪，那有什么办法来区分呢?

就目前业界的探索看，“打标签”似乎最简单、最直接。

多名社交平台从业者表示，不论国内外，现有的法律法规都没有禁止人工智能生成的内容在社交平台传播。事实上，从技术的角度看，平台也未必有能力判断相关内容是“人工智能生成的”还是“真实拍摄的”。所以，眼下各平台的普遍做法是要求发布者对这类生成内容打标签，而且不仅仅涉及大模型生成内容，还包括那些摆拍、编剧、剪辑的作品，都要打上标签。

作为大模型的开发者，谷歌和OpenAI也在研究“打标签”——通过后台设置，为所有通过网络其大模型生成的内容打上水印，告知用户。

然而，“打标签”或“打水印”无法从根本上解决深度造假的问题。

一方面，按照目前社交平台的治理方式，有相当一部分“打标签”行为得依靠发布者。从上海辟谣平台澄清的谣言看，其中不乏断章取义、移花接木、摆拍编造的作品，但拍摄者和发布者并没有打上相关标签。

可见，就治理成果而言，“打标签”并没有将造假行为一网打尽。虽然有的视频经过平台自治或网友举报被标记、删除，但仍有大量假视频、假消息。

另一方面，即使大模型开发企业通过技术设置，使得大模型生成的文字、图片、视频等被强制“打标签”、告诉公众它们来自人工智能而非现实，但从现实传播看，相关标签、水印可能在分享中被人故意抹除，截屏、录屏、二次剪辑加工等，都可以轻松去除标签和水印，从而使得公众越发难以识别。

如此看来，“打标签”只是防范深度造假的初步手段或基础手段，效果未必理想。或许是出于这一考虑，OpenAI在公开介绍Sora时也承认，该模型还存在一些安全风险，所以暂时不会面向公众开放。

“用魔法打败魔法”

那么，有什么方法能更加精准地识别深度造假呢?

Gemini对Sora生成内容的真假判断，提供了另一条思路——用人工智能识别人工智能。不少业界人士将此比喻为“用魔法打败魔法”，认为通过技术手段，有机会从根本上识别深度造假并降低相关风险。

OpenAI也表示，正在进行相关研究，包括研发能检测误导性内容的文本分类器、图像分类器等，“在OpenAI产品中，我们的文本分类器会检查并拒绝违反使用政策的文本输入，包括涉及极端暴力、性、仇恨、名人肖像、他人IP等内容，并进行相关提示。我们还开发了强大的图像分类器，用于审查生成视频的每一帧，以确保它在向用户显示前，符合我们的使用策略。”

不过，这些仍能看作企业的自律行为。就整个行业来说，来自第三方的“魔法”同样重要——因为内容生成企业的“规范”建立在该企业自身的价值基础上。如果研发企业本身“做恶”，如何指望“自律”行为能防范风险呢?

正因为此，很多第三方企业与机构开启了“鉴别深度伪造”技术的研发之路。

郭丰俊介绍，国内外已有不少企业专注于鉴别人工智能篡改，其中包括大量中国企业，如中国电信等央企，瑞莱智慧(RealAI)、 中科睿鉴等大专院校与科研院所孵化的科技公司，以及网易，合合等深耕人工智能行业多年的技术企业。总体而言，国内科研团队在鉴别深度造假方面的成绩已经处于世界先进水平，多个国内研究团队曾在国际知名的篡改检测大赛中获得好成绩。

更积极的成果在于“用魔法打败魔法”在国内已经有落地案例。他举例，比较典型的是在金融领域，已有不少金融机构利用国内技术企业自主研发的人工智能甄别伪造人脸图像技术，来判断相关人脸图像是真实的还是合成的，或者被AI换脸。这一技术主要应用在银行及金融行业的客户图像、视频真伪检测上，能避免身份盗窃和欺诈，保护财产安全。

不过，业内人士也指出，“用魔法打败魔法”依旧任重道远。随着深度学习和计算机视觉等领域技术的不断进步，篡改甄别技术需要不断升级并拓展应用场景。在这个过程中，需要更多的企业、社交平台参与，共同为“科技向善”努力。