深度伪造检测技术：识别合成媒体的实用指南

深度伪造与真实媒体有什么区别？

深度伪造与真实视频或图像的区别通常在正常播放速度下是看不见的，但在像素级别可以进行统计检测。大多数深度伪造是由生成对抗网络（GAN）或基于扩散的人脸交换模型生成的，这些模型替换或合成一个人的面部区域，并将其混合到现有的身体或背景上。生成过程引入了两类错误：合成面部区域内的局部伪影，以及合成面部与周围环境之间的全局不一致。理解信号属于哪一类很重要，因为不同的深度伪造检测技术针对不同的错误类型——针对GAN频率指纹优化的分类器在扩散生成的内容上的表现与在传统人脸交换输出上不同。检测挑战随着时间而改变：最强大的生成器越来越能够抑制使早期深度伪造容易识别的明显伪影，这就是为什么该领域已转向多信号分析，而不是依赖任何单一技术。

视觉伪影分析：最直接的检测信号

检查可疑图像或视频帧中的视觉伪影是手动深度伪造审查的起点。在现代生成管道中幸存下来的伪影最常见地属于与特定合成模型故障模式相关的可预测类别。以200-400%的放大倍数检查帧，并系统地检查以下区域，可以捕捉到当前一代深度伪造中存在的大多数伪影。

1. 面部边界融合——合成面部与原始颈部、耳朵和发际线相交的接缝是人脸交换深度伪造中最常见的可见伪影。寻找不与周围皮肤和头发的锐度相匹配的颜色梯度、柔和边缘或下颌和太阳穴周围的光晕效应。
2. 眼睛区域不一致——生成器经常以较低的保真度渲染虹膜、巩膜和眼睑边缘，而不是脸部的其他部分。迹象包括圆形或对称性不佳的瞳孔、两只眼睛中虹膜纹理相同重复，以及与画面中其他地方可见的光源不对应的角膜反射。
3. 牙齿和嘴巴伪影——口腔内部细节是合成模型最难以令人信服地渲染的区域之一。牙齿可能会融合成一个单一的平面表面，没有可见的间隙，牙龈线可能模糊，舌头纹理通常缺乏在真实特写摄影中可见的光泽。
4. 皮肤纹理规律性——AI合成的皮肤在高放大倍数下往往比真实皮肤更均匀。真实面部显示毛孔分布、表面光泽和细小毛发覆盖的微观变化，当前生成器再现不一致。比较前额纹理与下颌的完整缩放。
5. 头发股渲染——发际线和松散卷毛周围的单个股线在计算上很难正确生成。深度伪造通常显示逐渐融入背景而不是干净分离的发际线，前额附近的单个头发可能看起来融合或不自然地漂浮。
6. 背景几何扭曲——合成面部覆盖可以扭曲面部边界附近背景中的直线。门框、架子或墙边缘可能显示细微的弯曲或不连续，正好在面部区域被合成到原始画面上的位置。

频域分析如何曝露深度伪造？

频域分析作用于图像的数学表示，而不是其视觉外观，使其对肉眼看不见的伪影敏感。每个图像都可以使用离散傅立叶变换或类似技术分解为空间频率的谱。基于GAN的生成器在图像的高频分量中产生独特的棋盘图案。这个伪影来自生成器网络内的上采样过程——特别是从产生可预测间隔处重复谱峰的转置卷积。这些峰在正常显示分辨率的空间域中不可见，但在频率谱可视化时清晰显示，自动分类器可以独立于图像内容检测到它们。基于扩散的生成器（如驱动Midjourney和Stable Diffusion的生成器）产生不同的谱特征。去噪过程在中频带中引入了特征平滑处理，将扩散输出与具有相似视觉复杂性的照片区分开来。这种区别对深度伪造检测技术很重要：主要针对GAN指纹训练的分类器在扩散生成的内容上可能显示显著降低的准确度。频域分析还可以检测复合图像中的拼接伪影，其中粘贴的面部区域的频谱轮廓与其被合成到的背景照片的频谱特性不匹配。

"本应显示摄像机传感器噪声的频率谱反而显示在规则间隔处重复的结构化峰——这是生成器的签名，而不是摄影师的。" — 数字媒体取证研究人员，2024

时间一致性分析揭示了什么？

视频深度伪造引入了静止图像不具有的一类伪影：帧之间的时间不一致。真实录制中的人物头部、面部和身体在空间中持续移动，受生理约束——第47帧中出现的面部必须在几何和频谱上与第46和48帧中的面部连接。在多帧而不是单个图像上运行的深度伪造检测技术利用了生成器维持这种一致性的困难。生理眨眼模式提供了研究充分的时间信号。人类平均每分钟眨眼15-20次，每次眨眼都遵循特征速度轮廓：眼睑关闭的速度快于睁开的速度，两个转变都遵循大致正弦曲线。早期的深度伪造生成器完全抑制了眨眼，因为训练数据主要由睁眼的全脸图像组成。现代生成器在很大程度上已纠正了这一点，但眨眼时间不规则和左眼与右眼之间的不对称眨眼动态仍然是在边界案例中值得检查的标记。头部姿态一致性提供了第二个时间信号。深度伪造中的面部通常在正面姿态附近生成，并合成到目标人物的头部运动上。当目标人物急剧转身或以角度倾斜暴露轮廓特征时，合成模型通常难以保持视觉一致性——生成的面部在头部移动到正面观看包络之外时变平、失去分辨率或细微扭曲。唇同步分析将唇形、张开宽度和舌头位置与音轨中的音素级别进行比较。大约80毫秒以上的时间偏移注册为针对真实录制的统计显著不匹配。专门的深度伪造检测工具摄入音频和视频流，并标记嘴型配置与正在播放的声音不匹配的帧。

生物特征和生理信号检测

除了几何和颜色之外，人体还产生当前合成模型再现不准确或根本不再现的生理信号。这些信号由物理捕获过程在真实视频录制中嵌入，但在AI生成的内容中不存在或错误地合成。远程光体积描记法（rPPG）是该类别中最具操作意义的深度伪造检测技术之一。真实的人脸视频包含皮肤中由对应心跳的血容量变化引起的细微、有节奏的颜色变化。这些振荡的振幅在微秒范围内，肉眼看不见，但在面部皮肤区域的像素时间序列数据中存在和可测量。优化空间真实感而不是时间生理准确度的深度伪造生成器，无法再现正确的心跳信号。应用rPPG分析的检测器将从可疑面部提取的信号与预期的心跳频率特性进行比较，并标记不存在相干生理周期的内容。面部动作单位提供了补充信号。面部动作编码系统（FACS）定义了共同产生人类面部表情的肌肉运动集合。真实表情遵循运动约束——肌肉收缩的程度、激活速度以及多个动作单位共发生的模式受解剖学限制。在FACS数据上训练的深度学习分类器可以标记超过解剖学合理性范围的表情，或显示在自然人类表达中不发生的动作单位组合。

"心跳在视频中，无论您是否能看到它。在真实的脸部，像素呼吸。在深度伪造中，它们通常不呼吸。" — rPPG检测研究人员，2023

元数据和内容来源能帮助检测深度伪造吗？

图像或视频文件本身中的技术伪影——与视觉和时间内容分开——提供了第三类深度伪造检测技术，独立于视觉质量操作。元数据检查是最快和成本最低的起点。来自智能手机和数码相机的真实照片携带EXIF数据，包括设备品牌和型号、捕获时间戳、GPS坐标和光圈设置。AI生成的图像通常不携带嵌入的EXIF数据，或携带在事后手动添加的元数据，缺少相机自动写入的传感器特定字段。缺失或不完整的EXIF记录不能确认图像是合成的——截图和平台上传常常剥离元数据——但它们转向需要仔细检查。内容来源框架提供了最系统的方法。内容来源和真实性联盟（C2PA）开发了一项开放标准，在创建时将捕获元数据加密绑定到媒体文件。符合C2PA的相机或软件工具在签名清单中写入信息，说明内容如何被创建、编辑和发布。审查C2PA签名文件的审查者可以验证从捕获到分发的监管链。限制是采用：C2PA保护仅适用于使用兼容工具生成的内容，大多数社交媒体平台在上传时剥离清单。由Google DeepMind开发的SynthID采取补充方法，在生成阶段对AI生成的图像和音频进行水印处理，使用设计为能在中等后处理中幸存的模式——尽管检测需要访问Google的验证系统，仅适用于来自其自己工具的内容。

1. 使用ExifTool或在线EXIF查看器检查EXIF元数据。注意特定的摄像机品牌、型号和时间戳与缺少这些字段的情况，或仅存在摄像机不写入的软件添加的通用字段。
2. 如果文件是由兼容的相机或应用程序生成的，请在contentcredentials.org/verify上验证C2PA内容凭证。查看已签名的清单中的创建和编辑历史。
3. 检查MP4和MOV视频文件中的文件容器元数据——编码参数、"ftyp"框和混合器信息经常在摄像机固件输出和合成生成管道之间有所不同。
4. 交叉参考上传时间戳——如果视频声称记录特定的实时事件，请检查元数据时间戳和文件修改时间是否与声称的录制期间一致。
5. 检查编码配置文件一致性——专业摄像机固件生成特定的编解码器设置、比特率模式和关键帧间隔。合成视频生成工具可能使用与声称的捕获设备不一致的默认或不寻常的编码配置文件。

音视频对齐作为检测层

替换一个人的面部但保留原始音频的视频深度伪造——或替换音频但保留面部的视频深度伪造——在两个流之间产生可验证的不一致。检查音视频对齐是对内容的可靠检测技术，其目的是使真人看起来说他们没有说过的话。音素到视素匹配是基础技术。每个语音声音（音素）产生特征可见的嘴型（视素）：像"b"或"p"这样的双唇辅音需要紧唇闭合，而像"oh"这样的元音需要圆形张开的配置。检测工具从音轨提取音素预测，从视频帧提取视素预测，然后以毫秒分辨率测量对齐。大约80毫秒以上的偏移——低于大多数听众的意识感知——注册为针对真实录制的统计显著不匹配。声音-面部一致性分析将说话者声音的特征与可见面部的物理特征进行比较。说话者年龄、性别和身体类型在声音（通过共鸣、基本频率和声道长度）和面部（通过骨骼结构和唇部面积）中留下相关信号。与其被归因的面部的物理特征不匹配的声音是次要标志，特别是在无法针对已知参考录制验证声音的内容中。背景环境声音提供了额外的交叉参考机会。真实的户外录制通常携带与视觉环境一致的环境噪声——街道噪声、风、具有适合空间混响的人群声。被拼接或合成的音频可能携带与视频帧中可见的视觉环境不一致的混响特性。

在实践中如何结合这些技术？

没有单一的深度伪造检测技术在所有生成方法、质量水平和后处理条件下都可靠。通过频域分析的深度伪造仍可能显示面部边界伪影；通过视觉检查的可能仍无法通过音视频对齐分析。实际方法是应用多个独立信号的分层审查，然后再形成判断——专业事实核查人员和数字取证实验室在评估争议媒体时使用的方法。来自多个独立信号的汇聚发现比任何单一积极结果具有实质上更多的证据权重。

1. 从静态视觉伪影检查开始。在被对象的面部接近正面的时刻暂停视频，并放大到200-400%。在继续动态分析之前，系统地检查边界区域、眼睛区域、嘴巴内部和发际线。
2. 在关键帧上运行频域分析。寻找表示基于GAN的生成器的规则间隔处的结构化峰，或指向基于扩散生成的中频带中的异常平滑。
3. 以0.25倍速度遍历视频，并在头部转身、眨眼和快速运动期间检查时间一致性。这些转变暴露了在正常播放速度下看不见的生成失败。
4. 检查音视频对齐在清晰语音的区域。听音频和唇部运动之间的时间偏移，并验证可见的嘴型配置与音轨中的音素相匹配。
5. 检查文件元数据。注意EXIF字段是否与声称的捕获设备和时间戳相匹配，并检查分发渠道是否支持C2PA内容凭证。
6. 通过自动化AI检测工具（如NotGPT用于图像）运行图像或视频，作为补充信号。自动化工具可以捕捉人类审查者在正常检查速度下未能发现的模式，但也会产生假正警报，可能无法覆盖新颖的生成技术。
7. 合并所有层的信号。一个维度中的单个异常保证进一步审查。跨独立维度的汇聚异常——视觉伪影、缺失的元数据和音视频时间偏移——构成了合成来源的实质上更强的证据。

自动化检测工具在深度伪造工作流中的作用是什么？

自动化AI图像和视频检测工具同时应用上述许多技术，并返回概率分数，无需审查者手动逐步完成每个信号。这使得它们快速且对初始分流有用——特别是对于基于图像的深度伪造，其中自动化分类器在有利条件下的基准数据集上已达到85-92%的准确度。自动化工具的实际局限是后处理下的准确度降级。已通过社交媒体压缩管道、重新屏幕截图或进行大量过滤的图像会失去分类器依赖的频率和伪影信号的一部分。图像或视频经历的转换越多，任何当前工具识别其为合成的可靠性就越低。当新生成器模型发布时，自动化工具也会受到准确度差距的影响。检测分类器针对作为训练数据收集期间存在的生成器进行训练。当主要生成器使用具有不同视觉特性的新模型版本时，在前一个输出上训练的分类器通常显示降低的准确度，直到他们自己的训练更新——整个类别中反复出现的差距。实际的要点是自动化工具和人工分析是互补的而不是可替代的。自动化检测处理卷并捕捉对临时检查看不见的模式；人工分析应用关于声称来源的领域知识，并在高风险案件中做出最终决定。