音频深度伪造检测：在克隆声音愚弄你之前识别它

什么是音频深度伪造检测？

音频深度伪造检测指的是用于识别语音录音是真实的人类语句还是由人工智能生成的合成语句的任何技术——自动或手动。该术语涵盖了广泛的攻击：从特定人物的录音训练的文本到语音模型生成的语音克隆、在通话中实时替换说话者声音的实时语音转换工具，以及完全合成的声音，可以模仿真实的人而不需要任何录制的源材料。检测的挑战与检测图像或视频深度伪造不同。对于图像，你会寻找视觉伪影——额外的手指、模糊的边缘、不一致的光线。对于音频，信号是声学的：音调、共鸣频率、呼吸模式以及每个真实录音都会捕捉到的房间音响中的微小不规则性。音频深度伪造检测系统试图测量这些声学特性，并将它们与在相同条件下真实人类声音的样子进行比较。该领域在一系列高调欺诈案件后变得极其紧迫。2020年，香港一家银行经理在来电者使用克隆声音冒充公司董事后被诓骗授权转账。2023年，一家美国能源公司的主管接到一个虚假电话，该电话模仿了他们首席执行官的声音，精准度足以几乎授权转账。这些事件不是异常现象——主要银行的欺诈团队现在将语音冒充视为标准威胁媒介。

音频深度伪造是如何创建的——为什么它们如此令人信服？

现代音频深度伪造是使用神经文本到语音（TTS）模型或语音转换系统生成的。这种区别对于检测很重要。基于TTS的克隆通过对目标说话者的录音进行微调大型预训练模型来构建。ElevenLabs、Resemble AI和Coqui等工具可以从仅30秒的音频生成可接受的克隆，从几分钟生成令人信服的克隆。输出是一个可以用目标的声音朗读任何文本的模型。语音转换系统的工作方式不同：它获取来自一个说话者的实时音频，并在接近实时的时间内将其转换为目标的声音。这就是使电话诈骗攻击特别难以防御的原因——攻击者可以自然地说话，而受害者听到的是完全不同的人。使两种方法都令人信服的是，现代神经声码器——将声学特性转换为可听见波形的组件——在生成听起来自然的语音方面变得非常出色。早期的语音克隆听起来很呆板，因为声码器添加了可听见的伪影。基于VITS、NaturalSpeech 2或Meta的Voicebox等架构的当前模型生成的音频，在盲听测试中，人类听众始终将其评为与真实语音无法区分。实际含义：你不能仅依靠主观听觉来捕捉精心制作的克隆。

"在受控测试中，人类听众正确识别合成声音的时间约为73%——在电话压缩或背景噪声等现实条件下，准确度进一步下降。" — 滑铁卢大学网络安全研究，2023

人类耳朵在听假音频时错过了什么？

简短的答案是：很多。人类有线要听的是意思，而不是声学特征。当你听到一个熟悉的声音说一些合理的事情时，你的大脑倾向于接受它。音频深度伪造检测需要相反的本能——对信号本身的怀疑，而不仅仅是内容。这些是人类听众持续忽视的具体线索。

1. 韵律平滑：真实语音具有微短暂停、犹豫和音调波动，这些波动以自然感觉的不规则方式。克隆的声音听起来常常有点太光滑，特别是在句子之间的过渡中。这很微妙，大多数听众将其记录为信心而不是合成。
2. 呼吸伪影：真实录音包含句子之间的可听见的吸气和短语中间的细微呼吸声。许多语音克隆系统完全省略了这些，或以不自然的方式插入它们。根本没有呼吸声的录音是一个危险信号。
3. 房间音响：每个真实的录音都捕捉了它所在的房间——混响、环境噪声、轻微回声。从干净的TTS模型生成的克隆通常具有声学平面的质量，与任何真实房间不匹配。如果声音听起来像是在一个完美的录音室里，而背景噪声表明一个呼叫中心，这种不匹配很重要。
4. 共鸣频率一致性：每个人的声音都有一组独特的共鸣频率，称为共鸣频率。语音克隆模型有时在平均值上做得很好，但在不太常见的音素上漂移——声音如'zh'、'th'或某些元音组合。目标语言的母语者可能会注意到这些作为轻微的口音伪影。
5. 情绪寄存器：克隆的声音在中立信息演讲方面比在情感高潮时更好。被要求表达紧迫感或烦躁的合成声音在真实情感最可能最为明显的时刻往往听起来很平坦。

音频深度伪造检测技术如何在后台工作

自动化音频深度伪造检测系统同时沿着多个声学维度分析录音。生产级工具中最常见的方法包括频谱分析、声码器伪影检测和活体探测。频谱分析使用频谱图或梅尔频率倒谱系数（MFCC）检查录音在时间上的频率内容。真实人类语音在这些频率表示中具有特征模式，与合成语音不同——特别是在8 kHz以上的非常高频带，TTS模型通常无法准确再现。声码器伪影检测寻找波形合成模型留下的细微失真。早期神经声码器在音调频率处引入了周期性伪影，在频谱图中显示为规则模式。现代声码器已减少了这些，但尚未完全消除它们。在真实和合成语音的大数据集上训练的检测模型学会识别这些残留特征，即使它们不明显对人类耳朵。活体探测是实时通信中最直接的音频深度伪造检测形式。与分析预先录制的剪辑不同，系统要求来电者说一个随机生成的短语或回答一个意外的问题。实时语音转换工具需要几分之一秒来处理传入的音频，然后再输出转换的声音——增加可检测延迟的延迟，并可能在不常见的音素序列上使克隆不稳定。Pindrop、Resemble Detect和ID R&D的VoiceShield等工具使用这些方法的组合，通常返回置信度分数而不是二进制判断。

音频深度伪造检测能否抓住虚假来电和面试欺诈？

这两种情况是音频深度伪造检测在实践中最受考验的地方。虚假来电呈现了一个特殊的挑战，因为音频质量已经因电话压缩而降低。通过VoIP或传统PSTN网络传输的通话使用G.711或G.729等编解码器，这些编解码器删除了使合成声音最容易检测的高频内容。一个在干净44 kHz录音中表现良好的音频深度伪造检测系统在8 kHz电话通话中的性能可能明显更差。一些企业欺诈平台通过分析电话元数据以及音频来解决这个问题——来电显示欺骗模式、通话路由异常以及与声称身份不匹配的地理位置不一致。音频分析通常在压缩的电话线上是不够的。面试欺诈——远程求职候选人在视频通话期间使用语音转换工具来掩盖身份——已成为足够大的问题，以至于几家科技公司已明确将其添加到他们的招聘政策文件中。此上下文中的音频深度伪造检测需要实时工作，这限制了可能的分析深度。目前使用中最实用的对策根本不是算法性的：要求候选人以非脚本的方式现场演示他们的工作，并进行屏幕共享。语音转换工具在同时执行任务时会遇到困难。对于录制的异步面试平台，专用的音频深度伪造检测API可以在人工审查器听见任何声音之前分析提交的片段。

1. 对于实时电话通话：使用引入不可预测提示的活体探测系统；不要仅依赖语音识别
2. 对于视频面试（实时）：让候选人执行非脚本的实时演示；注意任何音频延迟或不自然的光滑
3. 对于异步视频提交：在路由到人工审查器之前，通过基于API的音频深度伪造检测服务运行音频片段
4. 对于高风险决定（转账、账户访问）：实施回调协议——结束通话并拨回已验证号码
5. 对于所有背景：在法律允许的地方记录和时间戳音频，以便在需要时可以法医学地分析可疑片段

新闻编辑室工作流程中的音频深度伪造检测是什么样的

记者和事实核查员面临与欺诈团队不同的音频深度伪造问题版本。他们的关注不是实时攻击——这是一个预先录制的片段，作为谎称的独家新闻发送给他们：泄露的电话通话、秘密录制的对话、新闻发布会音频文件。此背景中的音频深度伪造检测是与源评估和内容审查平行运行的更广泛的验证工作流程的一部分。第一步是元数据检查。真实的音频录音通常会包含有关录音设备、日期的嵌入信息，有时还有位置。没有元数据的音频文件，或显然在事后被修改的元数据，值得更多审查。第二步是声学环境分析。音频在整个过程中是否具有一致的房间特征？拼接的录音往往显示背景噪声或混响的不连续。来电者的声音在录音的所有部分中是否具有相同的声学特征？一个插入真实对话中的克隆有时会突出，因为房间音响不匹配。第三步是通过音频深度伪造检测服务运行片段——Pindrop Pulse、Nuance Gatekeeper或NIST的开源分析工具等工具可以提供概率估计。这些分数对于优先调查工作比对将其作为确定性结论发布更有用。包括BBC Verify团队和路透社事实核查部在内的许多主要新闻室已建立了整合这些步骤的内部工作流程。共识与适用于图像和视频验证的相同：将高深度伪造分数视为深入研究的原因，而不是对其自身的可发布判决。

"深度伪造分数就像测谎仪结果——作为调查线索很有趣，作为结论不可接受。"

当语音片段听起来可疑时：你应该做什么？

拥有结构化的反应比直觉更重要。当一段音频引起怀疑时，这是一个实用的序列，前几个步骤不需要专门软件。

1. 首先检查来源：谁给你发送了这个片段？通过什么渠道？你能验证发送帐户或设备实际上是属于你认为的人吗？通过受感染的电子邮件帐户发送的令人信服的语音克隆仍然是欺诈，即使音频分析返回模糊的结果。
2. 听听声学不一致：使用耳机，在正常速度听，然后在0.75x。专注于呼吸声、暂停以及声音在整个过程中听起来是否一致自然。合成声音有时会在不寻常的词语或情感转变上降级。
3. 检查文件元数据：使用MediaInfo或命令行exiftool等免费工具检查嵌入的元数据。查看创建日期、编码软件和比特率。声称的电话通话以320 kbps工作室质量编码是不可信的。
4. 提交到音频深度伪造检测工具：Pindrop Pulse、Resemble Detect或ID R&D的API等服务接受音频上传并返回置信度分数。对于五分钟以下的片段，大多数提供基于网络的界面，无需企业合同。
5. 尝试独立验证：如果录音声称捕捉特定事件，检查其他参与者是否能确认它发生了。请求与声称的说话者通话，以直接比较声音特征。
6. 在采取行动前记录一切：对来源进行屏幕截图或保存，注意文件哈希，并记录采取的步骤和时间。如果片段被证明是深度伪造，你需要报告或涉及执法部门，干净的证物链使案例更容易。

NotGPT如何适应你的验证工作流程

NotGPT的核心工具专注于文本和图像检测，涵盖了你可能在音频深度伪造旁边遇到的合成媒体的显著部分。在大多数真实世界的深度伪造活动中——虚假来电、虚假面试录音、语音克隆的社交媒体片段——音频不会单独到来。它伴随着电子邮件、社交媒体帖子、抄本或人工智能生成的个人资料照片。通过NotGPT的AI文本检测和AI图像检测运行这些邻近材料为你提供了除音频本身之外的额外数据点。标记为严重AI生成的抄本或评分为合成的档案照片提高了总体怀疑水平，即使音频分析返回模糊的结果。对于音频组件，来自Pindrop或Resemble AI等公司的专用语音活体工具仍然是最准确的选择。将音频深度伪造检测视为堆栈中的一层，而不是独立判决，并将其与来源检查、元数据检查和背景验证结合起来，进行重要的决定。