Feb, 2024

一种新的声音真实性方法

PDF
TL;DR声音伪造，驱动主要是最近文本到语音合成技术的进展，对社会提出了重大挑战。我们主张从传统的二元范式即声音是 “真实” 或 “伪造” 进行观念转变，而将重点放在定位 “声音编辑” 上，这包括传统的修改、过滤和剪辑，以及文本到语音合成和语音变换系统。我们提出了六个类别，并策划了一个基于 M-AILABS 语料库的新挑战数据集，并提供了基线检测系统。我们认为，仅将声音分类为真实或伪造是一种危险的过度简化，将不能推动语音技术领域的发展。
发现论文，激发创造
  • 单个和多个说话者克隆音频检测：从感知到学习特征

    本研究描述了三种方法来区分真实和合成语音，并比较它们的特点和准确性，具有对抗性清洗的鲁棒性，在单个讲话者的声音和多个声音上进行了训练。

    Jul, 2023

  • SingFake: 唱歌声深度伪造检测

    提出了歌声深度伪造检测任务，创建了第一个真实数据集 SingFake，包含 40 位歌手 5 种语言的 28.93 小时真实歌曲和 29.40 小时深度伪造歌曲片段，评估了四个最先进的口语对抗系统，发现在 SingFake 上训练相对于在口语测试数据上训练有显著改进，但也提出了未知歌手、通信编解码器、语言和音乐背景等挑战。

    Sep, 2023

  • 跨文本、音频和视频的政治 Deepfakes 人类检测

    研究表明，人们对于真实和伪造的政治演讲的辨别能力更多地依赖于音频和视觉线索，而并非演讲内容本身。然而，反思性推理能力会调节参与者对视觉线索的考虑程度，反应出低反思性推理能力与过度依赖演讲内容的趋势。

    Feb, 2022

  • 深度伪造语音的实时检测

    生成式人工智能在语音领域有着重要的隐私和道德威胁，该研究通过生成了 DEEP-VOICE 数据集，并利用机器学习模型进行统计分析和超参数优化，最终实现了 99.3% 的准确分类，并能够实时检测 AI 生成的语音。

    Aug, 2023

  • 谁是真实的讲者

    探索利用深度学习技术进行声音转换，识别原始说话者的可行性，通过使用分段转换的转换语音进行实验证明从转换声音中识别真实说话者的可行性，并使用具有来自源说话者的某些信息的 VLAD 进行构建的识别模型在转换语音上表现出很好的性能。

    Apr, 2024

  • 自动身份识别对音频视觉深度伪造的漏洞

    该研究论文介绍了首个真实的音频 - 视觉深度伪造数据库 SWAN-DF，其中嘴唇和语音同步，并具有高质量的视觉和音频。研究表明，通过调整现有的预训练深度伪造模型来适应特定身份，可以在超过 90% 的时间内成功欺骗人脸和说话人识别系统，并获得非常逼真的伪造视频。

    Nov, 2023

  • 即时深度伪造威胁讨论文件

    本文讨论了生成式深度学习模型所造成的威胁，特别是其用于混淆、欺诈和社会工程攻击等方面的弊端，并且提出了加强社会防御的建议。

    Jun, 2023

  • 音频对抗样本：利用语音面具的攻击

    我们构造了针对自动语音转文字系统的音频对抗样本，并将其应用于五种最先进的语音转文字系统，实验证明这些对抗样本可以欺骗机器，但人类可以轻易地辨识出其中的话语。这一攻击的可行性为研究机器和人类对话语的感知提供了一个新的领域。

    Feb, 2021

  • AI 产生的图像、视频、音频和音视频刺激的人类检测与抛硬币一样好

    合成媒体对人类日常生活具有很高的欺骗性，人类的感知检测能力不再是有效的对抗手段。

    Mar, 2024

  • 利用声学上下文调节、话语嵌入和参考编码器实现零样本基于文本的语音编辑

    本文研究了基于文本声音编辑技术（Text-based voice editing，TBVE）的新方法，通过使用预训练说话人验证嵌入和联合训练参考编码器的方法，增强了语音中的说话人身份和韵律连续性。

    Oct, 2022