Jul, 2023

单个和多个说话者克隆音频检测：从感知到学习特征

PDF
TL;DR本研究描述了三种方法来区分真实和合成语音，并比较它们的特点和准确性，具有对抗性清洗的鲁棒性，在单个讲话者的声音和多个声音上进行了训练。
synthetic-voice cloningvoice differentiationanti-fraudperceptual featuresend-to-end learned features
发现论文，激发创造
  • 众人一心、一心为公：基于深度学习的合成语音检测的特征融合

    通过融合不同的特征集，本文提出了一个模型，用于合成语音检测任务，取得了比现有解决方案更好的性能，并在不同场景和数据集上进行了测试，证明了其对抗反取证攻击的强健性和泛化能力。

    Jul, 2023

  • 一种新的声音真实性方法

    声音伪造，驱动主要是最近文本到语音合成技术的进展，对社会提出了重大挑战。我们主张从传统的二元范式即声音是 “真实” 或 “伪造” 进行观念转变，而将重点放在定位 “声音编辑” 上，这包括传统的修改、过滤和剪辑，以及文本到语音合成和语音变换系统。我们提出了六个类别，并策划了一个基于 M-AILABS 语料库的新挑战数据集，并提供了基线检测系统。我们认为，仅将声音分类为真实或伪造是一种危险的过度简化，将不能推动语音技术领域的发展。

    Feb, 2024

  • 使用少量样本的神经语音克隆

    本文针对少量音频样本的情况，提出了一种基于神经网络的语音克隆系统，通过训练来进行说话人的自适应和编码，实现语音的自然性和相似度，适用于低资源系统的使用。

    Feb, 2018

  • 深度伪造语音的实时检测

    生成式人工智能在语音领域有着重要的隐私和道德威胁，该研究通过生成了 DEEP-VOICE 数据集，并利用机器学习模型进行统计分析和超参数优化，最终实现了 99.3% 的准确分类，并能够实时检测 AI 生成的语音。

    Aug, 2023

  • SingFake: 唱歌声深度伪造检测

    提出了歌声深度伪造检测任务，创建了第一个真实数据集 SingFake，包含 40 位歌手 5 种语言的 28.93 小时真实歌曲和 29.40 小时深度伪造歌曲片段，评估了四个最先进的口语对抗系统，发现在 SingFake 上训练相对于在口语测试数据上训练有显著改进，但也提出了未知歌手、通信编解码器、语言和音乐背景等挑战。

    Sep, 2023

  • DeepSonar: 有效且稳健的 AI 合成虚假语音检测

    文中提出了一种新方法 DeepSonar，利用神经元行为监测技术实现对 AI 合成的假声的检测，已在包括谷歌、百度在内的三种语言数据集上进行了实验，检测率达到了 98.1％平均准确率，误报率低于 2％。

    May, 2020

  • 谁是真实的讲者

    探索利用深度学习技术进行声音转换，识别原始说话者的可行性，通过使用分段转换的转换语音进行实验证明从转换声音中识别真实说话者的可行性，并使用具有来自源说话者的某些信息的 VLAD 进行构建的识别模型在转换语音上表现出很好的性能。

    Apr, 2024

  • Syn-Att：通过半监督的未知多类 CNN 集成进行合成音频归属

    通过将语音转化为对数梅尔频谱图，利用半监督学习和集成方法来提高稳健性和泛化性，本文提出了一种将合成语音与生成器相关联的新策略，并在 IEEE SP Cup 2022 的 ICASSP 挑战中，准确率相较 Eval 2 提高了 12-13%，Eval 1 提高了 1-2%。

    Sep, 2023

  • 数字音频取证：盲目人类语音模仿检测

    该论文使用深度学习方法建立了一个分类器，用于区分输入音频是否为真实录制，有助于解决 AI 技术使犯罪和伪造更容易的问题。论文中提供了英语和英阿混合语数据集，并对该分类器进行了人工核查以验证其准确性。

    Sep, 2022

  • 多模态学习改进少样本语音克隆

    这篇文章提出使用多模态学习来改进少样本语音克隆性能，并通过在 Tacotron2 上增加无监督语音表示模块来构建该系统，实验结果表明，该多模态学习方法可以极大地提高语音克隆性能。

    Mar, 2022