Sep, 2023

FunCodec: 一个基础、可重现和可集成的神经语音编解码开源工具包

PDF
TL;DRFunCodec 是一个基于开源语音处理工具 FunASR 的基础神经语音编解码器工具包，提供训练可重现、推理脚本用于最新的神经语音编解码器模型，如 SoundStream 和 Encodec，并且可以轻松集成到下游任务中，如语音识别。其中，还提供预训练模型，可用于学术或一般用途。此工具包还进一步提出了频域编解码器模型 FreqCodec，与其他工具包和发布模型相比，在相同的压缩比下，FunCodec 可以实现更好的重构质量，并且证明预训练模型适用于包括自动语音识别和个性化文本转语音合成在内的下游任务。
发现论文，激发创造
  • FunASR：一个基础的端到端语音识别工具包

    FunASR 是一种开源的语音识别工具箱，其中最具代表性的 Paraformer 模型是一种非自回归端到端语音识别模型，经过手动注释的中文语音识别数据集的训练，同时还开放了基于 FSMN-VAD 和 CT-Transformer 的语音活动检测和文本后处理标点符号模型，这些模块为建立高精度长音频语音识别服务提供了坚实的基础，相较于在公开数据集上训练的其他模型表现更佳。

    May, 2023

  • RepCodec: 一种用于语音分词的语音表示编码器

    通过学习语音编码器、编解码器和向量量化码本，RepCodec 通过语义语音标记化将语音波形转换为语义标记，从而显著提升语音理解和生成的性能。

    Aug, 2023

  • PromptCodec：基于分离表示学习的自适应特征感知提示编码的高保真神经语音编解码器

    利用解耦表示学习为基准的特征感知提示编码器，我们提出了 PromptCodec，这是一种创新的端到端神经语音编解码模型，用于高压缩比下确保音频重建的高保真度。PromptCodec 通过整合提示编码器的额外特征表示，可以分配需要处理的语音信息并提高其能力。此外，我们引入了一种简单但有效的自适应特征加权融合方法，用于整合不同编码器的特征，并基于余弦距离提出了一种新颖的解耦表示学习策略以优化 PromptCodec 的编码器，从而进一步提高其性能。在 LibriTTS 上的实验证明，我们提出的 PromptCodec 在不同比特率条件下始终优于最先进的神经语音编解码模型，并在低比特率下取得了令人印象深刻的性能。

    Apr, 2024

  • 高保真神经音频压缩

    利用神经网络技术，提出了一种先进的实时高保真音频编解码器，其采用流式编解码器结构和量化的潜在空间，并引入了一种新型损失平衡机制和轻量级 Transformer 模型用于压缩。在语音、噪声回声语音和音乐等多个音频领域测试中，该方法在所有评估指标下均优于基线方法。

    Oct, 2022

  • SemantiCodec：一种用于通用声音的超低比特率语义音频编解码器

    利用语言模型和音频编解码技术，SemantiCodec 是一种能够以非常低的比特率将各种类型的音频压缩为每秒少于一百个标记的新型编解码器，具有更高的重构质量和更丰富的语义信息。

    Apr, 2024

  • 基于深度神经网络的端到端优化语音编码

    该论文介绍了一种基于深度神经网络的语音编码器，它实现了从原始语音数据到压缩、量化、熵编码和解压缩的端到端优化，无需手动特征工程，并在不同的比特率下表现与 AMR-WB 标准相当，同时能够在 3.8GhZ 英特尔 CPU 上实时运行。

    Oct, 2017

  • EnCLAP：基于神经音频编解码器和音频文本联合嵌入的自动音频字幕生成

    我们提出了一种自动音频字幕的新框架 EnCLAP，使用了两个声学表示模型 EnCodec 和 CLAP 以及一个预训练语言模型 BART。我们还引入了一种称为 masked codec modeling 的新训练目标，提高了预训练语言模型的声学感知能力。在 AudioCaps 和 Clotho 上的实验结果表明，我们的模型超过了基准模型的性能。我们将在此网址上提供源代码。在线演示可在此网址上获得。

    Jan, 2024

  • 基于音频编解码的语音分离

    通过在 NAC 的嵌入空间中进行音频编码器（Codec）的语音分离（SS）任务，我们提出了一种新的模型 Codecformer，在推断过程中实现了 52 倍的 MAC 降低，并且产生了与 Sepformer 云部署相当的分离性能，为在实际场景中实现高效的 SS 打开了新的方向。

    Jun, 2024

  • EnCodecMAE: 利用神经编解码器进行通用音频表示学习

    本研究探讨了使用神经音频编解码器 EnCodec 生成发音、音乐和环境声音的离散目标，以学习基于遮蔽自动编码器的通用音频模型 EncodecMAE，并在广泛的音频任务中取得了与领先的音频表示模型相媲美或更好的性能。

    Sep, 2023

  • FastFit: 通过多个 STFT 代替 U-Net 编码器，实现实时迭代神经声码器

    本文介绍了一种新的神经声码器架构 FastFit, 其使用多个短时傅里叶变换 (STFT) 来替换 U-Net 编码器，从而实现更快的生成速度，而不会牺牲样品质量。通过客观和主观的评估，我们证明了该模型提高了将近两倍的基准迭代声码器的生成速度，同时保持高音质。进一步表明，在多说话人和零 - shot 文本到语音等评估场景中，FastFit 产生了与其他基线模型类似的音质。

    May, 2023