Apr, 2024

Gull：一种生成式多功能音频编解码器

HTML
PDF
TL;DR通过引入Gull，我们介绍了一种生成式多功能音频编解码器。Gull是一种通用的神经音频压缩和解压模型，可应用于广泛的任务和应用，如实时通信、音频超分辨率和编解码器语言模型。我们比较了Gull与现有的传统音频编解码器和神经音频编解码器，并展示了Gull在各种采样率、比特率和模型复杂度下在主观和客观评价指标上达到或超越了现有编解码器的性能。
发现论文，激发创造
  • WaveNet：原始音频的生成模型

    该研究介绍了 WaveNet，一种用于生成原始音频波形的深度神经网络，该模型是完全概率的和自回归的，应用于文本到语音，产生了最先进的性能，用于模拟音乐，生成新颖且高度逼真的音乐片段，并可作为一种判别模型返回有希望的语素识别结果。

    Sep, 2016

  • RAVE: 一种快速高质量神经音频合成的变分自编码器

    本文介绍了一种实时音频变分自动编码器(RAVE)，允许快速且高质量的音频波形合成，采用多频段分解处理原始波形。通过后训练分析潜在空间，实现重构保真度与表示紧凑性之间的直接控制。例如对于音质转换和信号压缩等应用，该模型相比于现有模型表现更优。

    Nov, 2021

  • 高保真神经音频压缩

    利用神经网络技术，提出了一种先进的实时高保真音频编解码器，其采用流式编解码器结构和量化的潜在空间，并引入了一种新型损失平衡机制和轻量级 Transformer 模型用于压缩。在语音、噪声回声语音和音乐等多个音频领域测试中，该方法在所有评估指标下均优于基线方法。

    Oct, 2022

  • SoundStorm: 高效并行音频生成

    SoundStorm is a non-autoregressive audio generation model that uses semantic tokens and bidirectional attention to efficiently generate high-quality audio with consistency, comparable with autoregressive generation while being two orders of magnitude faster.

    May, 2023

  • 改进RVQGAN实现高保真音频压缩

    介绍了一种高保真度的神经网络通用音频压缩算法，它结合了高保真度音频生成的进展以及图像领域的更好的向量量化技术，并使用改进的对抗和重构损失将高维自然信号压缩成较低维度的离散令牌，该算法可以通过单一的通用模型压缩所有领域（语音、音乐等）的信号。

    Jun, 2023

  • EnCodecMAE: 利用神经编解码器进行通用音频表示学习

    本研究探讨了使用神经音频编解码器EnCodec生成发音、音乐和环境声音的离散目标，以学习基于遮蔽自动编码器的通用音频模型EncodecMAE，并在广泛的音频任务中取得了与领先的音频表示模型相媲美或更好的性能。

    Sep, 2023

  • Audiobox: 统一音频生成的自然语言触发器

    Audiobox是一种基于流匹配的统一模型，通过描述和示例的提示来增强可控性，统一了语音和声音生成范式，并通过使用Bespoke Solvers提高生成速度。

    Dec, 2023

  • SemantiCodec：一种用于通用声音的超低比特率语义音频编解码器

    利用语言模型和音频编解码技术，SemantiCodec是一种能够以非常低的比特率将各种类型的音频压缩为每秒少于一百个标记的新型编解码器，具有更高的重构质量和更丰富的语义信息。

    Apr, 2024

  • 基于音频编解码的语音分离

    通过在 NAC 的嵌入空间中进行音频编码器（Codec）的语音分离（SS）任务，我们提出了一种新的模型 Codecformer，在推断过程中实现了 52 倍的 MAC 降低，并且产生了与 Sepformer 云部署相当的分离性能，为在实际场景中实现高效的 SS 打开了新的方向。

    Jun, 2024

  • 神经音频编解码中的源解耦学习

    本研究解决了现有神经音频编解码模型在处理不同音频域（如语音、音乐和环境声音）时的不足。提出的源解耦神经音频编解码器（SD-Codec）通过联合学习音频重合成和源分离，将不同域的音频信号明确地分配到不同的代码库中。实验结果表明，SD-Codec在保持竞争性的重合成质量的同时，成功实现了潜在空间中不同源的解耦，从而提升了音频编解码的可解释性，并提供了更细致的音频生成控制能力。

    Sep, 2024