Jan, 2020

DDSP：可微分数字信号处理

PDF
TL;DR本文介绍了 Differentiable Digital Signal Processing (DDSP) 库的使用，该库将传统信号处理元素与深度学习方法直接集成，以实现音频合成。作者通过使用内插模块的组合来演示 DDSP 的应用程序，如分离音高和响度的独立控制，可靠地推断未在训练中出现的音高，完全盲的混响消除，将提取出的房间声学转移到新环境以及在不同来源之间转换音色。
audio synthesisdigital signal processingneural networksinterpretable modulesroom acoustics
发现论文，激发创造
  • MIDI-DDSP: 通过分层建模详细控制音乐表演

    本文介绍了一种多层次音乐乐器模型 MIDI-DDSP，该模型具有真实的神经音频合成和详细的用户控制能力，通过利用可解释的层次结构，提供了自下而上控制、优化、创造音乐的方式。

    Dec, 2021

  • 高质量语音合成的超轻量级神经差分 DSP 语音编解码器

    提出了一种超轻量级的差分 DSP (DDSP) vocoder，该 vocoder 使用了一个经过联合优化的声学模型和 DSP vocoder，学习过程中不需要提取声道的光谱特征，实现了与神经 vocoder 相当的音频质量，同时作为一个 DSP vocoder 非常高效。在 2GHz 的 Intel Xeon CPU 上单线程运行时，无需任何硬件特定优化，C++ 实现的 FLOPS 达到 15 MFLOPS，相对于 MB-MelGAN 的 FLOPS，高出 340 倍，仅需 0.003 的 vocoder-only RTF 和 0.044 的总 RTF。

    Jan, 2024

  • 基于频谱扩散的多乐器音乐合成

    本文介绍了利用神经合成器实时生成任意乐器和音符组合的音频，其具有互动性和表现力，使用 MIDI 序列进行训练，采用两阶段过程转换为声谱图，然后通过生成对抗网络（GAN）声谱图反演器将其转化为音频，发现 DDPM 方法在质量和重建等方面具有显著的优势。

    Jun, 2022

  • 音频信号处理的深度学习

    该研究文章综述了当前音频信号处理领域中基于深度学习的技术，着重介绍了其在语音、音乐、环境声音处理中的相同点和差异，强调了其潜在的交叉互补性。文章介绍了主要的特征表示和深度学习模型，以及其在音频识别和合成分离领域的应用，并最终确定了深度学习在音频信号处理中的关键问题和未来研究方向。

    Apr, 2019

  • 从离散的标记到高保真音频的多频带扩散

    利用高保真多带扩散模型，基于低比特率离散表示生成任何类型的音频，其感知质量比最先进的生成技术更好。

    Aug, 2023

  • 使用双判别器对去噪扩散模型进行对抗训练的高保真多说话人 TTS

    通过在扩散模型中引入两个辨别器（扩散辨别器和频谱图辨别器），我们提出了一种音频合成模型，其在各项评估指标中均优于 FastSpeech2 和 DiffGAN-TTS，并通过结构相似性指数、梅尔倒谱失真、F0 均方根误差、短时客观可懂性、语音质量感知评估和主观平均意见得分等客观和主观度量对该模型进行了评估。

    Aug, 2023

  • 图上的离散信号处理

    本研究将离散信号处理 (DSP) 延伸到图信号，利用 DSP 基本原理进行快速分类，压缩和预测线性不规则位置天气站数据和移动服务提供商客户行为数据以及图论和社交网络的数据分析和处理。

    Oct, 2012

  • DSVAE: 可解释的分离合成语音检测表示

    本文提出使用 Disentangled Spectrogram Variational Auto Encoder (DSVAE) 处理语音谱图以生成可解释的表示，并创建激活映射来区分合成和真实人类讲话信号，通过 ASVspoof2019 数据集获得高精度（>98%）检测多种语音合成器合成的语音。

    Apr, 2023

  • Spectral-DP: 谱扰动与过滤下的差分隐私深度学习

    基于 Spectral-DP 的差分隐私深度学习方法在训练和迁移学习设置中表现出一致更好的效果。

    Jul, 2023

  • 音源分离基于潜在变分分块解缠

    混合经典数字信号处理 / 深度神经网络的方法用于源分离任务，通过设计合理的潜在空间，将单通道欠定的源分离问题转化为等效的多通道过定的问题，并使用变分块间分离表征混合信号，通过经典信号处理理论结果的启发，提出可靠性更强、过拟合风险降低的模型。

    Feb, 2024