Aug, 2020

具有移动音频流网络的高效低延迟语音增强

PDF
TL;DR提出了适用于移动设备和计算能力受限应用的移动音频流网络 (MASnet)，用于有效的低延迟语音增强。MASnet 将连续的嘈杂帧转换为复值比率掩码，然后将其应用于相应的嘈杂帧。与类似的全卷积架构相比，MASnet 采用了深度和点卷积，大大减少了每秒融合乘累加运算次数 (FMA/s)，但牺牲了一些信噪比。
mobile audio streaming networksspeech enhancementspectrogramslow-latencyconvolutions
发现论文，激发创造
  • 一种无需掩码的神经网络用于单声道语音增强

    提出了一种新的简单直接的网络架构 MFNet 用于语音增强，它的映射方法优于掩模方法，可用于强噪声环境下的优化解决，并在 2020 年 DNS 挑战测试无混响水平上表现为最先进的映射模型。

    Jun, 2023

  • FaSNet：适应性低延迟波束成形技术在多麦克风音频处理中的应用

    提出了一种适用于低延迟场景的时域、基于过滤的波束成形方法 ——FaSNet，该方法可在含噪声和混响语音增强中表现出色，同时还可在 CHiME-3 数据集上通过训练基于频域目标函数的 FaSNet 模型实现与基准模型相比的相对字错误率降低 14.3%。

    Sep, 2019

  • 高质量流媒体语音合成低，句子长度无关的延迟

    本文提出了一种针对实时应用具有低延迟的 CPU 端到端文本转语音系统，使用自回归基于注意力机制的序列到序列声学模型和 LPCNet 声码器进行波形生成，实验结果显示，该系统能够在 CPU 上几乎达到 31 倍的实时最小延迟，并且能够生成几乎自然的高质量语音。

    Nov, 2021

  • MnasNet：面向移动端平台感知的神经结构搜索

    本文提出了一种自动化的移动神经结构搜索（MNAS）方法，该方法将模型延迟明确地纳入主要目标，以便搜索可以识别满足准确性和延迟之间良好平衡的模型， 实验结果表明，该方法在多个视觉任务中始终优于现有的移动卷积神经网络模型，并且实现了更好的 mAP 质量。

    Jul, 2018

  • 低延迟语音增强模型的权衡探究

    本文探讨了一种基于神经网络、以谱掩蔽为基础的单声道和双声道语音增强方法，最佳模型在 CHiME2 语音增强任务中的性能比先前的最先进性能提高了 0.4 分贝的信号失真比，并发现没有前瞻的模型在计算性能和参数数量与增强性能之间存在着权衡，可以在平均 0.03 dB SDR 内达到最佳双向模型的等效性能，此外，发现 200 毫秒的前瞻足以实现与最佳双向模型的等效性能。

    Nov, 2018

  • 面向实时深度噪声抑制的高效模型

    本文研究深度学习模型在语音增强方面的应用，并探讨了网络复杂度与可达到的语音质量之间的关系，考虑了网络在回声环境下的训练。研究表明，网络的复杂度是影响语音质量的一个重要因素。

    Jan, 2021

  • 实时低延迟音乐源分离使用混合的谱图 - TasNet

    通过借鉴 Hybrid Demucs 架构，本文提出了混合谱图时域音频分离网络（HS-TasNet），结合了频谱和波形域的优势，为实时低延迟的音乐应用展现了高效分离的潜力。

    Feb, 2024

  • EdgeSpeechNets: 边缘高效的深度神经网络语音识别

    本文探讨一种人机协同设计策略，通过人驱动的设计原则网络设计原型和机器驱动的设计探索来构建语音识别的低存储深度神经网络体系结构，实验证明此设计策略可以构建出一系列高效率的 DNNs，用于有限词汇的语音识别，更高的精度与更小的网络体积以及更低的计算成本使它们非常适合设备上的语音接口应用。

    Oct, 2018

  • VisemeNet：音频驱动的动画师中心语音动画

    本文提出了一种基于深度学习的新型方法，用于直接从输入音频中产生驱动 JALI 或标准 FACS 制作面部捕捉的动画师中心音频运动曲线。

    May, 2018

  • CheapNET: 通过投影损失函数改进轻量级语音增强网络

    噪声抑制和回声消除对于语音增强至关重要，是智能设备和实时通信的基础，而这些算法必须保证高效实时推断和低计算需求。我们提出了一种新的投影损失函数，用于增强噪声抑制效果，并且能够直接在 LAEC 预处理输出上进行回声消除的预测，从而显著提高模型性能。我们的噪声抑制模型仅使用 3.1M 个参数和 0.4GFlops/s 计算负载，实现了接近最先进的结果。此外，我们的回声消除模型胜过了复制的行业领先模型，引入了语音增强的新视角。

    Nov, 2023