ICLRAug, 2017

神经网络实现的音频超分辨率

PDF
TL;DR该研究介绍了一种新的音频处理技术，利用深度卷积神经网络提高音频的采样率，通过类似于图像超分辨率的过程，在测试过程中预测低分辨率信号中缺失的样本。该方法在实验中无需专门的音频处理技术，能够表现出更好的表现，显示出其在电话、压缩和文本转语音生成中的实用性
audio processingdeep convolutional neural networkssampling rateimage super-resolutiontext-to-speech generation
发现论文，激发创造
  • AudioSR：大规模多功能音频超分辨率

    通过使用扩散基于生成模型的 AudioSR，我们能够对多种音频类型进行稳健的音频超分辨率处理，包括音效、音乐和语音，并在 2kHz 到 16kHz 的带宽范围内将输入音频信号上采样到 24kHz 带宽的高分辨率音频信号，从而大大提高音频生成模型的生成质量。

    Sep, 2023

  • 神经编码器是语音超分辨率的唯一需求

    本文提出了一种基于神经声码器的语音超分辨率方法 (NVSR)，该方法可以处理各种输入分辨率和上采样比例，其取得了优于当前最先进方法 WSRGlow 和 Nu-wave 的 8% 和 37% 的对数谱距离精度，并且具有显著更好的感知质量。

    Mar, 2022

  • 用神经架构搜索实现快速、精确和轻量级的超分辨率处理

    使用神经架构搜索的多目标方法能够在以 FLOPS 为指标的量化实验中优于现有方法，以在资源受限条件下平衡模型的简单度和修复能力。

    Jan, 2019

  • 学会识别面部超分辨率

    本文提出了一种新颖的方法，利用音频和低分辨率图像进行极端人脸超分辨率，通过建立人脸的潜在表征并使用深度学习进行融合，以提高高分辨率图像重建过程的正确性，同时可以提取面部属性。

    Sep, 2019

  • 使用深度卷积充分统计量进行超分辨率

    本文提出了一种基于 Gibbs 分布的条件模型，其充分统计量由深度卷积神经网络给出，用于图像超分辨率问题，并证明了该方法可在其他具有挑战性的不适定问题中使用，例如音频带宽扩展。

    Nov, 2015

  • NU-Wave 2: 一个通用的神经音频上采样模型，适用于各种采样率

    NU-Wave 2 模型是一种扩散模型，可以从不同采样率的输入产生 48KHz 音频信号，这个模型使用了短时傅里叶卷积和带宽谱特征变换方式来生成谐波，可以在不需要为每一对采样率都进行训练的情况下，生成高分辨率音频信号。

    Jun, 2022

  • 快速图像超分辨率的频域神经网络

    本文介绍了一种基于频域卷积定理的神经网络用于图像超分辨率，该网络采用 Hartley 变换作为替代傅里叶变换消除复数，具有很高的计算效率，并能适用于在计算机视觉和图像处理等其他领域中通常使用频域表示的问题。实验证明，该网络比文献中其他替代品的速度快 1 到 2 个数量级，性能损失微不足道。

    Dec, 2017

  • 深度卷积网络图像超分辨率

    本文提出一种深度学习方法用于图像超分辨率，采用卷积神经网络直接将低分辨率图片转换为高分辨率图片，能够实现较快的速度和超强的恢复质量，扩展支持三种颜色通道同时处理。

    Dec, 2014

  • HyperSound: 使用超网络生成音频信号的隐式神经表示

    本研究提出了一种基于超网络元学习的方法，用于生成未训练音频信号的隐式神经表示（INRs），并展示了其重建声波信号的优秀性能。

    Nov, 2022

  • 基于学习的超分辨率框架在美国信号中的应用

    提出了一种基于深度学习的超分辨率超声图像和视频增强方法，通过训练模型和大量医学图像数据进行定制化的超分辨率处理，实现了对不同解剖区域的低分辨率超声图像和视频的有效提高，并且兼顾了训练网络的运算速度和硬件资源消耗。

    Apr, 2023