Mar, 2022

神经编码器是语音超分辨率的唯一需求

PDF
TL;DR本文提出了一种基于神经声码器的语音超分辨率方法 (NVSR)，该方法可以处理各种输入分辨率和上采样比例，其取得了优于当前最先进方法 WSRGlow 和 Nu-wave 的 8% 和 37% 的对数谱距离精度，并且具有显著更好的感知质量。
speech super-resolutionneural vocodermel-bandwidth extensionupsampling ratiosperceptual quality
发现论文，激发创造
  • AudioSR：大规模多功能音频超分辨率

    通过使用扩散基于生成模型的 AudioSR，我们能够对多种音频类型进行稳健的音频超分辨率处理，包括音效、音乐和语音，并在 2kHz 到 16kHz 的带宽范围内将输入音频信号上采样到 24kHz 带宽的高分辨率音频信号，从而大大提高音频生成模型的生成质量。

    Sep, 2023

  • 神经网络实现的音频超分辨率

    该研究介绍了一种新的音频处理技术，利用深度卷积神经网络提高音频的采样率，通过类似于图像超分辨率的过程，在测试过程中预测低分辨率信号中缺失的样本。该方法在实验中无需专门的音频处理技术，能够表现出更好的表现，显示出其在电话、压缩和文本转语音生成中的实用性

    Aug, 2017

  • 视频超分辨率变换器

    本研究采用 Transformer 对视频超分辨率问题进行了改进，引入了空时卷积自注意力层以利用数据位置信息，设计了双向光流驱动前馈层以发现不同视频帧之间的相关性并对齐特征，实验证明了这种方法的有效性。

    Jun, 2021

  • 具有可学习的频率感知丢失先验的分层神经运算器变压器用于任意尺度超分辨率

    本研究提出了一种任意尺度的超分辨率方法，用于提高科学数据的分辨率；基于算子学习，使用分层神经算子和自注意机制，利用 Sinc 滤波器实现不同层级之间的信息传递，并引入可学习的先验结构动态调整像素贡献权重，从而有效平衡模型中的梯度；在多个领域的不同数据集上进行了大量实验证明相对于最先进的方法，本方法有着持续的改进。

    May, 2024

  • 基于深度学习的视频超分辨率技术综述

    该论文系统研究了基于深度学习的 33 种视频超分辨率方法，提出了一个分类法并将这些方法分属到六个子类中，并详细描述了所有方法的体系结构和实现细节。通过在一些基准数据集上对代表性 VSR 方法的性能进行总结和比较，讨论了 VSR 领域中需要进一步研究的一些挑战。这项工作预计对 VSR 技术的深度学习方法做出贡献，从而深化我们对该领域的理解，并成为该领域中最早的系统研究之一。

    Jul, 2020

  • 时空视频超分辨率与神经算子

    通过引入物理信息的神经网络，本文提出了解决空时视频超分辨率问题的方法，该方法能够准确处理大运动中的运动估计和运动补偿问题，并在固定大小和连续空时视频超分辨率任务中超过同类技术。

    Apr, 2024

  • UnivNet: 带多分辨率频谱鉴别器的神经声码器，用于高保真波形生成

    该研究提出了一种名为 UnivNet 的神经声码器，利用全频带谱特征作为输入，通过添加多分辨率谱图鉴别器来解决非锐利音频信号生成的问题，并在大量演讲者信息数据集上取得最佳客观和主观结果。

    Jun, 2021

  • 用于立体视频超分辨率的新数据集和变压器

    本研究提出了一种新的基于 Transformer 模型的立体视频超分辨率方法，利用空间 - 时间卷积自注意力和光流特征对立体一致性和帧序一致性进行处理，使用视差注意机制融合立体视点，对新收集的 SVSR-Set 数据集进行了广泛实验，取得了与最新方法相媲美的结果。

    Apr, 2022

  • WaveMixSR: 图像超分辨率的高效资源神经网络

    提出了一种新的神经网络，基于 WaveMix 架构，用于图像超分辨率，不同于基于 transformer 的模型，WaveMixSR 使用离散小波变换进行空间令牌混合，可以在更少的资源和训练数据的情况下实现更高的性能，同时保持较高的参数效率。

    Jul, 2023

  • AnimeSR：学习用于动画视频的真实世界超分辨率模型

    本文研究解决现实世界中动画视频超分辨率（VSR）的难题，并揭示了实用动画 VSR 的三个关键改进：通过学习基本运算符来改进基本降质操作生成过程中的能力，使用 AVC 数据集进行综合训练和评估，以及研究有效的多尺度网络结构。我们的 AnimeSR 方法能够有效和高效地恢复现实世界中低质量的动画视频，并实现了优于以往最先进方法的性能。

    Jun, 2022