May, 2024

具有可学习的频率感知丢失先验的分层神经运算器变压器用于任意尺度超分辨率

PDF
TL;DR本研究提出了一种任意尺度的超分辨率方法，用于提高科学数据的分辨率；基于算子学习，使用分层神经算子和自注意机制，利用 Sinc 滤波器实现不同层级之间的信息传递，并引入可学习的先验结构动态调整像素贡献权重，从而有效平衡模型中的梯度；在多个领域的不同数据集上进行了大量实验证明相对于最先进的方法，本方法有着持续的改进。
arbitrary-scale super-resolutionscientific dataoperator learningneural operatorlearnable prior structure
发现论文，激发创造
  • 超分辨率神经算子

    提出了一种深度操作学习框架 “SRNO”，它通过将低分辨率图像对作为使用不同网格大小逼近的连续函数来实现将高分辨率图像从低分辨率图像中恢复，其中关键特点是使用 Galerkin-type 注意力的内核积分和多层注意力结构的动态潜在基础更新。

    Mar, 2023

  • 傅里叶空间损失用于高效的感知式图像超分辨率

    本文提出一种基于傅里叶域的感知质量强化的超分辨率图像重建方法，利用新型 Loss Function 提升低复杂度生成器网络的表现，以及在空间域和傅里叶域均应用不同 Loss Function 以提取不同信息。最终得出与 RankSRGAN 和 SRFlow 等最先进感知超分辨率方法相当的结果，并且比这些方法快 2.4 倍至 48 倍不等。

    Jun, 2021

  • 科学模拟的时空超分辨率的运算符学习框架

    用机器学习技术进行超分辨率，从低分辨率模拟中重建高分辨率数值解的方法

    Nov, 2023

  • 单个网络学习任意尺度的超分辨率

    本文提出了一种基于不同比例尺下特征适应块和上采样层的单幅图像超分辨率网络的方法，并利用特定比例尺下的网络知识，提出了一种比例尺 - aware 知识转移方法。结果表明，该方法可以在保持整数比例尺下的图像超分辨率性能的同时，在非整数和非对称跨度方面取得有前途的结果，而附加的计算和内存成本非常小。

    Apr, 2020

  • 通过小波域损失训练生成式图像超分辨率模型，更好地控制伪影

    通过使用小波域损失函数训练基于 GAN 的超分辨率模型，本文表明刻画高频细节和伪像之间的区别可以更好地学习，而 RGB 领域或傅立叶空间损失函数则没有这种效果。

    Feb, 2024

  • 实际场景超分辨率的频率分离

    使用 DSGAN 结构进行无监督学习，将自然图像特征引入通过双三次下采样降级的图像。通过频率分离技术，只需对高频部分进行对抗性训练，从而极大地提高超分辨率模型在真实世界图像上的性能表现。

    Nov, 2019

  • 神经编码器是语音超分辨率的唯一需求

    本文提出了一种基于神经声码器的语音超分辨率方法 (NVSR)，该方法可以处理各种输入分辨率和上采样比例，其取得了优于当前最先进方法 WSRGlow 和 Nu-wave 的 8% 和 37% 的对数谱距离精度，并且具有显著更好的感知质量。

    Mar, 2022

  • 基于散度度量加强的全卷积生成对抗网络在图像超分辨率中的应用

    通过引入 SuRGe，一种基于全卷积生成对抗网络（GAN）的超分辨率生成器，我们展示了通过一组可学习的凸权重优化 GAN 生成器的逐渐增加深度的不同卷积特征，从而提高生成的超分辨率样本的质量。同时，通过使用 Jensen-Shannon 和 Gromov-Wasserstein 损失计算 SR-HR 和 LR-SR 分布之间的距离，进一步帮助 SuRGe 生成器更好地利用可用信息以改进超分辨率。此外，我们使用带有梯度惩罚的 Wasserstein 损失训练 SuRGe 的判别器，主要用于防止模态崩溃。与 18 个最先进的竞争模型在 10 个基准数据集上相比，所提出的 SuRGe 以其卓越性能得到证实。

    Apr, 2024

  • 单图像超分辨率的分层神经架构搜索

    提出了一种基于 Hierarchical Neural Architecture Search (HNAS) 的方法来自动设计计算成本不同的高级 SR 架构，同时考虑性能与计算成本来指导搜索过程，实验表明该方法在性能上优于现有方法。

    Mar, 2020

  • 基于 Transformer 的自蒸馏生成式先验用于脑 MRI 超分辨率

    本研究提出了一种基于 TransMRSR 的创新性两阶段脑 MRI 超分辨率方法，具有良好的细节保留和结构重建性能，其中 GAN 是提高高分辨率图像生成质量的关键模块之一。

    Jun, 2023