Dec, 2023

基于 Transformer 的选择性超分辨率用于高效图像精炼

PDF
TL;DR通过将图像分割为不重叠的图块、使用金字塔结构选择感兴趣的图块，并利用深度特征仅重构这些选定的图块，我们提出了一种新颖的基于变压器的算法 Selective Super-Resolution（SSR），解决了常规超分辨率方法在放大整个大图像时的巨大计算成本和在背景细化过程中引入额外或可能有害信息的两个缺点。实验证明，我们的方法在超分辨率方面具备效率和稳健性，在 BDD100K 数据集上与最先进的方法相比，FID 评分从 26.78 降低到 10.41，计算成本减少了 40%。源代码可在此 https URL 获得。
super-resolutiontransformer-based algorithmselective super-resolution (ssr)deep featurescomputation cost
发现论文，激发创造
  • 单幅图像超分辨率的 Transformer

    本文提出了一种新的高效超分辨率变换器（ESRT），它是一种混合模型，由轻量级 CNN 主干和轻量级变换器主干组成。 ESRT 通过采用特殊设计的高效多头注意力（EMHA），实现了占用小的 GPU 内存。实验证明，ESRT 在低计算成本的情况下取得了具有竞争力的结果。

    Aug, 2021

  • 自校准高效变换器（Self-Calibrated Efficient Transformer）用于轻量级超分辨率（Lightweight Super-Resolution）

    本文提出使用深度学习的自校准高效变换器 (SCET) 网络，通过采用像素关注机制来提取图像特征，并使用高效变换器来获取相似的长距离特征，以恢复足够的纹理细节，该方法在不同环境下获得更为出色的性能。

    Apr, 2022

  • 学习纹理转换网络用于图像超分辨率

    本文提出了一种基于注意机制的纹理转换神经网络（TTSR），采用 DNN 可学习的纹理提取器、相关嵌入模块、用于纹理传输的硬注意力模块，并且结合 LR 和 Ref 图像进行联合特征学习，从而实现图像的纹理恢复。经过广泛实验，TTSR 在定量和定性评估上都取得了显著改进。

    Jun, 2020

  • 基于 Transformer 的自蒸馏生成式先验用于脑 MRI 超分辨率

    本研究提出了一种基于 TransMRSR 的创新性两阶段脑 MRI 超分辨率方法，具有良好的细节保留和结构重建性能，其中 GAN 是提高高分辨率图像生成质量的关键模块之一。

    Jun, 2023

  • 利用特权信息学习高效图像超分辨率

    本文介绍了一种基于卷积神经网络的图像超分辨率方法 ——FSRCNN，该方法使用极小的网络参数达到了良好的效果，并使用一种新颖的蒸馏框架，通过教师和学生网络进行高分辨率的重建，大大提升了网络性能。

    Jul, 2020

  • 图像超分辨率中利用自监督约束

    本篇论文介绍了一种新的自我监督约束方法，称为 SSC-SR，用于单幅图像超分辨率处理。该方法采用双向不对称模式和指数移动平均更新目标模型以增强稳定性，能够插入已有的超分辨率模型并在多个基准数据集上实现显著的性能提升。

    Mar, 2024

  • 基于渐进感知的单幅图像超分辨率网络

    本文提出了一种分阶段新颖的感知图像超分辨率方法，第一阶段集中于最小化点之间误差，第二阶段利用前一阶段提取的特征来追求更好的结构保留，并采用第二阶段提取的细节结构特征来产生更真实的结果，通过多尺度特征融合，提出的方法优于现有方法。

    Jul, 2019

  • S2R: 探索一种双赢的基于 Transformer 的理想和盲超分辨率框架

    现在，基于深度学习的方法在理想的超分辨率（SR）数据集上展现出了令人印象深刻的性能，但在应用于具有不可预测模糊核的现实 SR 重建任务时，大多数这些方法会显著降低性能。为了解决这个问题，提出了盲 SR 方法来改善随机模糊核造成的视觉结果，这同样导致理想低分辨率图像的重建效果不理想。本文提出了一个用于理想和盲 SR 任务的双赢框架，命名为 S2R，包括一个轻量级的基于 transformer 的 SR 模型（S2R transformer）和一种新颖的自上而下的训练策略，可以在理想和随机模糊条件下实现出色的视觉结果。在算法层面上，S2R transformer 巧妙地组合了一些高效且轻量级的块，以增强提取特征的表示能力，并且具有相对较少的参数。对于训练策略，首先进行粗粒度的学习过程，通过大规模外部数据集的帮助来改进网络的泛化能力，然后，开发了一种快速微调过程，通过挖掘图像的内部特征将预训练模型转移到现实 SR 任务中。实验结果表明，提出的 S2R 在理想的 SR 条件下仅使用 578K 参数就优于其他单图像 SR 模型。同时，在盲模糊条件下，它可以实现比常规盲 SR 模型更好的视觉效果，仅使用 10 次渐变更新就提高了收敛速度 300 倍，显著加速了在现实世界情况下的迁移学习过程。

    Aug, 2023

  • 图像超分辨率变换：基于 ConvFormer 的高效方法

    通过引入 Convolutional Transformer 层（ConvFormer）和基于 ConvFormer 的超分辨率网络（CFSR），提出了一种有效且高效的轻量级图像超分辨率任务解决方案，通过使用大卷积核卷积作为特征混合器替代自注意模块，实现了较长范围依赖关系和广泛接受域的建模，同时在计算成本稍微增加的情况下保留了更多高频信息，并且相对于现有的轻量级 SR 方法在计算成本和性能之间取得了先进的平衡。

    Jan, 2024

  • 基于迭代优化的图像超分辨率提升

    本研究提出了 SR3 方法，通过重复精细的降噪扩散概率模型，采用随机去噪过程并通过 U-Net 模型进行迭代 refinement，实现图像超分辨率，在面部和自然图像的不同放大因素的超分辨率任务中表现强劲，与 SOTA GAN 方法进行人工评估，SR3 实现了近 50％的 fool 率，表明输出具有照片逼真度，同时 GANs 不超过 34％的 fool 率。我们进一步展示 SR3 在级联图像生成中的有效性，其中生成模型与超分辨率模型链接，使 ImageNet 的竞争 FID 得分为 11.3。

    Apr, 2021