基于注意力机制的多参考学习用于图像超分辨率
该研究提出了一种使用参考图像进行高保真图像超分辨率的新方法,针对双摄像头超分辨率进行了重点研究,其利用空间对齐操作推广了标准的基于补丁的特征匹配方法。进一步探索了 RefSR 的一种有前途的应用:双摄像头超分辨率,并构建了由智能手机主摄像头和长焦摄像头的 146 个图像对组成的数据集。此外,为了弥合现实世界图像和训练图像之间的领域差距,该研究提出了一种自我监督的领域自适应策略。对数据集和公共基准的广泛实验表明,该方法在定量评估和视觉比较方面均显著优于现有最优方法。
Sep, 2021
本文提出了一种引用图像超分辨率 (RefSR) 的深度学习模型,借鉴图像风格化的思想,通过在神经空间进行多级匹配,实现了从参考图像中自适应地转移纹理,有效地提高了超分辨率的性能,并建立了参考图像超分辨率通用研究的基准数据集。
Mar, 2019
参考图像超分辨率的关键词是 Reference-Based image super-resolution、attention mechanisms、deep architectures、texture match 和 Super Resolution。该方法通过引入注意机制,从参考高分辨率图像中转移高分辨率纹理,提高低分辨率图像的质量。对于每个低分辨率补丁,我们使用更高效的内存使用率进行深层搜索以减少图像补丁数量,并找到 $k$ 个最相关的纹理匹配,从而获得准确的纹理匹配。通过使用简单的残差架构和梯度密度信息来增强超分辨率结果,显示了有竞争力的指标结果:PSNR 和 SSMI。
Oct, 2023
本文提出 MAFFSRN 方法,通过特征融合和多重注意机制提出了一种轻量级的图像超分辨率网络,实验表明该方法在内存占用、浮点运算次数和模型参数数量等方面表现优秀。
Aug, 2020
本文提出了一种基于注意机制的纹理转换神经网络(TTSR),采用 DNN 可学习的纹理提取器、相关嵌入模块、用于纹理传输的硬注意力模块,并且结合 LR 和 Ref 图像进行联合特征学习,从而实现图像的纹理恢复。经过广泛实验,TTSR 在定量和定性评估上都取得了显著改进。
Jun, 2020
本文提出了一种特征重用框架,用于引导逐步纹理重建过程,减少感知损失和对抗性损失的负面影响,并通过单图特征嵌入模块和纹理自适应聚合模块来进行准确的对应匹配和纹理信息传输,从而增强了参考纹理的利用并减少了误用。
Jun, 2023
该论文提出了一种基于变形关注的变换器,即 DATSR,通过多个尺度来解决了参考图像超分辨率中的关键问题,即如何匹配低分辨率与参考图像的对应关系,以及如何将相关纹理从 Ref 图像传输到 LR 图像中来弥补细节。在多个基准测试数据集上进行的广泛实验表明,DATSR 取得了最先进的定量和定性性能。
Jul, 2022
在这篇论文中,我们针对智能手机的参考图像超分辨率(RefSR)处理中的两个挑战性问题进行了研究,即如何选择适当的参考图像和如何以自监督的方式学习 RefSR。同时,我们提出了一种针对真实场景下的 RefSR 的自监督学习方法,通过观察双重和多重摄像头放大的图像。我们的方法在实验中表现出更好的定量和定性性能,并提供了可用的代码。
May, 2024
该研究提出了一种被称为参考零样例超分辨 (RZSR) 的方法,该方法结合了参考超分辨 (RefSR) 和零样例超分辨 (ZSSR) 两种策略,利用内部参考数据集和非局部注意力模块,从图像自身提取纹理丰富、高频细节的参考图像块,训练出一种图像特定的超分辨网络,在超分辨任务中具有出色表现。
Aug, 2022
通过引入扩散模型来生成和增强低分辨率图像中的细节,本文提出了一种用于基于参考的超分辨率的细节增强框架(DEF),能够促进对齐,同时避免参考图像的影响,实验结果表明该方法在视觉效果上具有优势同时保持可比较的数值结果。
May, 2024