ASteISR:高效立体图像超分辨率的单图像超分辨率预训练模型的适应
本文提出了一种基于视差注意力机制的立体图像超分辨率网络 (PASSRnet),该机制通过包含沿极线的全局接受野处理具有大视差差异的不同立体图像,与 Flickr1024 数据集一起使用,通过小的计算和内存成本来提高超分辨率性能,并在 Middlebury、KITTI 2012 和 KITTI 2015 数据集上实现了最先进的性能。
Mar, 2019
该研究提出了一个名为Flickr1024的大规模立体数据集,由于最近发布的智能手机中双摄像头的普及,越来越多的超分辨率方法被提出来用于增强立体图像对的分辨率,但是高质量三维立体数据集的缺乏限制了该领域的研究。实验表明,与KITTI和Middlebury数据集相比,Flickr1024数据集有助于处理过度拟合问题,并显着改进了立体SR方法的性能。
Mar, 2019
本文提出了一种名为AdaDSR的单图像超分辨率方法,使用自适应推理网络和轻量级适配器模块来预测局部网络深度,并使用高效的稀疏卷积进行自适应推理。
Apr, 2020
通过对公共数据集、评估指标和四类方法的研究以及在基准数据集上的比较,本文全面评估了基于深度学习的单个图像超分辨率(SISR)方法中类别为基于退化建模、基于图像对、基于域转换和基于自学习的 RSISR 方法在重建质量和计算效率方面的表现,并讨论了 RSISR 的挑战和未来研究方向。
Mar, 2021
通过使用Fast Fourier Convolution和Residual Swin Transformer改进的方法和新的cross-attention模块,我们提出了一种名为SwinFSR的Stereo Image Super-Resolution方法,并且实验结果表明了该方法的有效性和高效性。
Apr, 2023
提出了一种名为 HTCAN 的混合 Transformer 和 CNN 注意网络的方法,该方法使用基于 Transformer 的网络进行单幅图像增强和基于 CNN 的网络进行立体信息融合,最终在 NTIRE 2023 立体图像超分辨率挑战中获胜。
May, 2023
本文提出了一种适用于部署的Transformer单元UFONE,以降低自注意力模块的计算复杂度,在SISR任务中实现了低延迟和低内存使用,并通过层归一化的有效替代和特定操作符的融合优化策略进一步提升了模型的部署效率。
Aug, 2023
立体图像超分辨率(SR)是指从双摄像头设备通常捕获的一对低分辨率(LR)图像重建出高分辨率(HR)图像。我们提出了一种名为NAFRSSR的简单而高效的立体图像SR模型,通过引入递归连接和轻量化构成模块来改进先前最先进的模型NAFSSR。我们的NAFRSSR模型由非线性激活免费和基于组卷积的块(NAFGCBlocks)以及深度分离立体交叉注意力模块(DSSCAMs)组成。NAFRGCBlock通过从NAFBlock中删除简单通道注意机制并使用组卷积来改进特征提取和减少参数数量。DSSCAM通过将SCAM中的1x1逐点卷积替换为共享权重的3x3深度卷积来增强特征融合和减少参数数量。此外,我们还提出将可训练的边缘检测算子纳入到NAFRSSR中以进一步提高模型性能。我们设计了四个不同尺寸的NAFRSSR变体,即NAFRSSR-Mobile、NAFRSSR-Tiny、NAFRSSR-Super和NAFRSSR-Base,它们都比先前最先进的模型具有更少的参数、更高的PSNR/SSIM和更快的速度。特别地,据我们所知,NAFRSSR-M是最轻量级(0.28M参数)和最快(50毫秒推理时间)的模型,在基准数据集上获得了高达24.657 dB/0.7622的平均PSNR/SSIM。代码和模型将发布在此 https URL
May, 2024
本研究解决了低分辨率立体图像中纹理细节丢失的问题。提出的DiffSteISR框架借助预训练的图像生成模型,通过时间感知立体交叉注意机制(PASCATA)和立体全注意控制网络(SOA ControlNet),显著提高了超分辨率图像与真实图像之间的纹理一致性。实验结果表明,该方法能够精确重建自然纹理,同时在语义和纹理上保持左右视图的一致性。
Aug, 2024
本研究解决了低分辨率立体图像在纹理细节恢复方面的不足。提出的DiffSteISR框架通过时间感知的立体交叉注意力机制,提高了生成图像的纹理一致性,并显著降低了与真实图像的差距误差。实验结果表明,该方法能够高效重建自然精确的纹理,同时在语义和纹理一致性方面表现优异。
Aug, 2024