Aug, 2024

DIffSteISR：利用扩散先验进行卓越的现实世界立体图像超分辨率

HTML
PDF
TL;DR本研究解决了低分辨率立体图像在纹理细节恢复方面的不足。提出的DiffSteISR框架通过时间感知的立体交叉注意力机制，提高了生成图像的纹理一致性，并显著降低了与真实图像的差距误差。实验结果表明，该方法能够高效重建自然精确的纹理，同时在语义和纹理一致性方面表现优异。
发现论文，激发创造
  • 学习视差关注用于立体图像超分辨率

    本文提出了一种基于视差注意力机制的立体图像超分辨率网络 (PASSRnet)，该机制通过包含沿极线的全局接受野处理具有大视差差异的不同立体图像，与 Flickr1024 数据集一起使用，通过小的计算和内存成本来提高超分辨率性能，并在 Middlebury、KITTI 2012 和 KITTI 2015 数据集上实现了最先进的性能。

    Mar, 2019

  • 无监督立体匹配学习的视差注意力

    本文提出了一种针对差异变化较大的立体图像场景的通用视差关注机制（ PAM），并结合外极约束和注意力机制，计算沿外极线的特征相似性来捕获立体对应关系。 基于该机制，我们还提出了用于立体匹配和立体图像超分辨率任务的视差关注立体匹配网络（ PASMnet）和立体图像超分辨率网络（ PASSRnet）。 实验结果表明，我们提出的 PAM 是通用的，可以在无监督的情况下有效地学习立体对应关系。 比较结果表明，我们的 PASMnet 和 PASSRnet 实现了当前最先进的性能。

    Sep, 2020

  • 用于立体图像超分辨率的对称视差注意力

    本研究提出了一种利用双目系统对称性线索优化立体图像超分辨率的方法，设计了一个Siamese网络和一个对称双向视差注意模块(biPAM)，并使用几种抗光度损失增强立体一致性，实验结果表明我们的方法性能优越。

    Nov, 2020

  • 用于立体图像超分辨率的跨视图层次网络

    本研究提出了一种名为Cross-View-Hierarchy Network的新方法，其中包括了利用通道关注和大核卷积关注从 intra-view 中提取全局和局部特征的交叉层次信息挖掘块（CHIMB），以及通过利用跨视图注意机制融合不同视图的相似特征的交叉视图交互模块（CVIM），并证明了 该方法比其他最先进的方法具有更好的立体图像超分辨率性能，且使用的参数更少。

    Apr, 2023

  • SwinFSR: 使用SwinIR和频域知识的立体图像超分辨率

    通过使用Fast Fourier Convolution和Residual Swin Transformer改进的方法和新的cross-attention模块，我们提出了一种名为SwinFSR的Stereo Image Super-Resolution方法，并且实验结果表明了该方法的有效性和高效性。

    Apr, 2023

  • 轻量级立体图像超分辨率的多层特征融合网络

    我们提出了一种高效的轻量级立体图像超分辨率多级特征融合网络（MFFSSR），通过利用混合注意力特征提取块（HAFEB）提取多级视角内部特征，并使用通道分离策略与嵌入的视角交互模块有效地进行交互，该结构配置能够在改善跨视角信息共享效率的同时有效挖掘视图内的特征，从而更准确地重构图像细节和纹理。通过丰富的实验证明了MFFSSR的有效性，我们在更少的参数下实现了卓越的性能。源代码可在此URL找到。

    May, 2024

  • NAFRSSR：一种高效的立体图像超分辨率轻量级递归网络

    立体图像超分辨率（SR）是指从双摄像头设备通常捕获的一对低分辨率（LR）图像重建出高分辨率（HR）图像。我们提出了一种名为NAFRSSR的简单而高效的立体图像SR模型，通过引入递归连接和轻量化构成模块来改进先前最先进的模型NAFSSR。我们的NAFRSSR模型由非线性激活免费和基于组卷积的块（NAFGCBlocks）以及深度分离立体交叉注意力模块（DSSCAMs）组成。NAFRGCBlock通过从NAFBlock中删除简单通道注意机制并使用组卷积来改进特征提取和减少参数数量。DSSCAM通过将SCAM中的1x1逐点卷积替换为共享权重的3x3深度卷积来增强特征融合和减少参数数量。此外，我们还提出将可训练的边缘检测算子纳入到NAFRSSR中以进一步提高模型性能。我们设计了四个不同尺寸的NAFRSSR变体，即NAFRSSR-Mobile、NAFRSSR-Tiny、NAFRSSR-Super和NAFRSSR-Base，它们都比先前最先进的模型具有更少的参数、更高的PSNR/SSIM和更快的速度。特别地，据我们所知，NAFRSSR-M是最轻量级（0.28M参数）和最快（50毫秒推理时间）的模型，在基准数据集上获得了高达24.657 dB/0.7622的平均PSNR/SSIM。代码和模型将发布在此 https URL

    May, 2024

  • 学习用于立体影像超分辨率的准确且丰富特征

    本研究提出了一种混合尺度选择性融合网络（MSSFNet），用于提高立体图像超分辨率（stereoSR）结果的质量，包括保留精确的空间细节和丰富的上下文信息，并自适应地选择和融合来自两个视角的最准确的特征，以增强高质量的stereoSR效果。

    Jun, 2024

  • ASteISR：高效立体图像超分辨率的单图像超分辨率预训练模型的适应

    通过参数高效的微调方法，我们将预训练的单图像超分辨率（SISR）转换网络转移到立体图像超分辨率（SteISR）领域中，并引入了立体适配器和空间适配器。相较于完全微调方法，我们的方法减少了训练时间和内存消耗分别达到57%和15%，并在四个常用的SteISR基准测试中取得了最新的性能。

    Jul, 2024

  • DIffSteISR：利用扩散先验提升真实世界立体图像超分辨率

    本研究解决了低分辨率立体图像中纹理细节丢失的问题。提出的DiffSteISR框架借助预训练的图像生成模型，通过时间感知立体交叉注意机制(PASCATA)和立体全注意控制网络(SOA ControlNet)，显著提高了超分辨率图像与真实图像之间的纹理一致性。实验结果表明，该方法能够精确重建自然纹理，同时在语义和纹理上保持左右视图的一致性。

    Aug, 2024