CVPRApr, 2024

用于大规模单像素成像的双尺度 Transformer

PDF
TL;DR通过使用深度展开网络和混合注意力 Transformer 解决 Kronecker SPI 模型的问题，我们提出了一种名为 HATNet 的方法，可以改善真实 SPI 相机的成像质量，并在合成和真实数据上进行了广泛实验证明方法达到了最先进的性能。
single-pixel imagingdeep unfolding networkhybrid-attention transformerkronecker spi modelstate-of-the-art performance
发现论文，激发创造
  • 基于交叉空间像素整合和交叉阶段特征融合的遥感图像超分辨率变换网络

    用于遥感图像超分辨率 (RSISR) 的新型 Transformer 网络 SPIFFNet，通过引入跨空间像素整合和跨阶段特征融合注意力机制，有效提高了全局认知和特征表达能力，从而在定量度量和视觉质量上优于现有方法。

    Jul, 2023

  • 粗到细的稀疏变换器用于高光谱图像重建

    该论文提出了一种基于 Transformer 的 CST 方法，首次将 HSI 稀疏性嵌入到深度学习中进行重建，使用 SA-MSA 进行粗细层次的像素聚类和自相似性捕捉，相比于现有方法具有更高的重建性能和更低的计算成本。

    Mar, 2022

  • 光谱空间混合神经网络用于高光谱图像降噪

    提出了一种混合的空间 - 光谱去噪网络 (HSSD)，该网络通过设计一个新颖的 CNN 和 Transformer 特性的混合双路径网络，以高效地捕获本地和非本地空间细节，同时抑制噪声，从而解决了现有 Transformer-based 方法主要关注非本地建模并忽视图像去噪中局部性的问题，并采用简单但有效的分离策略降低了计算复杂性，通过使用参数较少的多层感知机学习光谱之间的全局相关性。综合和实际实验表明，我们提出的方法在空间和光谱重建方面优于最先进的方法。

    Jun, 2024

  • 以物理推动的生成对抗网络赋能单像素红外高光谱成像

    通过物理驱动型生成对抗网络（GAN），整合了单像素红外高光谱成像（HSI）的物理过程，并利用真实和估计的一维桶信号作为目标函数的约束条件来更新网络参数并优化生成器，从而实现了更高的成像性能但需要更少的测量次数。我们相信这一物理驱动型 GAN 将促进计算成像，特别是各种基于单像素成像技术的实际应用。

    Nov, 2023

  • 从粗到细：分层像素整合用于轻量级图像超分辨率

    本研究旨在设计一种新的关注区块，其见解来自于 SR 网络的局部归因图解释。我们使用轻量级全局像素访问模块处理全局区域，使用 Intra-Patch 自我关注模块处理局部区域，并使用级联补丁划分策略来提高恢复图像的感知质量。实验结果表明，我们的方法比最先进的轻量级 SR 方法表现更好。

    Nov, 2022

  • 基于深度展开变压器的高光谱图像去噪算法

    本文提出了一种基于 Transformer 的深入展开高光谱图像去噪方法 —— 降噪 - 噪声感知展开网络 (DNA-Net), 其使用 U-Shaped Local-Non-local-Spectral Transformer (U-LNSA) 捕获了光谱相关性、局部内容和非局部依赖性。实验结果表明，DNA-Net 优于目前最先进的方法，并且噪声分布的建模对于噪声严重的情况有所帮助。

    May, 2023

  • ESSAformer: 高效率超光谱图像超分辨率的转换器

    通过引入 SCC 作为注意力矩阵并利用 ESSA 技术，提出了 ESSAformer 网络用于超分辨率任务，提升了高光谱图像的视觉质量和定量结果。

    Jul, 2023

  • 双视觉变压器

    本文提出了名为 Dual Vision Transformer (Dual-ViT) 的新型 Transformer 结构，在保持准确度的前提下，通过综合运用语义路径和像素路径，将全局语义压缩成更高效的先验信息，进而实现了减少计算复杂度的目的，并在实验中表现出比 SOTA Transformer 结构更高的准确度。

    Jul, 2022

  • 使用增强视觉 Transformer 进行图像重建

    本文提出了一个基于 Vision Transformer (ViT) 的图像重构框架，利用 4 种优化技术和生成对抗网络（GANs）启发的对抗性损失函数，用于图像去噪和修复，实验表明该框架在结构相似性（SSIM）方面比 U-Net 模型高出超过 3.5％，对于这两个任务，提议的增强算法进一步展示了超过基准的 extasciitilde5％SSIM 的改进。

    Jul, 2023

  • STIR: 用于图像检索后处理的孪生 Transformer

    该研究提出了一种基于三元损失的简化模型和一种用于图像检索的新方法 STIR，它采用注意力机制在像素级别上直接比较查询图像和候选图像，不需要全局 / 局部特征提取，能够在标准图像检索数据集上定义新的技术状态。

    Apr, 2023