Sep, 2023

卷积神经网络注入变换器用于图像曝光校正

PDF
TL;DR本文提出了一种结合了 CNN 和 Transformer 的 CNN Injected Transformer (CIT) 方法，利用窗口型 Transformer 的长程依赖建模能力来处理曝光校正问题，并通过引入一组精心设计的损失函数来改善空间一致性和纠正潜在的颜色偏差。大量实验证明，该方法在定量和定性指标上优于现有技术。
exposure correctionconvolutionstransformercnn injected transformerloss functions
发现论文，激发创造
  • 将卷积结构融入视觉 Transformer

    本论文提出了一种结合卷积神经网络和 Transformer 的新型算法 Convolution-enhanced image Transformer (CeiT)，在 ImageNet 和七个下游任务中实现了与先前 Transformer 和目前最先进的卷积神经网络相当的效果，而无需大量训练数据和额外的卷积神经网络教师，同时具有更好的收敛性和更低的训练成本。

    Mar, 2021

  • CiT-Net: 卷积神经网络和视觉 Transformer 手牵手进行医学图像分割

    本文提出了一种新的医学图像分割混合架构，手持卷积神经网络和 Transformer，用于动态变形卷积和自适应互补注意模块改进卷积神经网络和 Transformer 的性能，以实现更好的医学图像分割结果。

    Jun, 2023

  • 无畏光亮度适应：一种用于曝光校正的宏观 - 微观 - 分层变压器

    通过使用 Macro-Micro-Hierarchical transformer 来处理曝光问题，该方法结合了宏观和微观的特征提取并具有层次结构，通过对不同尺度的误差逐层修正，同时使用对比度约束来提高图像质量，从而在曝光修正以及图像增强方面取得了优于现有方法的结果。

    Sep, 2023

  • 观察再行动：高频注入变换器用于图像恢复

    我们提出了 HIT，一种简单而有效的高频注入变压器用于图像恢复，通过设计窗口注入模块（WIM），将丰富的高频细节融入特征图，为高质量图像恢复提供可靠的参考，并使用双向交互模块（BIM）以相互增强的方式汇总不同尺度的特征，从而改善空间上和背景上的表示。

    Mar, 2024

  • CvT：将卷积引入视觉 Transformer

    本文提出了名为 CvT 的新型架构，它通过将卷积引入 ViT 中实现了性能和效率的提升，并在 ImageNet-1K 上表现出优异的性能，验证了此方法的先进性和有效性。

    Mar, 2021

  • 基于 Transformer 的端到端图像压缩和分析

    本文提出了一种基于 Transformer 的端到端图像压缩和分析模型，实现云端图像分类应用，并通过两步训练策略解决了率失真精度优化问题。实验结果表明，该模型在图像压缩和分类任务中均具有有效性。

    Dec, 2021

  • 图像融合变换器

    本研究提出一种新的基于 Transformer 的图像融合方法，采用多尺度融合策略同时关注局部和全局信息，使用卷积神经网络与 Transformer 分支捕捉局部和长程特征，经对比实验表明，该方法优于当下多种融合算法。

    Jul, 2021

  • Transformed CNNs: 用自注意力机制重塑预训练卷积层

    本文研究在 Vision Transformers 与卷积神经网络之间构建混合模型时的计算瓶颈问题，探索采用卷积层进行初始化以达到更快的训练速度，得到的 Transformed CNN (T-CNN) 相比 CNN 在 ImageNet-1k 上有 2.2% top-1 和 ImageNet-C 上有 11% top-1 的性能提升，研究发现初始化 T-CNN 可以从部分训练的 CNN 开始进行，可以更快地达到高性能。

    Jun, 2021

  • 图像超分辨率变换器中激活更多像素

    为了更好的利用 Transformer 的潜力以进行图片重构，在融合通道注意力和基于窗口的自注意机制的优势的基础上提出了一种新型的 Hybrid Attention Transformer 模型。此外，还引入了重叠交叉注意力模块并采用相同任务的预训练策略，拓展模型的能力。实验证明这个模型在图片超分辨率方面的表现优于现有方法超过 1dB。

    May, 2022

  • 通过增强型 Transformer 和共注意力融合实现有效的图像篡改定位

    本文提出了一种基于增强型双分支变压器编码器和基于注意力的特征融合的有效图像篡改定位网络 (EITLNet)，通过特征增强模块增强变压器编码器的特征表示能力，并且通过坐标注意力融合模块在多个尺度上有效地融合从 RGB 和噪声流提取的特征。广泛的实验结果验证了该方案在各种基准数据集上达到了最先进的泛化能力和鲁棒性。代码将在此 URL 进行公开。

    Sep, 2023