Jan, 2024

级联注视：图像修复中全局语境提取的高效性

PDF
TL;DR本文介绍了一种名为 CGNet 的编码 - 解码架构，它采用了全局上下文提取器（GCE），这是一种用于图像恢复的新颖高效的捕捉全局信息的方法。通过在卷积层之间使用小核心来学习全局依赖关系，GCE 模块无需自注意力即可实现。广泛的实验结果表明，我们的方法在去噪基准数据集（包括真实图像去噪和合成图像去噪）以及图像去模糊任务上优于一系列最先进的方法，同时具有更高的计算效率。
发现论文，激发创造
  • 速览注视视觉变换器

    提出一种效率更高的视觉 Transformer 模型，命名为 Glance-and-Gaze Transformer (GG-Transformer)，其通过两个并行的分支 ——Glance 和 Gaze，分别实现自适应扩张分区的自注意力机制与简单深度卷积层的局部图像上下文补偿，从而实现长距离依赖性和局部区域信息的高效建模，在多个视觉任务和基准测试中都表现出了优秀的性能。

    Jun, 2021

  • GCA-Net：利用门控上下文注意力提升图像篡改定位和检测效果

    本论文提出一种新颖的门控上下文注意网络（GCA-Net），使用非局部注意机制和门控机制捕捉图像不一致特征，以更好地识别图像中伪造的区域。经过标准图像取证测试，该方法相对于最先进的网络平均值提高了 4.7% 的 AUC，并且对归因具有鲁棒性，并且对误报具有抗性。

    Dec, 2021

  • ELGC-Net：面向遥感变化检测的高效局部全局上下文聚合

    本文提出了一种高效的深度学习框架 ELGC-Net，用于远程感知变化检测任务，并通过捕获丰富的上下文信息精确估计变化区域，减小模型尺寸，从而在遥感变化检测基准测试中取得了最新的最佳性能。

    Mar, 2024

  • 用于单幅图像去雾的门控融合网络

    本研究提出了一种基于神经网络的端对端算法，采用融合策略从浑浊图像中直接恢复出清晰图像，并实现多尺度处理以避免光晕伪影，实验证明该方法在合成和真实图像中都有优于现有算法的表现。

    Mar, 2018

  • 在 Transformer 网络中利用层间和层内的全局表示来改进图像字幕生成

    该研究介绍了一种名为 GET 的全局增强变压器，能够提取更全面的全局表示，并自适应地引导解码器生成高质量的图像说明。

    Dec, 2020

  • GLAC Net: 多图像提示故事生成的 GLocal 注意力级联网络

    本研究提出 GLAC Net 模型，结合全局 - 局部注意力和上下文级联机制，实现多图故事生成，模型在视觉叙事数据集上获得极具竞争力的结果。

    May, 2018

  • 局部到全局的视觉 Transformer 自注意力

    本研究提出了多通路结构的 Transformer 模型，实现局部到全局的多粒度特征推理，相较于现有的分层设计模型，在增加了极小的计算量的同时，在图像分类和语义分割任务上取得了显著的提高。

    Jul, 2021

  • G-CASCADE: 高效级联的图卷积解码用于 2D 医学图像分割

    近年来，医学图像分割已成为计算机辅助诊断领域的重要应用。本文首次提出了一种新的基于图卷积的解码器，即级联图卷积注意力解码器（G-CASCADE），用于 2D 医学图像分割。通过有效的图卷积块，G-CASCADE 逐渐改进由分层 Transformer 编码器生成的多阶段特征图。编码器利用自注意机制来捕捉长程依赖性，而解码器通过图卷积块的全局感受野来改进特征图以保留长程信息。在对五个医学图像分割任务（即腹部器官、心脏器官、息肉病变、皮肤病变和视网膜血管）进行了严格评估后，我们的解码器在性能方面优于其他最先进的方法。此外，我们还证明了我们的解码器在参数数量减少 80.8% 和浮点运算量减少 82.3% 的情况下实现了更好的 DICE 分数。我们的解码器可以与其他分层编码器轻松结合，用于通用的语义和医学图像分割任务。

    Oct, 2023

  • 全局上下文视觉 Transformer

    本文介绍了一种新的计算机视觉模型 GC ViT，核心是全局上下文自注意力模块，结合标准本地自注意力来有效地建模长程和短程空间交互关系，解决了 ViTs 的归纳偏差问题，在图像分类、对象检测和语义分割等任务中实现了新的最高性能表现。

    Jun, 2022

  • 探索和提取跨模态信息以用于图像字幕生成

    本研究提出基于 Transformer 的全局与局部信息探索与提炼方法，在跨模态视角下探究图像字幕生成，并在 COCO 测试集上取得了 129.3 的 CIDEr 分数。

    Feb, 2020