在 Transformer 网络中利用层间和层内的全局表示来改进图像字幕生成

AAAIDec, 2020

在 Transformer 网络中利用层间和层内的全局表示来改进图像字幕生成

Improving Image Captioning by Leveraging Intra- and Inter-layer Global Representation in Transformer Network

Jiayi Ji, Yunpeng Luo, Xiaoshuai Sun, Fuhai Chen, Gen Luo...

TL;DR该研究介绍了一种名为 GET 的全局增强变压器，能够提取更全面的全局表示，并自适应地引导解码器生成高质量的图像说明。

Abstract

transformer-based architectures have shown great success in image captioning, where object regions are encoded and then attended into the vectorial representations to guide the caption decoding. However, such vectorial representations only contain region-level information without consi

transformer-based architectures vectorial representations global enhanced transformer multi-modal reasoning ms coco dataset

发现论文，激发创造

全局表示增强的 Transformer 模型

本文提出了一种在 Transformer 网络中显式地建模全局表示的新方法 —— 全局表示增强的 Transformer（GRET），并将其应用于机器翻译和文本摘要两个文本生成任务中，并通过实验证明其在自然语言生成方面的有效性。

Feb, 2020

探索和提取跨模态信息以用于图像字幕生成

本研究提出基于 Transformer 的全局与局部信息探索与提炼方法，在跨模态视角下探究图像字幕生成，并在 COCO 测试集上取得了 129.3 的 CIDEr 分数。

Feb, 2020

级联注视：图像修复中全局语境提取的高效性

本文介绍了一种名为 CGNet 的编码 - 解码架构，它采用了全局上下文提取器（GCE），这是一种用于图像恢复的新颖高效的捕捉全局信息的方法。通过在卷积层之间使用小核心来学习全局依赖关系，GCE 模块无需自注意力即可实现。广泛的实验结果表明，我们的方法在去噪基准数据集（包括真实图像去噪和合成图像去噪）以及图像去模糊任务上优于一系列最先进的方法，同时具有更高的计算效率。

Jan, 2024

图外部注意力增强变换器

Transformer 的图表示学习中，通过引入 Graph External Attention 提出了一种新的关注机制来隐式捕捉图之间的相关性，进而用于设计了更全面的图表示框架 GEAET。通过在基准数据集上进行的实验证明，GEAET 达到了最先进的经验性能。

May, 2024

高效遥感分割的生成对抗变换器

通过一个高效的 Generative Adversarial Transfomer (GATrans)，采用深度学习方法和全局变换网络（GTNet）来实现高精度语义分割，在保持极高效率的同时，通过多层特征提取和结构相似性损失函数优化，获得了 90.17% 的平均 F1 得分和 91.92% 的总体准确率。

Oct, 2023

基于图像 Transformer 的图像字幕生成

本文介绍了一种基于 transformer 架构、包括编码和解码变换器的模型 —— 图片 transformer，它通过适应图片的结构提高了自动图像描述的性能，并在 MSCOCO 离线和在线测试基准中取得了新的最佳成绩。

Apr, 2020

其他符号很重要：探索视觉变换器在物体再识别中的全局和局部特征

本文研究了物体再识别中全局 - 局部关系对于 Transformer 的影响，并提出了一种全局 - 局部 Transformer 模型，并基于最后几层的特征和类别信息学习了全局特征，同时结合多层局部信息来探索判别性的局部表示，在四个物体再识别基准数据集上实现了卓越的性能。

Apr, 2024

基于端到端 Transformer 的图像描述模型

本文提出了一种基于 Transformer 的图像描述模型，使用 SwinTransformer 提取网格级特征，一阶段完成训练并实现 end-to-end 生成描述，得到了 MSCOCO 数据集上 state-of-the-art 的表现。

Mar, 2022

CPTR: 图像标注的全变压器网络

本研究提出了 CaPtion TransformeR （简称 CPTR）这一基于序列到序列（sequence-to-sequence) 预测方法的图片标注任务模型。与传统的 “CNN+Transformer” 设计范式不同，本研究的模型从一开始就可以在每个编码层中对全局上下文进行建模，并完全摒弃了卷积层。在 MSCOCO 数据集上进行的大量实验证明了 CPTR 模型的有效性，本研究还提供了全 Transformer 架构中编码器中各个 Patch 之间的自注意力以及解码器中单词到 Patch 的注意力等详细的可视化效果。

Jan, 2021

基于多视角视觉表示的多模态变压器用于图像字幕生成

利用多模态 Transformer 模型并结合多视角视觉特征来进行图像描述，这种方法能够同时捕捉到图像内部和图像与文本之间的关系，相较于业内先前方法显著提升了效果，是图像描述任务的最新成果。

May, 2019