MMAug, 2021

使用 Transformer 和课程学习的双重图卷积网络用于图像字幕生成

PDF
TL;DR本文提出了针对图像标题生成问题的 Dual Graph Convolutional Networks (Dual-GCN) 模型，使用 Transformer 和 Curriculum Learning 技术，在单张图片内有效捕获物体间的关系和多张图像之间的特征信息以生成更为准确的标题，实验结果表明该模型在 MS COCO 数据集上表现突出，达到了 BLEU-1 得分 82.2 和 BLEU-2 得分 67.6。
发现论文，激发创造
  • 双图卷积网络用于语义分割

    本文提出了一种基于图卷积网络的新方法 (DGCNet)，主要用于像素级预测任务，为解决语义分割问题提供长程上下文信息建模。通过建模两个正交图来模拟输入特征的全局上下文，并通过将特征投影到新的低维空间来有效地实现。实现的模型在 Cityscapes 和 Pascal Context 数据集上取得了最优结果

    Sep, 2019

  • 基于 Transformer 双关系图的多标签图像识别

    本文提出了基于 Transformer 双重关系学习框架的方法，通过构建结构关系图和语义关系图，利用显式的语义感知约束来动态地建模图像对象的语义含义，并将学习到的结构关系合并到语义图中，为多对象识别任务提供了一种新的方法。

    Oct, 2021

  • 探究图像关系以用于图像描述

    本文介绍了一种利用图卷积网络和长短期记忆（GCN-LSTM）结构，将语义和空间对象关系集成到图像编码器中，以生成图像标题的新方法，并在 COCO 图像字幕数据集上开展了广泛的实验，并取得了比现有方法更好的结果。

    Sep, 2018

  • 基于图卷积网络的多标签图像识别

    提出了一种基于图卷积网络的多标签分类模型，通过建立对象标签之间的图，学习一个对相互依赖的物体分类器的表示，同时使用重新加权的方法来创建有效的标签相关矩阵以指导 GCN 中节点之间的信息传播，在两个多标签图像识别数据集上实验证明了方法的有效性，并且可视化分析表明该模型学习到的分类器保持有意义的语义拓扑结构。

    Apr, 2019

  • 双源图卷积网络

    本文提出了一种 Dual-Primal Graph CNN 的图卷积体系结构，该方法允许学习顶点和边特征，并在许多基准测试上展示了最先进的结果.

    Jun, 2018

  • 图变换器中的双视角交叉对比学习

    本文提出了一种名为双视角跨图对比学习（DC-GCL）的创新框架，通过增强正样本多样性和可靠性，提供了更多样化和可靠的训练输入，相较于传统的图对比学习方法，DC-GCL 能够在各种基准测试和任务中显著提高性能。

    Jun, 2024

  • 双层协作变压器用于图像字幕生成

    本研究提出一种新型双层协作变换器（DLCT）网络，结合传统网格特征和目标检测网络提取的描述性区域特征，利用双向自注意力和局部约束交叉关注模块来加强区域和网格特征间的语义语境关系，进一步提高图像字幕生成的性能，并在 MS-COCO 数据集上达到新的最先进性能。

    Jan, 2021

  • DAGCN: 双重注意力图卷积网络

    本研究提出了一种新的框架，双注意力图卷积网络，用于解决图分类任务中邻域汇聚和池化操作的问题，并通过实验比较证明了该模型优于其他基线模型和深度学习方法。

    Apr, 2019

  • 基于注意力机制的动态图卷积神经网络用于多标签图像识别

    本文提出了一种基于动态图卷积神经网络 (D-GCN) 和语义注意力模块 (SAM) 的注意力驱动动态图卷积网络 (ADD-GCN) 来消除训练数据中标签共现对模型泛化性能的影响，实现图像特征的提取和标签识别任务，并且在公共多标签基准测试中的结果表明该方法的有效性。

    Dec, 2020

  • 标签图叠加的多标签分类

    本研究提出一种基于标签图叠加框架的多标签识别解决方案，以图卷积网络（GCN）为基础，通过超 impose 技术建立标签相互作用图，并将其与 GCN 及 CNN 的信息交流，以提高特征学习和数据表示。实验表明，该方法大大提高了多标签识别的性能且达到了新的最佳表现。

    Nov, 2019