Nov, 2023

图嵌入的两流场景理解

PDF
TL;DR本论文提出了一种新颖的双流网络架构，通过结合图像特征流和图特征流，旨在提高图像分类和场景图生成任务的性能。利用多种数据融合方法将这两个流融合起来，以充分发挥基于图和基于图像的特征的互补优势。实验证明，该双流网络在提高图像分类准确性方面优于传统方法，对计算机视觉领域，尤其是场景理解和图像分类领域具有重要贡献。
two-stream network architecturescene understandingimage classificationscene graph generationgraph-based and image-based approaches
发现论文，激发创造
  • Vision GNN: 一张图值得千万个节点

    本文提出了将图像表示为图结构，并介绍了一种新的 Vision GNN（ViG）体系结构，用于提取视觉任务的图级特征。ViG 由 Grapher 模块和 FFN 模块组成，可用于图形聚合、更新图形信息以及节点特征变换。该体系结构在图像识别和目标检测任务方面表现出优异性能，并希望将来的研究能够从中获得启发。

    Jun, 2022

  • 为图像字幕生成辩护：场景图的重要性

    提出了 SG2Caps 框架，该框架利用场景图标签进行图像说明，以避免昂贵的图形卷积。 该框架利用空间位置和 HOI 标签作为附加的 HOI 图，实现了更好的性能。

    Feb, 2021

  • 从 3D 室内重建学习 3D 语义场景图

    本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于 PointNet 和 Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。

    Apr, 2020

  • 基于骨架的动作识别的双流自适应图卷积网络

    本研究提出了一种新的双流自适应图卷积网络 (2s-AGCN)，用于基于骨架的动作识别，通过数据驱动的方法学习网络拓扑结构，同时建立了包含一阶和二阶信息的双流框架，通过对 NTU-RGBD 和 Kinetics-Skeleton 数据集上的实验，证明了本模型的优越性。

    May, 2018

  • 双图卷积网络用于语义分割

    本文提出了一种基于图卷积网络的新方法 (DGCNet)，主要用于像素级预测任务，为解决语义分割问题提供长程上下文信息建模。通过建模两个正交图来模拟输入特征的全局上下文，并通过将特征投影到新的低维空间来有效地实现。实现的模型在 Cityscapes 和 Pascal Context 数据集上取得了最优结果

    Sep, 2019

  • AssembleNet: 在视频网络中搜索多流神经连接

    本文提出一种名为 AssembleNet 的方法，通过进化算法自动发现连接更好、时空交互更强的神经网络结构，以达到更好的视频理解效果。该方法在公共视频数据集上优于以往的方法，尤其是在 Charades 数据集上，58.6% 的 mAP 表现尤为出色。

    May, 2019

  • TSGCNet：使用两流图卷积网络进行齿科三维模型分割的判别几何特征学习

    这篇文章提出了一种使用二流图卷积网络从三维数字化牙模型中学习多个几何属性，实现牙齿分割的方法，并表明该方法优于现有的基于深度学习的方法。

    Dec, 2020

  • 将知识图谱桥接生成场景图

    本文提出了一种将场景图像与通识知识图谱相结合的新型神经网络方法 GB-Net，通过迭代循环优化信息传达的方式同时实现场景图与通识图的节点连接和边连接，取得了优越的分析表现并创造了新的最优水平。

    Jan, 2020

  • 基于场景图的图像 - 文本检索融合网络

    本研究提出了一种基于场景图融合网络的图像 - 文本检索方法，通过内部和交叉模态融合来增强图像 / 文本特征，并采用层次化的融合注意力来将语义信息嵌入到图像 / 文本特征向量之中，进而进行图像 - 文本的检索任务。实验结果表明，本方法相比其他现有技术，在公开数据集 Flickr30K 和 MSCOCO 上取得了更好的效果。

    Mar, 2023

  • 利用边缘定向推理进行基于三维点的场景图分析

    通过三个连续的阶段，构建场景图、推理和推断，我们提出了一种三维基于点的场景图生成（SGG_point）框架，在推理阶段创建了一种面向边缘的图卷积网络（EdgeGCN），以利用多维边缘特征进行显式关系建模，同时探索了节点和边缘之间的两种相关的孪生交互机制，以独立演化场景图表示。

    Mar, 2021