NIPSNov, 2018

使用嵌套图神经网络进行图像级别的关注上下文建模

PDF
TL;DR本文提出了一种名为图像级别关注上下文建模（ILAC）的新场景图生成方法，旨在建立一个基于图像级别特征的关注图网络，从而有效地在图形间传播上下文信息。该方法使用单流网络迭代地优化场景图，展现了与基于物体的上下文相比有更好的性能，在 Visual Genome 数据集上表现优异，需要的参数比其他方法少，并且在结合关系图像级别信息后，还可以提高常规物体探测器的性能。
image-level attentional context modelingscene graph generationattentional graph networkcontextual informationobject detectors
发现论文，激发创造
  • 具多层上下文的带注意力机制的 RNN 用于场景标注

    探索多级上下文循环神经网络的多种上下文提示，将其结合到分级卷积神经网络中，提供丰富的空间和语义信息，并使用注意力模型来有效地合并多个级别，以实现在图像标签方面的最新结果。

    Jul, 2016

  • 增强空间上下文的潜在图注意力

    本文介绍了一种计算效率高且模块化的框架 ——Latent Graph Attention（LGA），该框架能够将全局背景信息融入现有架构中，特别是能够使小型架构的性能接近大型架构，从而使轻量级架构在计算能力和能源需求较低的边缘设备中更加有效。在透明物体分割、去雾图像恢复和光流估计三个应用中，LGA 模块的引入改善了性能。

    Jul, 2023

  • 利用场景图上下文改进图像生成

    本研究提出使用场景图上下文来改善场景图的图像生成，通过引入上下文网络将图卷积神经网络生成的特征并入图像生成网络和对抗性损失，从而不仅能够生成逼真的图像，还能更好地保留非空间对象之间的关系，并定义两个评估指标，Relation Score 和 Mean Opinion Relation Score，直接评估场景图的一致性，并经过定量和定性研究证明了该模型在这一具有挑战性的任务上优于现有技术。

    Jan, 2019

  • 非局部注意力优化及改进上下文建模的神经图像压缩

    本文提出了一种基于深度神经网络（DNN）的 VAE 结构的新型非局部注意力优化和改进的上下文建模图像压缩（NLAIC）算法，采用了非局部网络操作嵌入到编码器和解码器中，通过采用关注机制生成掩码来让特征自适应量化，实现了改进条件熵建模潜在特征，可在实际应用中增加速度、降低内存消耗和减轻实现复杂度的额外增强措施，并在 Kodak 和 CLIC 数据集上取得了与现有方法相比的最新压缩功率效率。

    Oct, 2019

  • GLAC Net: 多图像提示故事生成的 GLocal 注意力级联网络

    本研究提出 GLAC Net 模型，结合全局 - 局部注意力和上下文级联机制，实现多图故事生成，模型在视觉叙事数据集上获得极具竞争力的结果。

    May, 2018

  • 关注关系网络：将图像映射到场景图

    本研究提出了一种新颖的基于注意力机制的关系网络，其包含两个关键模块和一个目标检测主干以实现场景图自动生成，并在 Visual Genome 数据集上进行了实验验证其有效性和优越性。

    Nov, 2018

  • 使用上下文 - CNN 进行场景分类的对象级上下文建模

    本文介绍一种模型语境感知的深度神经网络，该模型利用 LSTM 单元结合物体提议来捕捉物体和场景之间的关系，并且通过对学习到的特征进行可视化和分析，证明了模型具有很好的语境建模能力。

    May, 2017

  • GCA-Net：利用门控上下文注意力提升图像篡改定位和检测效果

    本论文提出一种新颖的门控上下文注意网络（GCA-Net），使用非局部注意机制和门控机制捕捉图像不一致特征，以更好地识别图像中伪造的区域。经过标准图像取证测试，该方法相对于最先进的网络平均值提高了 4.7% 的 AUC，并且对归因具有鲁棒性，并且对误报具有抗性。

    Dec, 2021

  • 基于上下文感知的迭代图推理在视觉对话中的应用

    本文提出了一种上下文感知图神经网络（Context-Aware Graph，CAG），通过自适应的前 K 个节点的信息传递机制，迭代更新每个节点（既包括視觉类、又包括历史关联类特征）的图结构，从而实现关系推理。此方法在 VisDial v0.9 和 v1.0 数据集上得到了有效验证。

    Apr, 2020

  • 基于遗传算法的特征选择和上下文集成的深度学习模型

    本研究提出了一种新型的三层深度学习模型，通过引入一对多二元类别学习器，学习遗传算法优化的特征，并同时学习全局和局部上下文信息，从而优化整个模型以在图像分割方面取得有希望的结果。

    Apr, 2022