Jun, 2024

增强数据传输与人工三元组合作的场景图生成

PDF
TL;DR本文重点在于场景图生成（SGG）的训练数据集增强，通过引入 Feature Space Triplet Augmentation（FSTA）和 Soft Transfer 两个模块，成功提高了对具有挑战性的关系三元组的预测准确性，并在 Visual Genome 数据集中取得了较高的召回率。
scene graph generationtraining dataset enhancementrelational tripletsfeature space triplet augmentationsoft transfer
发现论文，激发创造
  • 面向未知三元组：用于场景图生成的有效文本 - 图像联合学习

    本文提出了一种 Text-Image 结合的场景图生成 (TISGG) 模型，采用联合特征学习模块和基于事实知识的精细调整模块来解决 SGG 模型中的长尾问题和无法识别的三元组问题，同时设计了平衡的学习策略。实验表明，在 Visual Genome 数据集上，TISGG 模型的预测性能相比一般的 SGG 模型提升了 11.7% 的 zero-shot recall。

    Jun, 2023

  • 数据传输细粒度场景图生成

    本文提出了一种新颖的内外数据传输（ IETrans ）方法来解决场景图生成的两个数据分布问题，即长尾分布和语义歧义 。通过自动创建增强的数据集，该方法为所有谓词提供了更充分和连贯的注释，从而可应用于大规模带有 1,807 个谓词类的 SGG。最终，通过在增强的数据集上训练，使用神经因子模型可以在保持竞争性宏性能的同时，使得宏性能翻倍。

    Mar, 2022

  • 细粒度场景图生成的自适应自训练框架

    通过利用未标注的三元组，本研究介绍了一种自我训练框架（ST-SGG），以缓解场景图生成模型在长尾问题上的困扰。同时提出了一种适用于任何现有场景图生成模型的称为 Class-specific Adaptive Thresholding with Momentum（CATM）的新型伪标记技术，并设计了一个对基于消息传递神经网络（MPNN）的场景图生成模型具有益处的图结构学习器（GSL）。实验验证了 ST-SGG 在各种场景图生成模型中的有效性，特别是在细粒度谓词类的性能提升方面。

    Jan, 2024

  • 无偏场景图生成的组合特征增强

    我们提出了一种新颖的组合特征增强（CFA）策略，通过增加三元组特征的多样性来解决现有的偏差问题，该方法在各种场景图生成框架中都能无缝集成，并在不同指标之间取得了最新的最优性能。

    Aug, 2023

  • 利用谓词和三元组学习进行场景图生成

    本文提出了一种双粒度关系建模（Dual-granularity Relation Modeling）网络，利用粗粒度和细粒度的三元组线索来促进关系识别，并引入了双粒度知识传递（Dual-granularity Knowledge Transfer）策略来解决长尾问题，实验证明了该方法的有效性。

    Jun, 2024

  • 三元交互改进图变换器：基于三元图变换器的精确分子图学习

    通过创新的三元关注机制和聚合机制，Triplet Graph Transformer (TGT) 在图中的两个相邻节点之间实现了直接通信，成功应用于分子性质预测，并通过三阶段训练过程和随机推理提高了训练效率和模型性能，在 PCQM4Mv2、OC20 IS2RE 挑战基准上达到了新的最先进结果，并利用迁移学习在 QM9、MOLPCBA 和 LIT-PCBA 分子性质预测基准上获得最先进结果，同时在旅行商问题 (TSP) 上展示了 TGT 的通用性。

    Feb, 2024

  • 三元组感知场景图嵌入

    本文通过引入三元组监督和数据增强等实验方法，训练了场景图嵌入向量，发现三元组监督可以显著提高嵌入向量的分离能力，从而提高布局预测模型的性能。

    Sep, 2019

  • 场景图的概率去偏置

    该研究针对场景图模型中长尾关系及其父对象的质量问题，提出了一种采用嵌入式增强的三元组贝叶斯网络来保护关系标签的条件分布并消除由关系概率边际引起的偏差的方法，此方法在两个不同的数据集上对比现有技术实现了较好的平衡。

    Nov, 2022

  • 基于三元相关性引导的无偏视频场景图生成的标签补充

    我们提出了一种名为 Trico 的方法，通过探索三种互补的时空相关性来补充缺失的谓词，从而实现了无偏谓词预测，并验证了 Trico 在 VidVRD 和 VidOR 等广泛使用的 VidSGG 数据集上的卓越性能，特别是在那些尾部谓词上。

    Jul, 2023

  • 通过三元组标定和缩减实现零样本场景图生成

    为了应对现有场景图生成方法在未见过的三元组上存在的组合泛化能力差的问题，本论文提出了一种 Triplet Calibration and Reduction (T-CAR) 框架，该框架通过三元组校准损失、未见空间降低损失和上下文编码器等手段来提高模型对未见三元组的组合泛化能力，在零样本场景图生成任务中取得了明显的改进。

    Sep, 2023