Dec, 2022

具有一般监督信号的具身代理

PDF
TL;DR利用 Scene Graph Contrastive (SGC) loss 来训练具有实际效果的体验式人工智能代理，其利用神经体系结构和自我监督目标以提高表现学习，即时不利于任务相关信息的编码。这种方法广泛适用且简单易行，可以鼓励代表的编码对象的语义，关系和历史，通过 三个体验式任务的实验，验证了其有效性，并证明其能够编码关于环境的语义提示。
发现论文，激发创造
  • 物体关系预测的逻辑偏差学习

    通过因果推断进行对象关系预测的场景图生成方法，结合对象增强模块，在 Visual Gnome 150 数据集上取得了有效的实验结果，为决策模型的基础建模提供了巨大潜力。

    Oct, 2023

  • 使用场景图将结构化表示法加入预训练视觉与语言模型

    研究表明，为了改善 VL 模型的结构理解能力，场景图等结构化标注数据虽然耗时、昂贵和繁琐，但只需要小型数据集，就足以使用专用的模型架构和新的训练范式来提高 VL 模型的表现，通过直接使用场景图标签监督图像和文本编码器，以及添加专门的自适应 SG 令牌和新的适应技术来提高 SG 信息的预测。

    May, 2023

  • 基于能量学习的场景图生成

    本文介绍了一种基于能量的学习框架，用于生成场景图，允许将场景图的结构有效地纳入输出空间中，通过在学习框架中添加一些约束条件，可以最终提高模型的性能，在视觉基因组和 GQA 基准数据集上的性能提高了 21％和 27％，在零样本和少样本情况下优于现有模型。

    Mar, 2021

  • 自适应视觉场景理解：增量场景图生成

    通过引入包含三个学习场景和八个评估指标的综合连续场景图生成（CSEGG）数据集，研究深入探索现有的 SGG 方法在学习新对象时对先前对象实体和关系的保留情况，以及连续目标检测如何增强对未知对象上已知关系的泛化性能。

    Oct, 2023

  • 场景图生成中用于新组合的图密度感知损失

    本研究提出一种在场景图生成任务中能够处理零样本和小样本情况的密度归一化边缘损失函数，并且介绍了新的加权评估指标来提高模型性能。

    May, 2020

  • 使用场景图进行增量式目标定位

    本文介绍了一种基于场景图和语言结构的递增式 grounding 模型 (IGSG)，通过使用场景图中的对象之间的关系，构造问答对话方式以消除人类命令的歧义和错误，该模型在现实场景中表现出可接受的性能，可以有效地通过回问式问答消除歧义的问题。

    Jan, 2022

  • 全局和物体中心的自监督学习

    本文研究了利用自监督学习获取对象集中表示的关键方面，并在 CLEVR 数据集上运行了一些实验来验证我们的见解。我们的结果表明，竞争式注意力对象发现对于学习对象集中表示非常重要。对于训练，我们证明了在潜在空间中应用具有匹配性的对比损失，避免了基于像素的重建。但是，该优化目标对假阴性（重复对象）和假阳性（匹配错误）非常敏感。因此，需要仔细考虑数据增强和负样本选择。

    Mar, 2022

  • 面向环境无关的复杂场景图生成的课程关系学习

    通过构建不同分布环境来平衡主 - 客体对的不平衡，并采用课程学习策略平衡不同环境，我们提出了一种新颖的环境不变课程关系学习方法，可应用于现有的场景图生成方法，实验证明该方法实现了重要的改进。

    Aug, 2023

  • 从有偏训练数据中生成无偏场景图

    本文通过因果推断方法构建了一个场景图生成的因果图，并通过传统偏差训练和反事实因果关系推断方法去除其不良偏差，最终提出了一个基于 Total Direct Effect 的无偏差 SGG 框架。

    Feb, 2020

  • 减少偏差的模型生成场景图

    提出了一种基于自学知识的场景图生成模型训练方案，使用两个关系分类器减少标注偏差和稀疏标注造成的影响，并在多个标准场景图生成任务中观察到了显著的相对改进。

    Aug, 2020