Mar, 2023

知识增强的少样本视觉关系检测

PDF
TL;DR本研究提出了一个基于知识增强的少样本学习（few-shot learning）框架，利用预训练语言模型和自动构建的视觉关系知识图谱获取了文本知识和视觉关系知识，从而提高了少样本学习的实用性和性能。与现有最先进模型相比，在常用的 Visual Genome 数据集的三个基准测试中，本方法的性能大幅超越了现有最先进模型。
发现论文，激发创造
  • RelVAE: 微量样本视觉关系检测的生成预训练

    我们提出了一种首个预训练方法，用于少样本谓词分类，无需任何带注释的关系；我们构建了少样本训练集，并在 VG200 和 VRD 数据集上展示了我们模型超过基准的定量实验；最后，我们通过进行各种定性实验来解释模型的决策。

    Nov, 2023

  • 迈向类人机理解：在视觉丰富文档中的少样关系学习

    通过引入两个新的少样本基准数据集，本研究针对可视化丰富的文档（VRD）中的键 - 值关系三元组的提取，提出了一种变分方法，其中包含关系 2D 空间先验知识和原型化校正技术，实验结果表明该方法的有效性，并为实际应用开辟了新的可能性。

    Mar, 2024

  • 自然语言引导下的视觉关系检测

    本研究提出了一种自然语言引导的框架来解决视觉关系检测任务中对象对之间关系分类的问题，并使用双向循环神经网络以及语义连接来预测参与关系的对象之间的语义连接。该方法在 Visual Relationship Detection 和 Visual Genome 数据集上取得了最佳状态，特别是在未预测关系的情况下。

    Nov, 2017

  • 基于大型语言模型的复合视觉线索进行零样本视觉关系检测

    通过使用 RECODE 方法，利用预训练图像 - 语言模型，我们能够解决零样本可视关系检测中存在的问题，提高了关系检测的准确性和可解释性。

    May, 2023

  • 利用辅助文本进行深度识别未见视觉关系

    提出一种融合图像和文本信息用于视觉关系检测和场景图生成的深度模型，通过共同的文本图像表示方法实现文本补充图像数据，结果表明图像中没有的文本信息可以显著提高模型性能

    Oct, 2019

  • 使用专家混合模型进行视频关系检测

    利用混合专家方法的 MoE-VRD 在视觉关系检测中展示了较优的性能，通过条件计算和可伸缩性能显著增强了神经网络容量。

    Mar, 2024

  • 少样本视觉关系共定位

    本文提出一个优化框架用于在小规模的图像集中并行定位多个视觉关系。框架使用应用于少样本学习的元学习技术，使用简单有效的关系嵌入，将传统的视觉关系定位问题扩展到了 VRC 任务，同时使用贪心近似推理确定大概是最优解。该算法在两个公共数据集上获得高切比实验结果。

    Aug, 2021

  • 利用内部和外部语言知识蒸馏的视觉关系检测

    该研究使用语言统计学的知识来规范视觉模型的训练，在学习视觉关系中的主语、谓语和宾语等实体之间的关系时，可以更准确地反映它们之间的联系。实验结果表明，使用此语言知识提炼，可显著提高模型的检测性能。

    Jul, 2017

  • VrR-VG: 聚焦视觉相关关系

    通过构建一个名为 VrR-VG 的新场景图数据集，我们提出了一种通过修剪视觉不相关的关系来自动挖掘更有价值关系的新方法，并通过考虑实例、属性和关系来学习关系感知表征，从而系统性地提高了图像字幕和视觉问题回答的性能。

    Feb, 2019

  • VReBERT：一个简单灵活的用于视觉关系检测的 Transformer

    利用 VReBERT 模型的多阶段训练策略，联合处理视觉和语义特征的 VRD 模型，可以有效地预测谓词关系，推动零样本预测技术的发展。

    Jun, 2022