AAAIJun, 2023

利用语言适应性推理进行指代表达理解

PDF
TL;DR本文提出了一种名为语言自适应动态子网（LADS）的框架，可以从 REC 模型中提取依赖于表达式的语言自适应子网。通过使用紧凑的子网，推理可以更加经济高效，实验证明该方法可以在 RefCOCO、RefCOCO +、RefCOCOg 和 Referit 上提高推理速度和准确率。
referring expression comprehensionrec modeldynamic inferencelanguage adaptive dynamic subnetsaccuracy
发现论文，激发创造
  • 指代表达理解：方法与数据集综述

    本文调查了现代方法解决自然语言与计算机视觉领域中的指代表达理解问题，包括用于编码视觉和文本模态的机制，结构化图表示的模块化架构和基于图形的模型，以及针对小型数据集的结果，提出了复合指称表述理解方向的潜在未来研究方向。

    Jul, 2020

  • 大型多模态模型时代中的指代表达理解评估再探

    参考表达理解（REC）涉及根据文本描述定位目标实例。本研究质疑现有基准对大型多模态模型（LMMs）的全面性能力，通过手动检查现有基准，发现高标注错误率，并通过排除问题实例和重新评估多种 LMMs 来解决。为了评估现代 REC 模型，引入了 Ref-L4，一个全面的 REC 基准。在 Ref-L4 上评估了 24 个大模型并提供了有价值的见解。

    Jun, 2024

  • 双模块记忆的持续指代理解

    本文提出了 Continual Referring Expression Comprehension (CREC) 新的设置，通过 Dual Modular Memorization (DMM) 方法，不断改进模型在连续任务上的性能，避免遗忘之前学到的知识并减少重复重新训练的需求。作者在三个常用 REC 数据集上构建了新的 CREC 基准，并通过大量实验证明 DMM 方法显著优于其他方法。

    Nov, 2023

  • GREC: 广义指代表达理解

    通过引入被称为 gRefCOCO 的新基准，这项研究扩展了经典的推理表达理解（REC），允许表达描述任意数量的目标对象，并建立了第一个大规模的 GREC 数据集。

    Aug, 2023

  • ScanFormer: 迭代扫描式指代表达理解

    该研究论文提出了一种名为 ScanFormer 的粗粒度到细粒度迭代感知框架，通过利用图像尺度金字塔从上到下提取与语言相关的视觉路径，排除与语言无关的冗余视觉区域以提高模型的效率，并在相关数据集上验证了该方法的准确性和效率的平衡。

    Jun, 2024

  • Cops-Ref：一个关于复合指称表达理解的新数据集和任务

    本研究提出一种新的场景下基于规约表达理解的视觉推理数据集，其中使用可灵活组合丰富的视觉属性和多种推理逻辑的新颖表达式引擎生成表达式，并添加额外干扰图像以实现更深层次的视觉推理分析，评估了多种最新的规约表达理解模型，但发现没有一种能够达到良好的表现，提出的模块化较难样本挖掘策略效果最佳，但仍有改进的空间。

    Mar, 2020

  • 一种实时的全球推断网络用于一阶段指称表达理解

    本篇论文提出了一种名为 Real-time Global Inference Network 的模型，它使用了关注全局和自适应特征融合机制来实现图像中目标区域与给定文本描述之间的关联，相比于现有多个阶段的模型，该模型可以实现更快的速度，并且在多个数据集上表现出较高的准确度。

    Dec, 2019

  • 理解引导的指示表达式

    本研究探讨了自然语言生成和阅读，特别是在图像中的特定物体的指称表达。我们提出了两种方法来利用人类生成表达的理解模块，以改进表达的生成质量，并在多个基准数据集上展示了改进效果。

    Jan, 2017

  • 指代表达中的上下文建模

    本研究旨在使用更好的视觉上下文测量标准，将对象识别和自然语言表达结合起来，从而提高对象识别和自然语言表达模型的性能。在 RefCOCO、RefCOCO+ 和 RefCOCOg 三个数据集上的评估表明，我们的方法对于对象指称生成和理解都具有优势。

    Jul, 2016

  • 视频参照表达理解中的基于内容条件查询的 Transformer

    使用动态查询和跨模态对齐，基于 Transformer 方法的 ConFormer 模型在视频参考表达理解中表现出色，实现了对目标对象的定位。

    Oct, 2023