Nov, 2023

双模块记忆的持续指代理解

PDF
TL;DR本文提出了 Continual Referring Expression Comprehension (CREC) 新的设置，通过 Dual Modular Memorization (DMM) 方法，不断改进模型在连续任务上的性能，避免遗忘之前学到的知识并减少重复重新训练的需求。作者在三个常用 REC 数据集上构建了新的 CREC 基准，并通过大量实验证明 DMM 方法显著优于其他方法。
referring expression comprehensioncontinual referring expression comprehensiondual modular memorizationrec datasetssequential tasks
发现论文，激发创造
  • 指代表达理解：方法与数据集综述

    本文调查了现代方法解决自然语言与计算机视觉领域中的指代表达理解问题，包括用于编码视觉和文本模态的机制，结构化图表示的模块化架构和基于图形的模型，以及针对小型数据集的结果，提出了复合指称表述理解方向的潜在未来研究方向。

    Jul, 2020

  • 大型多模态模型时代中的指代表达理解评估再探

    参考表达理解（REC）涉及根据文本描述定位目标实例。本研究质疑现有基准对大型多模态模型（LMMs）的全面性能力，通过手动检查现有基准，发现高标注错误率，并通过排除问题实例和重新评估多种 LMMs 来解决。为了评估现代 REC 模型，引入了 Ref-L4，一个全面的 REC 基准。在 Ref-L4 上评估了 24 个大模型并提供了有价值的见解。

    Jun, 2024

  • GREC: 广义指代表达理解

    通过引入被称为 gRefCOCO 的新基准，这项研究扩展了经典的推理表达理解（REC），允许表达描述任意数量的目标对象，并建立了第一个大规模的 GREC 数据集。

    Aug, 2023

  • 利用语言适应性推理进行指代表达理解

    本文提出了一种名为语言自适应动态子网（LADS）的框架，可以从 REC 模型中提取依赖于表达式的语言自适应子网。通过使用紧凑的子网，推理可以更加经济高效，实验证明该方法可以在 RefCOCO、RefCOCO +、RefCOCOg 和 Referit 上提高推理速度和准确率。

    Jun, 2023

  • 一种用于指代表达理解的实时跨模态相关性滤波方法

    本论文提出了一种新的 Realtime Cross-modality Correlation Filtering 方法 (RCCF)，将指称表达理解重新表述为一种相关滤波过程，使得物体的定位更准确，在 RefClef、RefCOCO、RefCOCO + 和 RefCOCOg 基准测试中取得领先的性能，通过 RCCF 方法，我们的模型可以在 40 FPS 的速度下实现了超过之前最好结果的性能。

    Sep, 2019

  • 联合指称表达理解和分割的多任务协作网络

    本研究提出一种新的多任务协作网络 (MCN) 模型通过联合学习来实现指代表达理解 (REC) 和分割 (RES) 两个高度相关的任务，并通过创新设计解决预测冲突的挑战，实验结果表明，在三个基准数据集 RefCOCO、RefCOCO+ 和 RefCOCOg 上，MCN 模型相较于现有方法有了显著的表现提升，REC 和 RES 的准确率分别提高了 7.13% 和 11.50%，证实了我们的方法的有效性。

    Mar, 2020

  • 统一参照表达生成和理解

    我们提出了一种统一的 REG 和 REC 模型 UniRef，它使用经过精心设计的图像 - 区域 - 文本融合层 (IRTF) 来融合图像、区域和文本，并提出了视觉条件的掩码语言建模 (VMLM) 和文本条件的区域预测 (TRP) 对 UniRef 模型进行预训练以更好地完成这两个高度相关的任务。

    Oct, 2022

  • 视频指称理解中的对话问题

    研究视频指代表达理解中的两个问题，提出了一种新颖的双重对应网络方法来增强帧间和跨模态的密集关联，以提高视频和图像 REC 基准测试的表现，并进行了全面的剖析研究。

    Jul, 2022

  • DP-CRE: 通过解耦对比学习和记忆结构保持进行连续关系抽取

    DecouPled CRE (DP-CRE) framework effectively handles the challenge of catastrophic forgetting in Continuous Relation Extraction (CRE) by decoupling the preservation of prior information and acquisition of new knowledge, outperforming other CRE baselines in extensive experiments.

    Mar, 2024

  • 一种实时的全球推断网络用于一阶段指称表达理解

    本篇论文提出了一种名为 Real-time Global Inference Network 的模型，它使用了关注全局和自适应特征融合机制来实现图像中目标区域与给定文本描述之间的关联，相比于现有多个阶段的模型，该模型可以实现更快的速度，并且在多个数据集上表现出较高的准确度。

    Dec, 2019