May, 2022

VD-PCR: 通过代词指代消解提高视觉对话

PDF
TL;DR本文中提出了 VD-PCR，这是一种提高视觉对话理解的新框架，旨在通过使用代词照应解决方法，包括隐式和显式方法。采用隐式方法，采用新的方法来执行代词照应解决和视觉对话任务的联合训练；采用显式方法，提出从代词和它们的指示物的指代关系识别历史轮的相关性，以便在视觉对话模型输入中明确修剪不相关的历史轮。通过所提出的隐式和显式方法，VD-PCR 在 VisDial 数据集上取得了最先进的实验结果。
visual dialogpronoun coreference resolutionmulti-round dialogsai agentvisdial dataset
发现论文，激发创造
  • 所见即所得：对话中视觉代词共指消解

    本文讨论了在会话中处理代词回指的复杂性，并提出一种基于视觉信息的模型来解决这一问题。经过对提出模型的数据集进行对比试验，证明了视觉信息在代词回指中的重要性和所提出模型的有效性。

    Sep, 2019

  • 在视觉对话中扩展短语引用以包含代词

    本文提出了一种新的跨模态视觉语言理解任务，此任务扩展了旧的名词短语 grounding 任务，加入了代词，并通过基于图卷积网络的指代消解信息来提高定位性能，实验结果表明，相比名词短语，代词定位更容易，模型表现也有显著提升。

    Oct, 2022

  • 主题正则化下对话中的外指代消解

    该研究提出采用局部语境和全局对话主题相结合的方法，通过添加主题规范化，有效解决了语境外的指代问题，特别是外指代代词的处理。

    Sep, 2021

  • 使用神经模块网络进行视觉对话中的视觉共指消解

    本研究提出了一个神经模块网络架构，通过引入 Refer 和 Exclude 两个新模块，在更细的词级别上执行明确且基于地面的共指解决，以解决视觉对话中的核心指代消解问题，并展示了在 MNIST 对话和 VisDial 数据集上的有效性。

    Sep, 2018

  • 模拟视觉对话中的指代关系

    本文提出两个基于人类对话语言知识和语境特征的软约束来改进模型的对话代词消解能力，将这两个约束嵌入到深度 transformer 神经架构中。实验结果显示出了本模型在 VisDial v1.0 数据集上相比于现有模型的性能提升，无需预训练其他视觉语言数据集。

    Mar, 2022

  • CorefDRE：使用指代消解的文档级关系抽取

    本文旨在从多个句子构成的文档中提取关系事实。通过使用异构图构建和核心指代消解处理，作者提出了一个基于图推理网络的注意指代消解的方法来增强语义信息和降低噪声，并在 DocRED，DialogRE 和 MPDD 三个公共数据集上进行了实验，证明其在文档关系抽取领域超越了目前最先进的技术水平。

    Feb, 2022

  • 核指代消解中的透明度：一种受量子启发的方法

    通过在希尔伯特空间中学习单词的意义并通过将语法结构转化为参数化量子电路的翻译，我们评估了 Quantum Natural Language Processing (QNLP) 对 Winograd 风格的代词消解任务的翻译，并训练了一个用于二元分类的 Variational Quantum Classifier (VQC)，在 IBMQ 软件上执行的模拟获得了 87.20% 的 F1 分数，该模型优于三个经典共指消解系统中的两个，并接近最先进的 SpanBERT，而一个混合量子 - 经典模型则将这些结果进一步提升了约 6%。

    Dec, 2023

  • 解决难核指代问题

    提出了一种基于谓词模式和受限优化框架的代表性算法，用于解决自然语言理解中的指称消解问题，特别是针对代词的困难实例。该算法通过无监督方式获取知识，编译自动约束，显著提高了 “Winograd-style” 难例的性能，并在标准指称消解数据集上表现出最先进的水平。

    Jul, 2019

  • 一种混合实体中心方法用于波斯语代词消解

    本文提出了一种混合模型，通过将多个基于规则的筛子与针对代词的机器学习筛子相结合，解决了代词消解的挑战。该方法在 400 个文档的波斯语语言语料库中蕴含着出色的性能，并通过与先前模型的比较证明了其有效性。

    Nov, 2022

  • 融合上下文和外部知识进行代词共指消解

    本文提出了一个包含两层模型的代词共指消解模型，使用了上下文信息以及外部知识，其中一个使用注意力机制的知识模块被设计来根据不同的上下文内容确保模型能够使用合适的外部来源。实验结果表明，该模型的有效性和优越性优于现有的模型。

    May, 2019