Dec, 2022

开放领域问答中领域自适应挑战与干预：调整或注释？

PDF
TL;DR研究开放领域问答（ODQA）中，当应用于广泛不同的领域时，此类模型的稳健性和应用性能。该研究提出了一个更现实和具有挑战性的领域转移评估环境，并研究了端到端的模型性能。他们发现，不仅模型在推广方面表现出失败，且高检索分数通常也不能提供准确的答案预测。最后，研究提出并评估了多种干预方法，其提高了端到端答案 F1 得分，最多可达 24 个点。
open-domain question answeringodqadomain shift evaluationintervention methodsend-to-end system
发现论文，激发创造
  • 无目标标签的多样数据集和方法的领域通用视觉问答模型

    本研究通过量化视觉问答（VQA）数据集在视觉和文本空间上的领域漂移，构建并测试不同家族的 VQA 方法（经典的两流，Transformer 和神经符号方法）的鲁棒性以及现有的领域自适应方法的适用性，并设计了一种新的跨越 VQA 领域差距的自适应方法。

    Mar, 2021

  • 高效开放域问答测量调查

    本研究介绍了开放域问题回答（ODQA）的效率，并提供了最新的研究成果和挑战，以期为 ODQA 效率的进一步发展做出贡献。

    Nov, 2022

  • 缓解上下文记忆以提高开放领域问答的泛化能力

    Open-domain Question Answering research investigates the generalization performance of a retrieval-augmented QA model, proposing Corpus-Invariant Tuning as an effective training strategy to mitigate knowledge over-memorization and achieve better generalizability.

    Apr, 2024

  • 领域无关的对抗训练问答

    本文提出一种采用对抗训练框架来解决深度学习中新领域适应问题的方法，将传统 QA 模型和判别器组合，以对抗的方式进行训练，从而实现 QA 模型学习到领域不变特征，并在 MRQA Shared Task 2019 中取得了优于基线模型的性能。

    Oct, 2019

  • 朝向稳健评估：大语言模型时代开放领域问答数据集和度量的综合分类

    本研究通过对 52 个数据集和 20 种评估技术进行综述，详细研究了当前开放域问题回答领域的现状，提出了一种包含问题类型的多模态数据集新分类法，并对评估指标进行结构化整理和批判性分析，旨在为现代问答系统的强大评估提供框架，并指出了当前的挑战和未来研究发展的有希望的方向。

    Jun, 2024

  • 在检索增强开放域问答中的可回答性

    本文研究了利用随机策略训练模型存在识别高语义重叠无关文本摘录能力不足的重要局限性，并发现了一种有效的方法来训练模型以识别此类摘录，通过利用 SQuAD 2.0 数据集的不可回答配对，我们的模型在面对这些具有挑战性的文本摘录时实现了近乎完美的准确性（约 100%）。

    Mar, 2024

  • 开放式复合领域自适应

    本文提出了一种基于课程域适应策略和记忆模块的方法，以处理由多个同质域组成的无标签复合目标域的开放复合域适应问题。实验证明我们的方法在数字分类，面部表情识别，语义分割和强化学习上非常有效。

    Sep, 2019

  • 从少量样例评估领域外语言模型性能

    本研究旨在探索预训练语言模型对领域转移能力的预测，并证明基于特征归因的因子对于预测模型领域转移能力具有一定的作用。

    Oct, 2022

  • 开放领域问答数据集中的问题与回答测试训练重叠

    本文研究开放领域问答模型的能力，发现许多测试集答案和训练集中的答案重复，只有部分问题可以从训练集中得到近似的问题，最终发现简单的最邻近模型表现比 BART 模型更好，证明训练集记忆在问答领域中发挥了重要作用。

    Aug, 2020

  • 基于有限文本语料库的对比领域自适应对话回答

    本研究提出了一种名为对比领域自适应问答（CAQA）的新型领域适应框架，该框架结合了问题生成和域不变学习技术，用于在文本语料库受限的情况下回答域外问题，并且相较于现有技术取得了显著的效果改善。

    Aug, 2021