May, 2023

探究最小编辑问句下的开放领域问答系统对比一致性

HTML
PDF
TL;DR本文研究了在自然语言处理中，模型在面对扰动时进行一致性预测的能力，提出了一种基于人工标注和大型语言模型生成的问题集，以改善现有模型在开放域问答任务上的表现，对广泛使用的密集式段落检索器模型（DPR）进行了改进，并通过对比性损失和数据增强技术提高了DPR的对比一致性，而不影响其在标准测试集上的准确度。
发现论文，激发创造
  • 利用生成模型结合段落检索进行开放域问答

    研究使用生成模型在开放领域问答中的表现，发现利用文本段落检索可以显著提高性能，证明生成模型擅长聚合和组合多个段落的证据，同时在 Natural Questions 和 TriviaQA 开放式基准测试中取得最好的结果。

    Jul, 2020

  • 开放领域问答数据集中的问题与回答测试训练重叠

    本文研究开放领域问答模型的能力，发现许多测试集答案和训练集中的答案重复，只有部分问题可以从训练集中得到近似的问题，最终发现简单的最邻近模型表现比BART模型更好，证明训练集记忆在问答领域中发挥了重要作用。

    Aug, 2020

  • 开放域问答系统综述：检索与阅读

    本文综述了OpenQA领域的最新研究趋势，重点关注采用神经MRC技术的系统，介绍了现代OpenQA体系结构Retriever-Reader及采用该体系结构的各种系统，讨论了开发OpenQA系统面临的关键挑战，并对常用的基准进行了分析。

    Jan, 2021

  • 高效开放域问答测量调查

    本研究介绍了开放域问题回答（ODQA）的效率，并提供了最新的研究成果和挑战，以期为ODQA效率的进一步发展做出贡献。

    Nov, 2022

  • 开放领域问答中领域自适应挑战与干预：调整或注释？

    研究开放领域问答（ODQA）中，当应用于广泛不同的领域时，此类模型的稳健性和应用性能。该研究提出了一个更现实和具有挑战性的领域转移评估环境，并研究了端到端的模型性能。他们发现，不仅模型在推广方面表现出失败，且高检索分数通常也不能提供准确的答案预测。最后，研究提出并评估了多种干预方法，其提高了端到端答案F1得分，最多可达24个点。

    Dec, 2022

  • 在大语言模型时代评估开放领域问答

    通过人工评估，我们发现使用InstructGPT在NQ-open取得了新的最优结果，且所有模型的真实性能均被显著低估，同时超过50％的词汇匹配失败归因于意义相当的答案， 正则匹配排名与人类判断一致

    May, 2023

  • 对话依赖性建模的情境对话问答短语检索

    本文提出了一种基于短语检索的直接预测答案方法，利用对比学习策略，将上下文的连续对话转化为一个单一的子任务，并在两个ODConvQA数据集上进行了验证，结果表明相较于检索器-阅读器方法，本方法具有显著优势。

    Jun, 2023

  • 开放领域的会话问答的强大且高效的基线模型

    通过研究状况下的密集通道检索（DPR）检索器和解码中的融合（FiD）阅读器的流程，我们提出和评估了强大而简单高效的基准线，通过在检索器和阅读器之间引入快速重新排列组件并执行有针对性的微调步骤，改进了现有方法的性能，并减少了阅读器的延迟60%。

    Oct, 2023

  • 朝向稳健评估：大语言模型时代开放领域问答数据集和度量的综合分类

    本研究通过对52个数据集和20种评估技术进行综述，详细研究了当前开放域问题回答领域的现状，提出了一种包含问题类型的多模态数据集新分类法，并对评估指标进行结构化整理和批判性分析，旨在为现代问答系统的强大评估提供框架，并指出了当前的挑战和未来研究发展的有希望的方向。

    Jun, 2024

  • 在低资源提取式问答中的语言模型泛化探索

    本研究探讨了大型语言模型（LLMs）在特定领域（如医学和法律）的零-shot提取式问答能力，旨在解决语言模型在封闭领域的泛化能力不足的问题。通过一系列实验，我们发现LLMs在处理封闭领域的特定需求时表现不佳，尤其是在长答案检索和领域特定词义的区分上，揭示了现有LLMs在应对闭域数据集时的挑战，并为其改进指明了方向。

    Sep, 2024