May, 2023

撰写自己的书：从闭式到开放式书籍的问答之路，提升较小 LLM 的鲁棒性和性能

PDF
TL;DR本文介绍了两种新颖的方法：Tree-Search 和 Self-contextualizing QA，旨在提高大型语言模型在问答任务中的性能。通过使用 Tree-Search 采样技术和自我上下文化 QA 方法，可使模型根据提示创建其自己的上下文并生成高质量、一致性强、信息量大、连贯度强的答案，优点是具有更高的鲁棒性，同时可以扩展到多种任务和应用。
发现论文，激发创造
  • 上下文生成改善开放域问答

    我们提出了一个采用粗到细方法提取相关知识和回答问题的两阶段闭书问题回答框架，实验结果显示我们的方法明显优于先前的闭书 QA 方法并与利用外部知识源的开书方法相当。

    Oct, 2022

  • 长跨度问答：通过并行评估自动生成问题和问答系统排序

    通过使用大型语言模型的长期上下文能力，我们利用整本书籍创建合成阅读理解数据。我们提出了一个全面的自动化数据生成流程，包括问题生成、回答和模型评分。我们还发现将答案在模型之间进行相对比较，并使用 Bradley-Terry 模型进行排名，与绝对评分器相比，提供了一种更一致和区分性更强的评分机制。同时，我们展示了不同模型族的大型语言模型在评分方面的适度一致性。通过人工策划的 NarrativeQA 数据集验证了我们的方法，并且我们的评估器与人类判断达到了很好的一致性，甚至在数据集中发现了错误。使用我们的自动化评估方法，我们展示了与无上下文（参数化知识）和基于检索的方法相比，使用整本书籍作为上下文可以获得更优秀的阅读理解性能。

    May, 2024

  • 多模态上下文图谱理解和自监督开放式理解的教材问题回答

    该研究提出了一种新算法，用于解决复杂的教材题目答案（TQA）任务，该算法主要围绕多模态上下文中的知识特征提取以及自我监督开放式学习过程展开，并且实验证明其优于目前先进的方法。

    Nov, 2018

  • 面向开放域问答的自我提示大语言模型

    本文提出了一种基于大型语言模型的自我点拨框架 (Self-Prompting framework)，使得在开放域下的问答任务 (Open-Domain Question Answering) 可以在不需要训练数据和外部知识库的情况下实现，采用该方法在三个广泛使用的 ODQA 数据集上，实验结果优于之前的最先进方法，在 EM 指标上平均提高了 8.8 个百分点，并且能够实现与多种检索增强的微调模型相比较的性能。

    Dec, 2022

  • 利用大型语言模型和检索加强生成来提高教科书问答任务

    该论文提出了一种利用检索增强生成技术和迁移学习来处理教科书问答中领域外情况的方法，以处理复杂的语境和多模态数据，并改善推理能力。通过对 Llama-2 模型进行监督微调和引入 RAG，我们的架构在非图表多项选择题中相较于基线模型，在验证集上精度提升了 4.12%，在测试集上提升了 9.84%。

    Feb, 2024

  • 为复杂信息抽取任务微调和对齐问答模型

    使用提取式 QA 模型进行特征提取的方法可改善德语商业文档的信息提取，并通过微调现有德语 QA 模型提高性能，同时还讨论了评估信息提取任务的相关度得分指标。

    Sep, 2023

  • FusionMind -- 提升问题与回答的外部上下文融合

    利用预训练语言模型（LMs）和知识图谱（KGs）解答问题存在识别相关知识和进行联合推理的挑战。通过与先前发表的 QAGNN 方法进行比较，我们发现将相关的知识事实纳入问题上下文有助于提高问题回答性能，而将知识图谱融入语言模型中则只能带来少量增长，这表明将上下文知识事实结合起来可能对增强问题回答性能更具影响力。

    Dec, 2023

  • FreshLLMs: 利用搜索引擎增强大型语言模型

    本研究重点研究了大型语言模型在回答当前世界知识测试问题方面生成文本的真实性，提出了 FreshQA 动态问答基准和 FreshPrompt 强化性指示方法，通过使用相关和最新信息从搜索引擎检索来提高大型语言模型的性能。

    Oct, 2023

  • SituatedQA: 将额外的语境纳入 QA 中

    本研究提出了一个开放式检索问答数据集 SituatedQA，旨在研究在不同时间和地点提出相同问题的语境下，答案是否会发生变化。通过构建该数据集并对现有模型进行实验，发现模型对于更新频繁或少见地点的答案产生困难，同时模型对于过去采集的数据无法在新问答中适应，因此建议将 extra-linguistic context 纳入开放式检索 QA 评估标准中。

    Sep, 2021

  • 缓解上下文记忆以提高开放领域问答的泛化能力

    Open-domain Question Answering research investigates the generalization performance of a retrieval-augmented QA model, proposing Corpus-Invariant Tuning as an effective training strategy to mitigate knowledge over-memorization and achieve better generalizability.

    Apr, 2024