面向可信、可靠的长文档理解的事后答案归因：任务、洞见和挑战

Jun, 2024

面向可信、可靠的长文档理解的事后答案归因：任务、洞见和挑战

Post-Hoc Answer Attribution for Grounded and Trustworthy Long Document Comprehension: Task, Insights, and Challenges

Abhilasha Sancheti, Koustava Goswami, Balaji Vasan Srinivasan

TL;DR长文理解中对答案文本进行归因对于建立可信赖、可靠和负责任的系统至关重要，而缺乏长文崭新性和信息查找性的归因数据集使得我们需要重构现有数据集以评估现有基于检索和提出的答案分解和文本蕴含为基础的最佳选择归因系统在这一任务上的优势和不足，同时也突显了现有数据集的限制和对于评估系统在该任务上实际性能的需求。

Abstract

Attributing answer text to its source document for information-seeking questions is crucial for building trustworthy, reliable, and accountable systems. We formulate a new task of post-hoc answer attribution for long document comprehension (LDC). Owing to the lack of long-form abstract

answer attribution long document comprehension retrieval-based systems textual entailment dataset limitations

发现论文，激发创造

基于监督对比学习的长文本问答

本文提出一种新的方法，通过在 fine-tuning 过程中为模型提供对比监督信号，通过最大化问题 - 证据的相似性，明确区分支持证据句子和负面证据句子，从而为长上下文问答模型提供更好的支持证据识别，取得了一致的性能提升。

Dec, 2021

跨语言问答的归因评估与建模

为了提高跨语言问答系统的可靠性，本研究对该系统的描述性和归属性进行了研究，并测试了多种检测方法来提高归属度。通过使用自然语言推理模型和 PaLM2 对少量的归属数据进行微调，可以准确地检测到归属和提高跨语言问答系统的归属度。

May, 2023

语言模型洞察：上下文问答中的归因方法

基于大语言模型的隐藏状态，我们提出了一种新的环境下问答的归因方法，绕过重复训练模型和检索模型开销，提供精细的归因并保持结果质量，在识别出 LLM 生成的文字时表现出与 GPT-4 相当甚至更好的性能，且适用于各种 LLM 架构。

May, 2024

属性问答：针对属性化大语言模型的评估和建模

本文研究基于属性的 LLM 发展，在开发 Attributed LLMs 的第一步骤中提出可重复的 Attributed QA 评估框架并评估多种结构。实验结果探讨了如何度量归属（attribution）以及现有方法在归属方面的表现如何，并提出了建立带归属特性的 LLMs 的可能方向。

Dec, 2022

理解长文问答的检索增强

通过使用相同的证据文档比较使用不同检索增强模型生成的答案，分析了检索增强对不同语言模型的影响，以及检索文档集的质量对相同语言模型生成的答案的影响。研究了生成答案的各种属性（如流利度、长度、差异等），重点是将生成的长篇答案与上下文证据文档进行归因。我们收集了对答案归因的人工注释，并评估了自动判断归因的方法。研究结果揭示了检索增强对基于语言模型的长篇、知识丰富文本生成的影响，分析了归因错误的主要原因，为未来的研究提供了方向。

Oct, 2023

学习计划与引文生成文本

我们在这篇论文中探讨了最近显示对于生成的文本的逼真性、基础性和可控性有所改进的计划型模型的归因能力，该模型将计划概念化为一系列问题，旨在作为生成内容及其组织的蓝图。我们提出了两个利用不同蓝图变体的归因模型，一个是从头开始生成问题的抽象模型，另一个是从输入中复制问题的抽取模型。在长文问题回答的实验中，规划始终能够提高归因质量，此外，蓝图模型生成的引用文献与缺乏规划组件的基于 LLM 的流程获得的引用相比更加准确。

Apr, 2024

长格式问答进展的障碍

该论文探讨了长篇问答任务中关于评估和数据集构建所面临的挑战，在提出新模型的同时指出该任务中 ROUGE-L 评估不具信息性，且训练集和验证集存在显著重复。给出了缓解这些问题的建议。

Mar, 2021

通过事实性评分和来源归属促进人类与语言模型的合作

研究表明，为了有效地与用户沟通大型语言模型的事实准确性和来源归属，使用词组的颜色编码、高亮相关源材料或在响应中加注参考编号等设计策略，有助于提高用户对大型语言模型的信任评级和验证回答准确性的方便程度。

May, 2024

模型是否理解问题？

本文通过对深度学习模型的问答能力进行分析，引入了词汇重要性的概念，并借此来对问题进行扰动，从而建立对模型的评估及攻击。该方法可通过突出模型在正确率、逻辑、数据等方面的不足，提高模型的推理及总体性能表现。

May, 2018

检索增强的长文生成中的基础性：一项实证研究

我们对基于检索增强的大型语言模型在长篇问题回答中的接地性进行了实证研究。研究发现，尽管生成的句子中包含正确的答案，但在 3 个数据集和 4 个模型系列中，存在大量一致性未接地的句子。此外，我们还研究了模型大小、解码策略和指导调优等因素对接地性的影响。结果显示，尽管较大的模型更有效地将输出接地，但仍有相当数量的正确答案受到虚构内容的影响。这项研究为长篇问题回答中的接地性挑战提供了新的见解，并强调了在大型语言模型中采取更鲁棒的机制来减少未接地内容的生成的必要性。

Apr, 2024