基于大语言模型的隐藏状态，我们提出了一种新的环境下问答的归因方法，绕过重复训练模型和检索模型开销，提供精细的归因并保持结果质量，在识别出 LLM 生成的文字时表现出与 GPT-4 相当甚至更好的性能，且适用于各种 LLM 架构。

May, 2024

本文研究基于属性的 LLM 发展，在开发 Attributed LLMs 的第一步骤中提出可重复的 Attributed QA 评估框架并评估多种结构。实验结果探讨了如何度量归属（attribution）以及现有方法在归属方面的表现如何，并提出了建立带归属特性的 LLMs 的可能方向。

Dec, 2022

本文探讨了大型语言模型在自动评估引用时的两种方法：引导 LLM 和微调更小的 LM。我们手动策划了一组测试样例以涵盖 12 个领域并评估了其自动评估的结果，旨在为这一重要问题的未来研究打下基础。

May, 2023

本文提出了一种名为 “先选后生成” 的本地可归属文本生成方法，通过将传统的端到端生成过程分为三个直观步骤：内容选择、句子规划和顺序句子生成，从而确保相关源片段同时充当输出的细粒度归属，以此解决了大规模语言模型中幻觉问题，并在多文档摘要和长篇问答上取得了更简洁的引文而保持较高的生成质量和归属准确性，同时还显著降低了人工审核的事实验证时间。

Mar, 2024

为了提高跨语言问答系统的可靠性，本研究对该系统的描述性和归属性进行了研究，并测试了多种检测方法来提高归属度。通过使用自然语言推理模型和 PaLM2 对少量的归属数据进行微调，可以准确地检测到归属和提高跨语言问答系统的归属度。

May, 2023

本文提出了一种使用细粒度奖励的有效训练框架，教授大型语言模型生成高度支持和相关的引用文献，以及确保其回答的正确性。在常见的大型语言模型训练策略上应用这些细粒度奖励进行系统分析，并在 ALCE 基准测试和 EXPERTQA 上进行了广泛实验验证其模型的通用性。在 LLaMA-2-7B 上，细粒度奖励的引入在基准测试中取得了最佳性能，甚至超过了 GPT-3.5-turbo。

Feb, 2024

这项研究介绍了 ALCE，一个自动化 LLMs 引用评估的评测基准，通过自动度量三个维度 - 流畅度、正确性和引用质量，强调了更好的检索器、长文本 LLMs 等方向的改善空间。

May, 2023

提供了可控的引文生成系统，使用大型语料库中引文句子的属性作为训练的输入源，并开发了属性建议模块来推断引文意图和建议相关关键词和句子，使用户更加掌控生成的引文，与没有属性意识的引文生成模型相比，在 ROUGE 和人类评估中性能更好。

Nov, 2022

本文旨在研究 LLLms 在常识规划任务中的规划能力，通过在国际计划竞赛中生成一系列实例，并评估 LLMs 在自主规划和启发式两种不同模式下的表现，发现 LLMs 在自主规划方面的表现非常有限，但在启发式模式下，LLMs 生成的计划可以改善其它智能计划器的搜索过程并提供反馈以进一步验证计划质量。

May, 2023

大型语言模型在自然语言处理中被广泛采用，但是它们面临着生成不可靠内容的挑战。最近的研究旨在通过引用作为证据来减少错误信息和产生幻象。然而，当前的引用方法通常集中在检索阶段和自动评估上，忽视了在人类学术写作中增强可信度的引用机制的反映。本文通过将归因任务建模为偏好学习，并引入自动偏好优化（APO）框架来解决这些挑战。我们首先创建了一个经过训练的精心策划的收集 (6330 个例子)，通过收集和过滤现有数据集。其次，考虑到标记偏好数据的高成本，我们进一步提出了一种自动合成归因偏好数据的方法，得到了 95263 对。此外，受人类引文过程的启发，我们还提出了一种利用细粒度信息的渐进式偏好优化方法。在 ASQA、StrategyQA 和 ELI5 三个数据集上进行了大量实验证明，APO 在引文 F1 指标上达到了最先进的水平，并且具有更高的回答质量。

Mar, 2024