评估 LLM Rationale 的人类对齐度和模型忠实度

Jun, 2024

评估 LLM Rationale 的人类对齐度和模型忠实度

Evaluating Human Alignment and Model Faithfulness of LLM Rationale

Mohsen Fayyaz, Fan Yin, Jiao Sun, Nanyun Peng

TL;DR我们研究了大型语言模型（LLM）如何通过原因来解释其生成的模式，它们是从输入文本中提取出来的一组标记，反映了 LLM 的决策过程。我们使用两种方法提取 LLM 原因：1）基于归因的方法使用注意力或梯度来定位重要的标记，以及 2）基于提示的方法使用提示来引导 LLM 提取原因。通过广泛的实验，我们展示了基于提示的原因与人工注释的原因更好地对齐，即使模型性能差，也能合理地与人类对齐。此外，我们还发现基于提示的方法的忠实度限制可能与它们的折叠预测有关。通过在相应的数据集上微调这些模型，无论是提示方法还是归因方法都展现了更好的忠实度。我们的研究为更严格和公正地评估 LLM 原因提供了启示，尤其是基于提示的方法。

Abstract

We study how well large language models (LLMs) explain their generations with rationales -- a set of tokens extracted from the input texts that reflect the decision process of LLMs. We examine LLM →

large language models rationales attribution-based methods prompting-based methods faithfulness limitations

发现论文，激发创造

对大型语言模型作为知识密集型任务的合理化特征的刻画

大型语言模型能够在缺乏任务特定监督的情况下生成流畅的文本，但其在具有知识密集型任务中提供有根据的解释的能力仍未得到充分探索。我们通过使用专家编写的几个样本，以少量样本的方式生成基于知识的解释来解决这一问题。通过研究发现，众包工作者更喜欢基于知识的解释，因为它们具有实际性、充分性和全面的反驳。虽然大型语言模型生成的解释更受欢迎，但需要进一步提高简明性和新颖性。另外，我们还展示了错误模型预测的解释如何削弱人类对大型语言模型生成的解释的信任。基于这些观察的动机，我们创建了一个两阶段的流程，在生成解释之前审查任务预测并消除潜在的错误决策，以实现可信赖的解释生成。

Nov, 2023

利用机器生成的理由促进对话中的社会意义检测

我们提出了一种可以推广的分类方法，利用大型语言模型（LLM）来侦测对话中隐含的社会意义。我们设计了一个多方面的提示来提取将可见线索与潜在社会意义相连接的推理的文本解释。这些提取的解释或理由作为对话文本的增强，以促进对话理解和转移。我们在 2340 个实验设置上的实证结果表明，添加这些理由具有显著的积极影响。我们的发现适用于领域内分类、零样本和少样本领域转移，对两个不同语料库涵盖的两个不同的社会意义检测任务也适用。

Jun, 2024

不借助监督探索忠实句级解释

本研究提出了一种不同于传统管道式或强化学习方法的可微分训练框架，以在句子层面仅应用目标任务监督来输出具有可信度的原因，并在三个不同数据集上展示了竞争性表现和更好的性能。

Oct, 2020

使用忠实、简洁和可传递的原理教授 MLLMs

在这项研究中，我们引入了一种名为 Fact 的新范式，旨在生成忠实、简洁和可传递的多模态理由，通过可验证的视觉编程生成可执行的代码，从而增强了它的忠实性和精确性，并通过剪枝、合并和桥接等一系列操作提高了简洁性，同时通过过滤可以从编程范式传递到端到端范式的理由来保证可传递性，实验证据表明我们的方法在各种参数大小的模型上都表现出优异的组合推理和泛化能力，而且由于图像和文本之间的高相关性，我们的方法还减少了错觉。

Apr, 2024

在可读性水平控制下的自由文本论据生成

大型语言模型在不同可读性级别下进行自然语言解释任务，发现解释可以适应不同的指导，但请求的可读性经常与传统可读性评估指标不一致。该研究还发现，评估大型语言模型生成的解释时，其对于文本复杂度的评估呈现出与自然语言生成中观察到的类似偏好。最后，人类评估表明在不同可读性级别下的解释总体印象令人满意，其中高中级别的可读性最常见且受欢迎。

Jul, 2024

大型语言模型作为忠实的解释器

介绍了一种提高大型语言模型的自然语言解释质量的生成解释框架 xLLM，该框架通过评估器和迭代优化过程来最大化生成解释的忠实度分数，实验证明 xLLM 可以显著提高生成解释的忠实度。

Feb, 2024

生成的自由文本理由在主观决策中的说服力：一项关于两两论证排名的案例研究

分析了使用大型语言模型生成的自由文本解释对于主观答案的重要性，并评估了九个开源语言模型生成的自由文本解释的说服力，结果显示主观排序任务中 Llama2-70B-chat 模型的解释具有高度说服力，超过了 GPT 模型，并发现通过引导或自我改进可以提高解释的说服力。

Jun, 2024

大型语言模型是临床推理器：具备推理意识的诊断框架和提示生成的合理化

借助基于提示的学习，通过 “推理感知” 的诊断框架实现了对临床推理进行理性化，并能够在时间和劳动资源上具有高效性，从而实现了对疾病诊断的临床推理。

Dec, 2023

利用零射击提示进行高效的语言模型蒸馏

本文介绍了一种新颖的方法，可以将 LLMs 高效地提炼成更小的、面向特定应用的模型，显著降低运营成本和人工劳动。该方法利用 LLMs 的推理能力为无标签数据生成标签和自然语言解释，从而在有限数据和计算资源情况下增强模型的微调和提炼效果。其中关键贡献包括使用零样本提示获取教师模型的解释，减少手工制作的小样本示例的需求，并降低令牌数，这直接转化为主要技术公司 LLM API 的按令牌计费模式下的成本节约。此外，本文还研究了解释特性对提炼效率的影响，并证明了即使在整个数据集上未应用理由增强时也几乎不会导致性能损失，从而进一步减少了令牌数量。这项研究是朝向最小化人工干预、高效训练特定任务模型的一步，提供了大幅降低成本并保持甚至增强性能的可能性。

Mar, 2024

SCOTT: 自洽思维串讲压缩

提出了一种知识蒸馏方法以学习从比自身大几个数量级的大型语言模型中生成一致合理的解释的小型自洽 Chain-of-Thought（CoT）模型，它使用教师模型生成的合理解释来学习学生模型，并使用对抗性约束来保证学生模型保持一致性和反事实推理，实验结果表明，这种方法可以更好地生成有利于提高性能的 CoT 解释。

May, 2023