后验解释能够提高语言模型的性能

May, 2023

后验解释能够提高语言模型的性能

Post Hoc Explanations of Language Models Can Improve Language Models

Satyapriya, Krishna, Jiaqi Ma, Dylan Slack, Asma Ghandeharioun...

TL;DRAMPLIFY 框架使用后续解释的方法，自动生成自然语言解释以提供纠正信号，从而提高 Large Language Models 的预测准确率。

Abstract

large language models (LLMs) have demonstrated remarkable capabilities in performing complex tasks. Moreover, recent research has shown that incorporating human-annotated rationales (e.g., Chain-of- Thought prompting) during in-context learning can significantly enhance the performance

large language models reasoning capabilities rationale generation post hoc explanations prediction accuracy

发现论文，激发创造

Self-AMPLIFY: 提高小型语言模型性能的自解释方法

自动化方法 Self-AMPLIFY 将事后解释方法应用于小型语言模型，生成有理性解释并改善其性能。

Feb, 2024

大型语言模型是事后解释器吗？

利用大型语言模型和上下文学习，本研究提出了一种新的解释框架，展示了语言模型在解释其他预测模型方面的有效性，并通过实验证明了其与现有解释技术相媲美的性能，从而在可解释的人工智能领域开辟了新的研究前沿。

Oct, 2023

探索使用人类理由的文本分类器的模型性能和解释可信度之间的权衡

我们提出了一种方法，将人类决策的解释性文本注释引入文本分类模型，从而提高模型解释的可信度，并通过多目标优化算法在性能和可信度之间达到平衡，从而显著提高模型解释的质量。

Apr, 2024

大语言模型的解释提升小推断者的性能

利用大型语言模型的自由文本解释来提高小型模型的推理能力，将有助于实现可解释的 AI，并可以在理解所做的预测的过程中生成高质量的解释。

Oct, 2022

自我解释：教大型语言模型自行推理复杂问题

聚焦大型语言模型，探索通过自我解释生成复杂问题的过程，发现自我解释可以使模型更自信、更准确、更少倾向性地回答问题，甚至在几个复杂问题回答数据集上优于人工生成的示例。

Nov, 2023

评估 LLM Rationale 的人类对齐度和模型忠实度

我们研究了大型语言模型（LLM）如何通过原因来解释其生成的模式，它们是从输入文本中提取出来的一组标记，反映了 LLM 的决策过程。我们使用两种方法提取 LLM 原因：1）基于归因的方法使用注意力或梯度来定位重要的标记，以及 2）基于提示的方法使用提示来引导 LLM 提取原因。通过广泛的实验，我们展示了基于提示的原因与人工注释的原因更好地对齐，即使模型性能差，也能合理地与人类对齐。此外，我们还发现基于提示的方法的忠实度限制可能与它们的折叠预测有关。通过在相应的数据集上微调这些模型，无论是提示方法还是归因方法都展现了更好的忠实度。我们的研究为更严格和公正地评估 LLM 原因提供了启示，尤其是基于提示的方法。

Jun, 2024

有效上下文学习的互补解释

本文研究大型语言模型在上文环境学习中如何利用解释，通过研究计算跟踪和语言表达对影响解释的有效性，我们发现两种因素对于解释的有效性都起重要作用，同时提出了一种基于最大边际相关性的样本选择方法，以构建既相关又补充的样本集，成功提高了大型语言模型在多个真实世界任务上的上下文学习性能。

Nov, 2022

TextGenSHAP: 长文本生成中的可扩展后验解释

TextGenSHAP 是一个高效的事后解释方法，该方法结合了 LM 特定技术，通过减少处理时间、提供局部化重要词语和句子的能力以及增强选择性片段和最终回答的准确性，显著提高了大型语言模型的性能。

Dec, 2023

利用大型语言模型为人类导师提供解释性反馈

研究表明，学习者参与制作解释以支持他们的推理过程，对学习有积极影响。本文介绍了两种方法，可供教师在在线课程中提供实时反馈，并介绍了采用大型语言模型促进的命名实体识别的增强方法的进展。

Jun, 2023

LLM 生成的解释的属性和挑战

大语言模型的自我合理化能力在受限环境下得到了探索，当前的语言模型不仅依赖特定注释数据，还经常对其输出进行解释，生成的解释具有人类解释的常见属性。通过对多领域训练数据集的输出进行分析，我们发现生成的解释表现出选择性和包含说明性元素，但不太主观或误导性，我们讨论了这些属性存在与缺失的原因和后果，特别是根据自我合理化系统的目标和用户群体，概述了正面和负面的影响。

Feb, 2024