EMNLPNov, 2022

难例也更难解释吗？人类和模型生成的解释研究

PDF
TL;DR通过人类编写的常识规则与 GPT-3 生成的描述进行比较，本研究研究了 LLM、人类在简单与困难例子的数据标注解释方面的能力，研究结果表明对于简单示例，GPT-3 生成的解释具有高度的支持性，而人类解释更具有通用性，对于困难示例，人类解释在标签支持和通用判断方面都比 GPT-3 解释更好。
发现论文，激发创造
  • 人工智能协作生成自由文本解释的重新构架

    本文探讨利用人类书写的样例以几乎无监督的方式创作自由文本解释的任务，发现高质量的提示有助于提高语言模型的生成效果，同时人类研究表明 GPT-3 生成的解释在某些情况下能够胜过人工生成的解释；作者还结合 GPT-3 与学习自评价的筛选器对生成的解释进行过滤，结果表明这一方法能够实现较高水平的解释过滤。

    Dec, 2021

  • Few-shot 提示在文本推理中解释的不可靠性

    本文研究了将 GPT-3 等大型语言模型与说明相结合是否能够提高上下文学习效果，发现对于涉及文本推理的自然语言推理和问答任务，使用不同样式的说明对 OPT、GPT-3（davinci）和 InstructGPT（text-davinci-001）等四个 LLM 的性能仅会带来小至中等的准确性提高，而 text-davinci-002 能够带来更实质性的提高，并且 LLM 产生的说明可能不支持、甚至与模型预测不一致，但这些说明仍有助于验证模型的预测，在此观察基础上，文章通过训练校准器使用自动提取的评分评估说明的可靠性，从而在全部数据集上实现后处理性能的提高。

    May, 2022

  • 大语言模型的解释提升小推断者的性能

    利用大型语言模型的自由文本解释来提高小型模型的推理能力，将有助于实现可解释的 AI，并可以在理解所做的预测的过程中生成高质量的解释。

    Oct, 2022

  • 语言模型能否从上下文中的解释中学习？

    通过对 40 个具有挑战性的任务提出带有答案解释的问题及各种匹配控制解释，我们发现解释可以提高大型语言模型在具有挑战性的任务上的零次和少量样本的表现，并且仅大型模型有益处。

    Apr, 2022

  • 易训练数据在困难任务中的非常有效性

    通过对容易和困难数据进行简单的训练方法、线性分类器头和 QLoRA 的易变难泛化，以及使用不同硬度度量的实验验证，我们得出了在语言模型中易变难泛化意外地很强，表明可扩展的监管问题可能比之前认为的更容易。

    Jan, 2024

  • AnnoLLM: 使大型语言模型成为更好的众包注释工具

    本文提出了一种基于大型语言模型的数据注释方法，通过提示示例和解释的方式，实现了无监督的数据注释，实验结果表明该方法优于众包注释方法。

    Mar, 2023

  • 大型语言模型能否自我解释？LLM 生成自解释的研究

    ChatGPT 的自解释性能与传统方法相媲美，在成本较低的情况下，且具有许多有趣的特性，促使我们重新思考当前在 ChatGPT（类似的 LLM）时代的模型可解释性实践。

    Oct, 2023

  • ChatGPT 与我的教授相比，是更好的解释者吗？：评估 LLMs 在对话中的解释能力与人类基准

    这篇研究论文探讨了解释的重要性和基于对话的方法，使用了大型语言模型（LLMs）来增强专家解释者在对话环境中的能力，并通过评估不同策略的效果来了解 LLMs 在生成解释性回应方面的能力。

    Jun, 2024

  • 评估 GPT-3 生成的针对仇恨性内容审核的说明

    本研究通过对使用大型语言模型对仇恨言论生成解释的分析框架的提出以及对 2400 位受访者的调查，发现生成的解释在语言流畅性、信息量、说服力和逻辑准确性方面都获得了高评价，但不同提示策略会影响解释的说服力，可能会导致对内容是否仇恨的错误判断。因此，在内容审核中应谨慎使用大型语言模型 - generated 的解释。

    May, 2023

  • 比较由学生和大型语言模型创建的代码解释

    通过对大型语言模型进行评估，并将其与学生创建的代码解释进行比较，本文发现自动生成的 LLM 代码解释具有更高的准确性和易理解性，从而提供了一种解决教育中代码解释挑战的新方法。

    Apr, 2023