May, 2023

OPT-R：探索解释在精调和提示中对大型语言模型推理能力的作用

PDF
TL;DR本文对大型语言模型（LLMs）的推理能力进行了全面调查，重点研究了 Open Pretrained Transformers（OPT）模型作为此类模型的代表。通过在精心筛选的推理语料库上微调三种不同大小的 OPT，我们评估了所有模型在来自 SUPER-NATURAL-INSTRUCTIONS 基准测试的 57 项跨领域任务上的性能。研究发现，在微调时将解释纳入 fewshot 范例对模型的性能没有显著影响，而在提示和微调过程中逐步加入解释会略微但一致地提高分类准确性。
发现论文，激发创造
  • 大语言模型的解释提升小推断者的性能

    利用大型语言模型的自由文本解释来提高小型模型的推理能力，将有助于实现可解释的 AI，并可以在理解所做的预测的过程中生成高质量的解释。

    Oct, 2022

  • Few-shot 提示在文本推理中解释的不可靠性

    本文研究了将 GPT-3 等大型语言模型与说明相结合是否能够提高上下文学习效果，发现对于涉及文本推理的自然语言推理和问答任务，使用不同样式的说明对 OPT、GPT-3（davinci）和 InstructGPT（text-davinci-001）等四个 LLM 的性能仅会带来小至中等的准确性提高，而 text-davinci-002 能够带来更实质性的提高，并且 LLM 产生的说明可能不支持、甚至与模型预测不一致，但这些说明仍有助于验证模型的预测，在此观察基础上，文章通过训练校准器使用自动提取的评分评估说明的可靠性，从而在全部数据集上实现后处理性能的提高。

    May, 2022

  • 展现操作方式：解释在细调语言模型中的作用

    我们的研究证明了使用解释来进行微调以提高语言模型性能的显著效益。与提示相比，微调允许模型在训练阶段学习和更新参数。我们将微调应用于包含输出解释而非仅呈现答案的数据中的各种规模的语言模型。即使是具有 6000 万参数的较小语言模型也从该方法中获益良多。有趣的是，我们的结果表明详细解释对较小的模型比大模型更有益处，后者几乎从任何形式的解释中获得同样的优势，无论其长度是多少。此外，我们证明包含解释使模型能够解决无法在没有解释的情况下解决的任务。最后，我们认为尽管添加解释具有挑战性，但包含解释的样本不仅减少了训练所需的数据量，还促进了模型的更有效泛化。总之，我们的研究结果表明，使用解释进行微调显著增强了大型语言模型的性能。

    Feb, 2024

  • 大型语言模型是推理教师

    本研究提出了 Fine-tune-CoT 方法，该方法利用非常大的语言模型以生成推理样本并通过微调来教授较小的模型，从而在较小的模型中实现了大量的推理能力优化。

    Dec, 2022

  • 基于解释的微调使模型对虚假线索更加鲁棒

    本文提出了基于解释的微调作为一种缓解大型语言模型依赖错误相关的新颖通用方法，并在人工构建的训练集上微调模型，使其更加强壮。与标准微调不同，我们不仅仅针对输入进行预测，还微调模型以生成支持其答案的自由文本解释。与标准微调相比，我们的方法在四个分类任务中使模型对伪线索具有明显更强的稳健性。此外，我们的方法同样适用于由模型生成的解释，暗示了其在更多数据集上的适用性。

    May, 2023

  • 利用无标签数据进行上下文学习的解释选取

    本文提出了一种黑盒优化解释注入的提示方法，以提高文本推理任务的性能，在问题回答、数学推理和自然语言推理等四个文本推理任务中实现了有效的促进效果。

    Feb, 2023

  • 自我解释：教大型语言模型自行推理复杂问题

    聚焦大型语言模型，探索通过自我解释生成复杂问题的过程，发现自我解释可以使模型更自信、更准确、更少倾向性地回答问题，甚至在几个复杂问题回答数据集上优于人工生成的示例。

    Nov, 2023

  • 有效上下文学习的互补解释

    本文研究大型语言模型在上文环境学习中如何利用解释，通过研究计算跟踪和语言表达对影响解释的有效性，我们发现两种因素对于解释的有效性都起重要作用，同时提出了一种基于最大边际相关性的样本选择方法，以构建既相关又补充的样本集，成功提高了大型语言模型在多个真实世界任务上的上下文学习性能。

    Nov, 2022

  • 语言模型能否从上下文中的解释中学习？

    通过对 40 个具有挑战性的任务提出带有答案解释的问题及各种匹配控制解释，我们发现解释可以提高大型语言模型在具有挑战性的任务上的零次和少量样本的表现，并且仅大型模型有益处。

    Apr, 2022

  • 大型语言模型的可解释性概述

    对大型语言模型的解释技术进行分类和总结，并讨论了这些技术在训练范式、生成局部解释和全局解释方面的应用以及评估指标、调试模型和提高性能的挑战和机会。

    Sep, 2023