May, 2024

利用自反论辩教授 LLM 学生表达自信

PDF
TL;DR使用先进的 SaySelf 训练框架，通过自动总结知识不确定性以及分析不一致性，教导大语言模型表达更准确的细粒度置信度评估，并通过强化学习和奖励机制校准置信度估计，降低校准错误并保持任务性能。
large language modelsconfidence estimationself-reflective rationalesinconsistency analysisconfidence calibration
发现论文，激发创造
  • 大型语言模型可自我提升

    本文提出了一种方法，使用未标注的数据进行自我训练和推理提高，通过 fine-tuning 在多个任务上达到了 SOTA 水平。

    Oct, 2022

  • 自我解释：教大型语言模型自行推理复杂问题

    聚焦大型语言模型，探索通过自我解释生成复杂问题的过程，发现自我解释可以使模型更自信、更准确、更少倾向性地回答问题，甚至在几个复杂问题回答数据集上优于人工生成的示例。

    Nov, 2023

  • 大型语言模型是具有自我验证功能的推理器

    提出了一种名为自验证的方法，该方法使用推理链的结论作为条件建立新的样本，并要求大型语言模型重新预测原始条件，从而降低了多任务精度误差。经过大量实验验证，此方法可以使大型语言模型避免出现不正确的推理链干扰，并实现具有竞争力的推理性能，可用于算术和逻辑推理数据集的有限次学习。

    Dec, 2022

  • 通过自发学习提升语言模型推理能力

    通过建立自我激励学习框架，根据正确性的内在排序，依据奖励模型训练并通过强化学习优化推理能力，本研究的实验证据表明其方法显著提升了模型的推理能力，在部分数据集中甚至超过了 text-davinci-002 模型。

    Apr, 2024

  • 自我改进：带自反馈的迭代改进

    通过引入 SELF-REFINE 框架，可以通过迭代反馈和改进从 LLMs 获得更好的输出，同时不需要监督训练数据或强化学习，且在 7 种任务中展现出优越性能。

    Mar, 2023

  • 大型语言模型的置信度估计：基于多个答案反思之前三思

    针对大型语言模型（LLM），特别是黑盒模型的应用，评估输出可信度的置信度估计是关键。现有的 LLM 置信度估计通常因 LLM 对生成的错误答案过于自信而缺乏校准。现有方法解决过度自信问题的能力受到一个重要限制，即它们仅考虑 LLM 生成的一个答案的置信度。为了解决这个限制，我们提出了一种新的范式，全面评估多个候选答案的可信度以减轻对错误答案的过度自信。基于这个范式，我们引入了一个两步框架，首先指导 LLM 反思并提供每个答案的理由，然后汇集这些理由进行全面的置信度估计。这个框架可以与现有的置信度估计方法结合，实现更好的校准。对三个任务的六个数据集的实验证明了所提框架的合理性和有效性。

    Mar, 2024

  • 大规模语言模型中的自我认知：一项探索性研究

    研究通过构建自我认知指令提示池，评估大型语言模型的自我认知，并提出四个原则来量化模型的自我认知水平。结果显示在 Chatbot Arena 的 48 个模型中，有 4 个模型展示出可检测到的自我认知。模型规模、训练数据质量与自我认知水平之间存在正向相关关系。此外，研究还探索了自我认知状态下大型语言模型的效用和可信度，揭示了自我认知状态增强创造性写作和夸张等特定任务的能力。这项工作有望激发进一步研究大型语言模型的自我认知。

    Jul, 2024

  • 通过迭代自我反思，LLM 可以学会自我约束

    为了安全部署，大型语言模型（LLMs）必须能够根据知识水平和特定主题的不确定性动态调整其行为。本文介绍了一种自我控制的方法来教导模型在自信的情况下才产生回答，并使用 ReSearch 算法不断改进模型，从而实现知识的有选择性表达。

    May, 2024

  • 自主探索避免陷阱：以细粒度奖励提升语言模型的推理能力

    通过自主探索（Self-Explore）的方法，研究自动增强规划模型（LLMs）的推理能力，并与监督式微调相比，在 GSM8K 和 MATH 测试集上分别平均取得 11.57％和 2.89％的改进。

    Apr, 2024

  • 强化学习思考的语言模型自我提升

    本文介绍了一种新的无监督方法 SIRLC，通过强化学习来提高 LLMs 的性能，无需依赖外部标签。该方法把 LLMs 分配为学生和教师两个角色，通过评分策略来更新模型参数，实验结果表明，SIRLC 能够有效提高 LLM 的表现，适用于多个自然语言处理任务，并且无需外部监督。

    May, 2023