CRITIC：大型语言模型可通过工具交互式批评进行自我修正

May, 2023

CRITIC：大型语言模型可通过工具交互式批评进行自我修正

CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing

Zhibin Gou, Zhihong Shao, Yeyun Gong, Yelong Shen, Yujiu Yang...

TL;DR该论文介绍了一种称为 CRITIC 的框架，旨在通过外部反馈来提高大型语言模型的性能和自我完善能力，具体包括对问题回答、代码合成和削减有害内容等方面的基准测试，而这种框架的作用类似于人类交互工具的方式。

Abstract

Recent developments in large language models (LLMs) have been impressive. However, these models sometimes show inconsistencies and problematic behavior, such as hallucinating facts, generating flawed code, or creating offensive and toxic content. Unlike these models, humans typically u

large language models critic external feedback toxicity reduction self-improvement

发现论文，激发创造

N-Critics: 大型语言模型的自我提升与评论家集成

提出了一种用于改善大型语言模型的自我纠正机制，通过批评家与模型自己的反馈对模型输出进行精炼，以减轻毒性和事实幻觉等问题。通过人类行为的启发，探讨了大型语言模型是否可以模仿人类的自我纠正过程，即借助自评和寻求他人意见来完善对复杂主题的理解。该方法与特定模型无关，可应用于各个领域，通过解决公平性、偏见和鲁棒性问题，提高可信度。我们始终观察到大型语言模型在减少毒性和纠正事实错误方面的性能改进。

Oct, 2023

大型语言模型的批判能力

这项研究探索了大语言模型的批判能力，并开发了一个评估框架来评估模型的能力，发现批判一般对大多数模型来说都很具有挑战性，而自我批判尤其困难。研究还介绍了一种名为自我检查的简单而有效的基准方法，以提高各种模型的任务表现。希望这项研究能为理解大语言模型的批判能力提供初步的探索，并在促进未来研究和更好地应用批判于不同任务方面发挥指导作用。

Oct, 2023

LLM 批评家助力捕捉 LLM 漏洞

人类反馈强化学习受到人类正确评估模型输出能力的限制。为了提高人类评估能力并克服这一限制，本研究训练了 “评论家” 模型，帮助人类更准确地评估模型生成的代码。这些评论家是通过强化学习从人类反馈训练的语言模型，用于指出真实世界助手任务中代码中的问题。在含有自然发生的语言模型错误的代码中，63% 的情况下优先选择模型生成的评论，而人工评估发现模型比人类承包商在代码审核中能找到更多的错误。我们进一步验证了我们微调的语言模型评论家能够成功地在被评为 “无瑕疵” 的 ChatGPT 训练数据中识别出数百个错误，尽管绝大多数任务是非代码任务，因此对评论家模型来说是非分布的。评论家也可能存在其自身的局限性，包括产生错误的问题，可能会误导人类错误地做出本来可以避免的错误，但是人机评论家与承包商团队能够发现与仅使用语言模型评论相似数量的错误，并且比仅使用语言模型时产生更少的错误。

Jun, 2024

自我批评模型用于辅助人类评估员

本文介绍了利用大型语言模型进行自然语言批判的方法，帮助人们更有效地检测摘要中的问题，并着重研究了批判能力的缩放特性和与生成能力和辨别能力的比较，为机器学习系统的监督提供了 AI 辅助人类反馈的概念证明。

Jun, 2022

自动修正大规模语言模型：多样化自我纠正策略概述

大语言模型自我修正的技术，包括训练和生成阶段的自动反馈，被广泛应用于解决大语言模型在自然语言处理任务中的错误和缺陷问题。

Aug, 2023

大型语言模型通过自我批判自我提升的真的有效吗？

几乎不存在自我评估的大型语言模型能够成功地在迭代模式下验证或自我批评其候选解决方案的推理问题中。该研究评估了一种利用大型语言模型进行计划生成和验证的计划系统，发现自我批评似乎削弱了计划生成的性能，并且系统的可靠性受到 LLM 验证器产生的显著错误结果的影响，二进制或详细反馈对计划生成几乎没有影响。总体而言，这些结果对于 LLMs 在计划任务的自我批评迭代框架中的有效性产生了质疑。

Oct, 2023

LLMCRIT: 教授大型语言模型使用准则

通过使用全面的准则为任务提供自然语言反馈，我们提出了一个允许大型语言模型使用准则的通用框架，然后在真实场景中的三个任务中评估了我们的反馈生成框架，揭示了整合准则和示范的细致效果，并提供了有关如何教授大型语言模型更有效使用准则的宝贵见解。

Mar, 2024

大型语言模型尚未能够自校正推理

本文探讨了自我纠错在大型语言模型中的作用和效果，发现大型语言模型在没有外部反馈的情况下难以自我纠正其回应，在某些情况下，性能甚至可能在自我纠正后下降。基于这些发现，提出了未来研究和实际应用的建议。

Oct, 2023

构建可靠流畅的大型语言模型：在问答系统中引入反馈学习循环

为了解决大型语言模型在引文、正确性和流畅度方面存在的问题，本研究通过构建数据集、引入自动化反馈机制和反馈学习循环，成功提高了 ChatGPT 的引文和流畅度指标，并保持高水平的正确性。

Sep, 2023

CriticBench: 评估大型语言模型作为评论家

论文介绍了一种用于全面可靠评估大型语言模型 (Large Language Models) 的批评能力的新的基准，该基准包括九个不同的任务，评估了语言模型在不同质量粒度下的批评响应能力，并揭示了批评能力与任务、响应质量和模型规模之间的有趣关系。

Feb, 2024