该论文介绍了一种称为CRITIC的框架，旨在通过外部反馈来提高大型语言模型的性能和自我完善能力，具体包括对问题回答、代码合成和削减有害内容等方面的基准测试，而这种框架的作用类似于人类交互工具的方式。

May, 2023

使用 GPT-4 大型语言模型来辅助论文审核的研究发现其可以有效识别大部分错误，然而在挑选更好的论文时还存在一定误差。

Jun, 2023

通过对计算机科学-NLP领域的20个选定主题进行研究和评估，本文证明了GPT-4相对于GPT-3.5在产生简明调查文章方面的成功，并揭示了LLM在特定领域应用中存在的问题和短板。

Aug, 2023

这项研究探索了大语言模型的批判能力，并开发了一个评估框架来评估模型的能力，发现批判一般对大多数模型来说都很具有挑战性，而自我批判尤其困难。研究还介绍了一种名为自我检查的简单而有效的基准方法，以提高各种模型的任务表现。希望这项研究能为理解大语言模型的批判能力提供初步的探索，并在促进未来研究和更好地应用批判于不同任务方面发挥指导作用。

Oct, 2023

自然语言处理社区开始让大规模语言模型（如GPT-4）扮演批评家以评估生成文本质量，大部分仅在特定数据集上训练特定规模的批判生成模型，我们认为缺乏对于基于语言模型评估模型的关键因素（如可扩展性特性）的全面调查，因此目前是否有潜力在实际场景中取代GPT-4的评估仍然没有结论；在本文中，我们提出了一种名为CritiqueLLM的新型批判生成模型，采用基于对话的提示方法用于高质量的参考/无参考评估数据，实验结果表明，我们的模型在评估性能上可以与GPT-4相媲美，尤其在系统级相关性上，甚至在具有挑战性的无参考环境中，在8个任务中有3个胜过GPT-4；我们进行详细分析以展示我们模型在生成批评质量方面的可扩展性特性，同时证明我们生成的批评可以作为可扩展反馈，直接提高LLM的生成质量。

Nov, 2023

通过同行评审机制，我们提出了一种能够自动评估大型语言模型的新框架，用于解决评估成本高、泛化能力低以及评估中的偏见等问题。我们在文本摘要任务上进行了广泛实验，结果表明使用单一语言模型评估存在偏见，并证明了我们的同行评审机制的有效性。

Jan, 2024

论文介绍了一种用于全面可靠评估大型语言模型(Large Language Models)的批评能力的新的基准，该基准包括九个不同的任务，评估了语言模型在不同质量粒度下的批评响应能力，并揭示了批评能力与任务、响应质量和模型规模之间的有趣关系。

Feb, 2024

利用CriticBench评估和解析17个大型语言模型在生成、批评和纠正推理（即GQC推理）中的性能，发现GQC能力呈线性关系，批评训练显著增强性能，校正效果因任务而异，逻辑导向任务更容易纠正，模型大小增加可以减少GQC知识的不一致性，强模型在批评弱模型方面表现更好，而弱模型在自我批评方面却能出人意料地超过强模型，为大型语言模型的批评和自我改进研究提供了深入理解。

Feb, 2024

大型语言模型（LLMs）在各个领域中表现出卓越的能力，但在实际应用之前对其进行彻底评估是至关重要的，以确保其可靠性。本文系统地审视了LLM评估过程中导致不一致性和不可靠评估的主要挑战和限制，并根据我们的批判性评估提出了观点和建议，以确保LLM评估具有可重现性、可靠性和稳健性。

Jul, 2024

本研究解决了大型语言模型（LLMs）在正确性、非毒性和公平性方面的可靠性问题。通过引入FactChecker和LogicAsker两种测试框架，评估LLMs的事实知识和逻辑推理准确性，同时采用BiasAsker和XCulturalBench框架测量社会偏见和文化偏见。研究的最终发现表明，增强LLMs的准确性和公平性对于其在广泛应用中的安全性和有效性至关重要。

Aug, 2024