Aug, 2023

Shepherd: 语言模型生成的评论家

PDF
TL;DRShepherd 是一个专门针对评论回复和建议改进进行微调的语言模型，通过高质量的反馈数据集从社区反馈和人类注释中提供多样化的错误识别和建议修正，相比于 ChatGPT 等现有模型，Shepherd 具有等效或更优质的评论，通过 GPT-4 的评估，Shepherd 的胜率平均为 53-87%，在人类评估中，Shepherd 的表现明显优于其他模型，平均与 ChatGPT 持平。
large language modelsshepherdrefinementcritiquesevaluation
发现论文，激发创造
  • 长文本生成的模型评估

    使用潜在空间中的统计工具，比较语言模型生成的文本与真实数据的分布，评估生成文本的高级结构，发现基于 Transformer 的语言模型能够捕捉主题结构，但在维持结构连贯性和建模指代关系方面存在困难。

    Oct, 2022

  • CritiqueLLM: 扩展 LLM-as-Critic 以有效且可解释地评估大型语言模型生成

    自然语言处理社区开始让大规模语言模型（如 GPT-4）扮演批评家以评估生成文本质量，大部分仅在特定数据集上训练特定规模的批判生成模型，我们认为缺乏对于基于语言模型评估模型的关键因素（如可扩展性特性）的全面调查，因此目前是否有潜力在实际场景中取代 GPT-4 的评估仍然没有结论；在本文中，我们提出了一种名为 CritiqueLLM 的新型批判生成模型，采用基于对话的提示方法用于高质量的参考 / 无参考评估数据，实验结果表明，我们的模型在评估性能上可以与 GPT-4 相媲美，尤其在系统级相关性上，甚至在具有挑战性的无参考环境中，在 8 个任务中有 3 个胜过 GPT-4；我们进行详细分析以展示我们模型在生成批评质量方面的可扩展性特性，同时证明我们生成的批评可以作为可扩展反馈，直接提高 LLM 的生成质量。

    Nov, 2023

  • N-Critics: 大型语言模型的自我提升与评论家集成

    提出了一种用于改善大型语言模型的自我纠正机制，通过批评家与模型自己的反馈对模型输出进行精炼，以减轻毒性和事实幻觉等问题。通过人类行为的启发，探讨了大型语言模型是否可以模仿人类的自我纠正过程，即借助自评和寻求他人意见来完善对复杂主题的理解。该方法与特定模型无关，可应用于各个领域，通过解决公平性、偏见和鲁棒性问题，提高可信度。我们始终观察到大型语言模型在减少毒性和纠正事实错误方面的性能改进。

    Oct, 2023

  • 大型语言模型是翻译质量的最先进评估工具

    描述了基于 GPT 的翻译质量评估指标 GEMBA，可以用于有参照的和无参照的情况。研究了四个提示变体，并比较了两种方式下的性能表现，发现只能应用于 GPT 3.5 及以上的模型。在 WMT22 的 Leaderboard 中，GEMBA 在三种语言对中具有先进的性能表现。

    Feb, 2023

  • CriticBench: 评估大型语言模型作为评论家

    论文介绍了一种用于全面可靠评估大型语言模型 (Large Language Models) 的批评能力的新的基准，该基准包括九个不同的任务，评估了语言模型在不同质量粒度下的批评响应能力，并揭示了批评能力与任务、响应质量和模型规模之间的有趣关系。

    Feb, 2024

  • 开源语言模型的反馈能力评估：利用 GPT-4 作为评委帮助学生的能力

    通过使用 GPT-4 对多个开源语言模型的反馈进行评估，本研究探讨了大型语言模型在教育领域中生成反馈的质量，并发现一些模型在性能上可以与专有的语言模型竞争，从而为其在教学环境中的负责任使用提供机会。

    May, 2024

  • 构建可靠流畅的大型语言模型：在问答系统中引入反馈学习循环

    为了解决大型语言模型在引文、正确性和流畅度方面存在的问题，本研究通过构建数据集、引入自动化反馈机制和反馈学习循环，成功提高了 ChatGPT 的引文和流畅度指标，并保持高水平的正确性。

    Sep, 2023

  • 大型语言模型能否给研究论文提供有用反馈？一个大规模实证分析

    使用 GPT-4 模型创建了一个自动化平台，通过对科学论文的全文进行评论以评估 GPT-4 生成的反馈质量。 在两项大规模研究中，我们将 GPT-4 生成的反馈与人工同行评审的反馈进行了定量比较，并通过 308 名研究人员的用户研究了解了他们对 GPT-4 生成的反馈的感知。 总体而言，超过半数的用户（57.4%）认为 GPT-4 生成的反馈有所帮助，82.4% 的用户认为它比至少一些人工审稿人的反馈更有益。

    Oct, 2023

  • CRITIC：大型语言模型可通过工具交互式批评进行自我修正

    该论文介绍了一种称为 CRITIC 的框架，旨在通过外部反馈来提高大型语言模型的性能和自我完善能力，具体包括对问题回答、代码合成和削减有害内容等方面的基准测试，而这种框架的作用类似于人类交互工具的方式。

    May, 2023

  • 评估指标在 GPT-4 时代：可靠评估大型序列到序列任务上的语言模型

    通过自动和人工评估，我们对一系列开源和闭源生成式 LLMS 在文本摘要、文本简化和语法错误纠正等三个 NLP 基准上进行初步的混合评估，发现 ChatGPT 在大多数指标上始终优于其他流行模型，而使用经典的自动评估指标时，得分要低得多。我们还发现人工评估员评价黄金参考指标比最佳模型输出差得多，表明许多流行基准的质量较低。最后，我们发现 GPT-4 能够在特定任务的变异性较小的情况下，对模型输出进行排名，与人类判断趋于一致，但在语法错误纠正任务中的排名一致性较低。

    Oct, 2023