Oct, 2023

FollowBench：用于大型语言模型的多级细粒度约束追踪基准

PDF
TL;DR本文提出了 FollowBench，这是一个用于大型语言模型（LLMs）的多级细粒度约束遵循基准，通过评估 LLMs 在遵循不同类型的细粒度约束方面的表现，揭示了 LLMs 在遵循指令方面的不足之处，并指出了未来研究的潜在方向。
large language modelsinstruction-following capabilityfollowbenchfine-grained constraintsllms
发现论文，激发创造
  • FollowEval: 评估大型语言模型指令遵循能力的多维度基准

    这篇论文介绍了 FollowEval 基准测试，通过人工专家设计的测试实例来评估大型语言模型在指令跟随能力方面的表现，测试涵盖了字符串处理、常识推理、逻辑推理、空间推理和响应约束等五个关键维度，并发现这些模型在指令跟随能力方面明显落后于人类，指出了这些模型在这方面还有很大的改进空间。

    Nov, 2023

  • 多约束复杂指令跟踪的基准测试

    LLMs' ability to follow complex instructions composed of multiple constraints is evaluated using ComplexBench, a new benchmark that exposes deficiencies in existing models.

    Jul, 2024

  • 超越指令跟随：评估大型语言模型的规则跟随能力

    本文通过澄清规则遵循概念，并创建全方位评估规则遵循能力的综合基准 RuleBench，对多样化的大型语言模型进行了实验。结果表明，目前大型语言模型在规则遵循方面仍存在限制，并提供了对大型语言模型在成为更好的规则遵循智能代理方面的改进见解。

    Jul, 2024

  • CIF-Bench：一个用于评估大型语言模型通用性的中文指令遵循基准

    LLMs 在处理中文任务方面存在限制，该研究引入了中文指令跟踪基准（CIF-Bench），评估 LLMs 对中文语言的零射击泛化能力，并揭示出评估偏差和性能差距问题。

    Feb, 2024

  • 从复杂到简单：增强大型语言模型的多约束复合指令跟随能力

    使用包含多个约束条件的指令来训练大型语言模型，能提高其理解复杂指令，特别是对于低复杂性水平的指令，甚至可以推广到超出领域约束的组合，同时提出了获取和利用有效训练数据的方法，并通过广泛实验验证了方法在总体性能、训练效率和泛化能力方面的有效性。

    Apr, 2024

  • 评价大型语言模型在指令遵循方面的表现

    这篇研究通过引入一个具有挑战性的元评估基准 LMMBar，调查了大型语言模型 (LLMs) 在评估指导遵循生成文本方面的效力，发现不同评估器对 LMMBar 的性能表现不同，最高分的评估器仍有改进的空间，并提出了一套新颖的提示策略来缩小 LLM 和人类评估器之间的差距。通过 LLMBar 希望提供对 LLM 评估器的更多洞察，并促进未来开发更好的指导遵循模型的研究。

    Oct, 2023

  • 大型语言模型的指令跟随评估

    通过引入 Instruction-Following Eval (IFEval) 作为一种简单易复制的评估基准来解决大型语言模型中遵循指令能力的评估问题。该基准专注于一组 “可验证指令”，并构建了约 500 个提示，每个提示包含一个或多个可验证指令。

    Nov, 2023

  • RefuteBench：评估大型语言模型的反驳指令跟随

    该研究论文介绍了大型语言模型在接受用户反馈方面的问题，并提出了一个包括问答、机器翻译和电子邮件写作等任务的综合评估基准 RefuteBench。研究发现，大型语言模型倾向于自身内部知识，并且在对话过程中逐渐遗忘用户的反馈，而回归到自己的回复，通过召回和重复提示的方式可以提高模型响应用户反馈的能力。

    Feb, 2024

  • CogBench：一个大型语言模型进入心理学实验室

    大型语言模型在人工智能领域取得了显著进展，然而它们的综合评估仍具挑战性。本研究引入了 CogBench 评估工具，包含七项认知心理学实验中衍生出的十项行为度量指标，并运用这一工具对 35 个大型语言模型进行了分析。研究结果突出了模型规模和人类反馈的强化学习在性能提升和与人类行为的一致性方面的关键作用。此外，本研究还探讨了提示工程技术的影响，发现链式思路提示能够改善概率推理，而退一步思考提示则促进了基于模型的行为。

    Feb, 2024

  • MIA-Bench: 多模态 LLMs 的更好指令遵循评估

    我们引入了 MIA-Bench，一个新的基准测试，旨在评估多模态大型语言模型在其严格遵循复杂指令方面的能力。通过评估各种最先进的多模态大型语言模型，我们发现性能存在显著差异，突出了指令准确性方面的改进空间。此外，我们创建了额外的训练数据，并探索监督微调来提高模型在严格遵循指令的能力，而不牺牲其他任务的性能。我们希望这个基准测试不仅可用于测量多模态大型语言模型对指令的遵循程度，还能指导未来的多模态大型语言模型训练方法的发展。

    Jul, 2024