这篇研究通过引入一个具有挑战性的元评估基准 LMMBar，调查了大型语言模型 (LLMs) 在评估指导遵循生成文本方面的效力，发现不同评估器对 LMMBar 的性能表现不同，最高分的评估器仍有改进的空间，并提出了一套新颖的提示策略来缩小 LLM 和人类评估器之间的差距。通过 LLMBar 希望提供对 LLM 评估器的更多洞察，并促进未来开发更好的指导遵循模型的研究。

Oct, 2023

通过引入 Instruction-Following Eval (IFEval) 作为一种简单易复制的评估基准来解决大型语言模型中遵循指令能力的评估问题。该基准专注于一组 “可验证指令”，并构建了约 500 个提示，每个提示包含一个或多个可验证指令。

Nov, 2023

本文提出了 FollowBench，这是一个用于大型语言模型（LLMs）的多级细粒度约束遵循基准，通过评估 LLMs 在遵循不同类型的细粒度约束方面的表现，揭示了 LLMs 在遵循指令方面的不足之处，并指出了未来研究的潜在方向。

Oct, 2023

本文通过澄清规则遵循概念，并创建全方位评估规则遵循能力的综合基准 RuleBench，对多样化的大型语言模型进行了实验。结果表明，目前大型语言模型在规则遵循方面仍存在限制，并提供了对大型语言模型在成为更好的规则遵循智能代理方面的改进见解。

Jul, 2024

通过对大型语言模型的指令遵循能力进行度量的多种度量方法的元评估，分析评估方法与人工判断之间的一致性，并提出基于 LLM 的无参考评估方法，改进了传统基准，并达到了要求高质量摘要的昂贵基于参考文献的指标的效果。

Oct, 2023

通过自动评估流程，本文提出的评估度量与人工评估结果吻合，验证了最近的开源大型语言模型在按照指令生成结尾方面的性能接近于 GPT-3.5。

Jun, 2024

LLMs 在处理中文任务方面存在限制，该研究引入了中文指令跟踪基准（CIF-Bench），评估 LLMs 对中文语言的零射击泛化能力，并揭示出评估偏差和性能差距问题。

Feb, 2024

LLMs' ability to follow complex instructions composed of multiple constraints is evaluated using ComplexBench, a new benchmark that exposes deficiencies in existing models.

Jul, 2024

通过广泛的实验证明，我们提出了 CELLO—— 一个评估大型语言模型理解复杂指令能力的基准，包括八个复杂指令特征，并从现实场景中构建了一个全面的评估数据集。我们还建立了四个标准和相应的度量方法，以比较代表性的面向中文和面向英文模型在跟随复杂指令方面的表现。

Sep, 2023

我们引入了 MIA-Bench，一个新的基准测试，旨在评估多模态大型语言模型在其严格遵循复杂指令方面的能力。通过评估各种最先进的多模态大型语言模型，我们发现性能存在显著差异，突出了指令准确性方面的改进空间。此外，我们创建了额外的训练数据，并探索监督微调来提高模型在严格遵循指令的能力，而不牺牲其他任务的性能。我们希望这个基准测试不仅可用于测量多模态大型语言模型对指令的遵循程度，还能指导未来的多模态大型语言模型训练方法的发展。

Jul, 2024