基于多样化指令的可控生成大型语言模型的基准测试

AAAIJan, 2024

基于多样化指令的可控生成大型语言模型的基准测试

Benchmarking Large Language Models on Controllable Generation under Diversified Instructions

Yihan Chen, Benfeng Xu, Quan Wang, Yi Liu, Zhendong Mao

TL;DR我们提出了一个新的基准测试 CoDI-Eval，系统和全面评估 LLMs 对带有各种约束的指令的响应，揭示了它们在按照特定约束执行指令方面的局限性和开源与闭源 LLMs 之间存在显著差距。

Abstract

While large language models (LLMs) have exhibited impressive instruction-following capabilities, it is still unclear whether and to what extent they can respond to explicit constraints that might be entailed in v

large language models instruction-following capabilities llm alignment codi-eval constraint expression

发现论文，激发创造

基于大型语言模型的可控指令摘要生成与评估能力基准测试

语言模型在标准的概括基准测试中已经取得了强大的性能，但在更复杂的概括任务设置上的表现却鲜少被研究。本研究基于指令可控的文本概括对语言模型进行评估，并使用多种评估协议和多个语言模型进行了自动评估。研究结果表明，指令可控的文本概括对于语言模型仍然是一个具有挑战性的任务，存在各种错误和性能差异。我们公开提供了我们的评估基准 IntruSum，以促进未来的相关研究。

Nov, 2023

CodecLM: 用定制的合成数据对齐语言模型

通过使用编码 - 解码原理，我们引入了 CodecLM，这是一个用于自适应生成与不同后续指令分布和大语言模型对齐的高质量合成数据的通用框架。在编码过程中，我们将种子指令转化为元数据，然后通过解码来创建定制的指令。我们还引入自我评分和对比过滤来定制数据样本，经过在四个开放领域指令遵循基准测试上的大量实验证明，CodecLM 相对于当前技术水平具有显著的效果。

Apr, 2024

大型语言模型是否能理解真实世界的复杂指令？

通过广泛的实验证明，我们提出了 CELLO—— 一个评估大型语言模型理解复杂指令能力的基准，包括八个复杂指令特征，并从现实场景中构建了一个全面的评估数据集。我们还建立了四个标准和相应的度量方法，以比较代表性的面向中文和面向英文模型在跟随复杂指令方面的表现。

Sep, 2023

大型语言模型的指令跟随评估

通过引入 Instruction-Following Eval (IFEval) 作为一种简单易复制的评估基准来解决大型语言模型中遵循指令能力的评估问题。该基准专注于一组 “可验证指令”，并构建了约 500 个提示，每个提示包含一个或多个可验证指令。

Nov, 2023

DolphCoder: 用多目标指令调整为特征的大型语言模型进行回声定位编码

通过引入一种具有自我评估功能的多样指令模型 (DolphCoder) 来增强预训练的 Code LLM 的代码生成性能，实现了卓越的 HumanEval 和 MBPP 基准性能，为未来的代码指令调优工作提供了新的见解。

Feb, 2024

优化和测试指令追踪：分析对指令化调整的语言模型的细粒度指令变种的影响

介绍了一种有效的数据增强技术，通过将复杂指令分解为简单的子组件、修改并重构它们为新的变体，以在训练和评估大型语言模型的指令追踪精度时保留原始指令的上下文和复杂性，并引入可变性。使用该方法开发了 DeMoRecon 数据集来精细调整和评估大型语言模型，在我们的指令追踪基准和常用基准上，发现使用 DeMoRecon 进行精细调整的大型语言模型性能显著提升。

Jun, 2024

指令调优时代的可控文本生成

基于 Instruction-tuned 模型的可控文本生成，使用基于提示的方法超过了其他可控文本生成方法，在大多数数据集和任务上匹配人类表现，突出了对更多约束和具有挑战性的风格任务的研究的需求。

May, 2024

你真的跟随我吗？评估大型语言模型的稳健性的对抗性指令

通过实验，我们揭示了先进的指令跟踪模型在抵御对抗性指令攻击方面的显著局限性，并且发现了指令调优模型容易过拟合于输入的指令短语而无法真正理解应该遵循哪些指令的问题。这突出了训练模型理解提示而非仅仅遵循指令短语并完成文本的挑战。

Aug, 2023

ConCodeEval：评估领域特定语言中大型语言模型对代码约束的性能

使用硬约束和软约束作为代码在五种不同表示形式下来评估大型语言模型的可控性，研究发现无论是在预训练数据中的占比如何，大型语言模型都难以理解所有表示形式中的约束，尤其对 XML 和资源丰富的 Python 这两种表示形式的约束理解较差。

Jul, 2024

CoIN：一个用于多模型大型语言模型的连续指令调整基准测试

通过连续指令调整（CoIN）对多模态大型语言模型（MLLMs）进行评估，发现当前强大的 MLLMs 仍然存在灾难性遗忘，并提出了 MoELoRA 方法有效地保留了以前的指令对齐。

Mar, 2024