instruction-following ability | BriefGPT

关键词instruction-following ability

搜索结果 - 5

RES-Q: 对代码编辑大规模语言模型系统的评估
通过提出的基于自然语言指令的基准测试 RES-Q，对大型语言模型的指令遵循能力和代码仓库编辑系统进行了评估，发现模型能力存在差异，并提出了评估工具的需求。
PDF8 days ago
评估大型语言模型在故事结局生成中的指令遵循能力
通过自动评估流程，本文提出的评估度量与人工评估结果吻合，验证了最近的开源大型语言模型在按照指令生成结尾方面的性能接近于 GPT-3.5。
PDF8 days ago
INSTRUCTIR: 信息检索模型执行指令遵循的基准
提出一种新的基准测试模型 INSTRUCTIR，专门设计用于评估信息检索任务中的指令遵循能力。通过实验分析，观察到调整了任务风格指令的检索器在性能上可能不如未调整的对照组，凸显了在构建现有的指令感知检索数据集上训练检索器时存在的过度拟合问题
PDF4 months ago
FollowEval: 评估大型语言模型指令遵循能力的多维度基准
这篇论文介绍了 FollowEval 基准测试，通过人工专家设计的测试实例来评估大型语言模型在指令跟随能力方面的表现，测试涵盖了字符串处理、常识推理、逻辑推理、空间推理和响应约束等五个关键维度，并发现这些模型在指令跟随能力方面明显落后于人类
PDF8 months ago
自主演化多样化数据采样用于高效指导调优
通过引入自我演变机制 DiverseEvol，我们提出了一种标签高效的指令调整方法，该方法允许模型自己主动采样同样或更有效的子集来改善自身性能，而无需人类干预或更先进的 LLMs。在选择子集时，我们的数据采样技术的关键在于增强所选子集的多样
PDF8 months ago