ACLJan, 2024

KAUCUS: 知识增强的用户模拟器用于训练语言模型助手

TL;DR通过引入 Kaucus,一种知识增强的用户模拟器框架,我们使用基于 GPT-J 的检索增强模拟器和摘要控制模拟器生成多样化的模拟器-助手交互数据,进而发现这些交互数据作为有用的训练数据,可以创建更好的下游助手。同时,我们发现通过检索增强或摘要控制的方式融入知识有助于创建更好的助手。