介绍 InstructDial,一个对话指令优化框架,用于提高 NLP 模型在对话相关任务中的零 Shot 和 few-shot 性能,其中包括 48 个具有多样性的对话任务,使用元任务确保模型遵循指令。
May, 2022
该研究论文证明使用 in-context learning 可让大型语言模型显式推断潜在任务,通过自然语言生成指令,InstructGPT 的表现达到了人类的 65.7%,建议指令感应可能是一种学习范例。
基于 Instruction-tuned 模型的可控文本生成,使用基于提示的方法超过了其他可控文本生成方法,在大多数数据集和任务上匹配人类表现,突出了对更多约束和具有挑战性的风格任务的研究的需求。
May, 2024
本文发现采用上下文学习作为指示学习方法(ICIL)可提高预训练和指示微调模型的零样本任务泛化能力,使用固定的单一提示来评估所有任务。
Feb, 2023
利用复杂对话流程的明确建模,从各种真实对话中提取高级策略并将其应用于新的对话情境,以产生多样化、深入和富有洞见的指示,以提高大型语言模型与人类期望的一致性。
Apr, 2024
通过训练语言模型自动设计任务而收集高质量的教学适应数据的可扩展方法,自动生成任务指导、输入和输出,用于过滤噪音,并通过自动和手工评估实验来证明数据集的质量。
Sep, 2023
本文提出了一种新的连续提示方法,称为上下文调整,用于对预训练语言模型进行微调以进行自然语言生成,可以根据输入文本生成上下文化的提示,然后使用连续的反向提示来改进过程自然语言生成的过程。
Jan, 2022
使用 Self-Instruct 框架,可以将预训练模型与指令对齐,提高模型的指令遵循能力,无需过多人为指令数据,可用于 finetuning,大大提高了模型的通用性。
Dec, 2022
通过改变任务指令在输入句子之后的位置,我们提出了一种增强大型语言模型的指令遵循功能的方法,该方法可以显著改善条件序列生成的零样本性能。
Aug, 2023
我们开发了一种新型的对话扩充模型,通过完整的对话上下文生成用户的回合,并通过语言模型的新提示设计和输出重新排序,所生成对话可直接用于训练下游对话系统,在常见的基准数据集 MultiWoZ 和 SGD 上,展示了我们的对话扩充模型生成高质量对话并使对话成功率较基准线提高多达 8%。
Oct, 2023