介绍了一个轻量级的模型 Span-ConveRT，用于对话槽填充，任务被视为基于轮的跨度提取。该模型通过与大型预训练对话模型（如 ConveRT）中编码的对话知识的简单集成，允许在少样本学习场景中取得一致的收益。此外，还发布了由真实餐厅预订对话编制的具有挑战性的新数据集 RESTAURANTS-8K，以激励更多的跨度提取对于槽填充任务的研究。

May, 2020

本文提出了一种新的信息提取框架，结合主动学习方法将非预定义领域槽发现纳入对话管理过程中，实现对话机器人任务中的自动领域学习，充分发挥数据和人类经验的作用。

May, 2023

对话系统中的轮寻标记是其重要组成部分之一，本研究提出了一种轻量级方法，可以在与基于预训练语言模型相当或更好的表现的同时，可训练参数量减少了近 10 倍，使其尤其适用于现实世界中的工业场景。

Jan, 2024

本研究提出一种基于 Zero-Shot Adaptive Transfer 方法的领域自适应对话代理模型，通过利用槽位描述信息实现可重用概念在领域之间的迁移，并避免了显式概念对齐的训练复杂度，实验结果表明此模型在多达 10 个领域的数据集上性能显著优于之前的最优系统，特别在低数据情况下表现更出色。

Aug, 2018

本文研究了利用少量标注语言解释的迁移学习方法在无领域语言理解任务中的应用，并将其成功应用于代词消解和基于 commonsense 的验证等任务中。

Dec, 2021

在少样本条件下进行实验设计，ExPT 模型是一个用于少样本实验设计的基础模型，采用了合成预训练和上下文学习的新型组合，通过以目标任务的少量标记数据点为条件生成候选最优结果，从而适应任何设计任务并展现出优越的普适性和性能。

Oct, 2023

本文提出 Efficient Video Learning (EVL) 框架，使用轻量级 Transformer 解码器和学习查询标记以从 CLIP 图像编码器中动态收集帧级空间特征，进一步采用每个解码器层中的局部时间模块来发现相邻帧及其注意力映射中的时间线索。尽管使用了以前的预训练图像模型，本研究表明 EVL 模型在各种视频识别数据集上都学习了高质量的视频表示方法。

Aug, 2022

提出了一种名为 ConveRT 的预训练框架用于对话任务，其采用一种检索式的响应选择任务来预训练轻量级双编码器，能够实现在显著提高性能的同时降低模型大小，进而应用于广泛的对话任务和意图分类任务中。

Nov, 2019

我们提出了一种基于大型语言模型（LLM）的插槽填充系统，用于在跨多种工业级应用领域中的会话助手中执行对话状态跟踪。

Jun, 2024

该研究提出了一种生成式框架，用于多个序列标记任务和句子级分类。与以往的判别式方法不同，该模型通过共享自然语言输出空间，自然地融合标签语义，并在任务之间共享知识。该框架具有通用性，可在 few-shot、低资源和高资源任务上表现良好，并在命名实体识别、槽位标记和意图分类等基准测试中展示了这些优势。

Sep, 2020