提出了一种新的零射击槽填充神经模型 LEONA，通过利用语言特征、命名实体识别提示、预训练语言模型的上下文嵌入，从而获得领域无关的上下文感知表示，通过三步骤 fine-tunes 产生独立于槽的标签，并使用可推广的上下文感知语句 - 槽相似特征将其上下文化以产生每个单词的针对特定槽的预测，总体而言，在 SNIPS、ATIS、MultiWOZ 和 SGD 数据集上，从未见过的领域平均表现优于 SOTA 模型 17.52％、22.15％、17.42％ 和 17.95％

Jan, 2021

在面对数据量缺乏的多领域任务型对话系统中，本文提出一种结合了槽位值示例及其描述信息的学习方法，从而得到可在不同领域中迁移的槽位语义表示，并在两个多领域数据集上实现了比最先进方法更好的效果表现。

Jun, 2019

通过合成问题生成技术缩小了零样本训练模型与基于术语技术模型之间的差距，提高了针对特定领域的文档的检索效果。

Apr, 2020

本文提出一种简单有效的重新排序方法，利用预训练语言模型计算与检索的段落之间的关联度，从而提高开放式问题回答中的检索效果，并在多个数据集上进行了评估和实验，使得无监督和有监督的模型的检索准确率分别提高了 6-18% 和 12%。

Apr, 2022

本文探讨了如何在缺乏足够资源的情况下，通过基于检索的方法完成少量样本学习并用于意图分类和填槽任务。我们提出了一种基于跨度级别检索的方法，通过一种新颖的批次 - softmax 目标函数，在相似的具有相同标签的跨度之间学习上下文化表示。我们的方法在 CLINC 和 SNIPS 基准测试中超过了先前的系统。

Apr, 2021

该研究提出了一种基于知识和语音的生成式和填槽框架 KA2G，用于任务导向性对话系统，它可以通过将其作为文本生成任务打框架来实现语音交互式的稳健且高效的填槽。

Jul, 2023

我们提出了一种基于大型语言模型（LLM）的插槽填充系统，用于在跨多种工业级应用领域中的会话助手中执行对话状态跟踪。

Jun, 2024

本论文将关系抽取问题转化为回答简单的阅读理解问题，可以利用深度学习中的神经网络技术，使用关系特定的众包问题与遥感监督结合的大规模训练集进行建模，并可以在测试时抽取新的关系类型，实现了零样本学习。通过对维基百科的插槽填充任务的实验表明，该方法可以高精度地推广到已知关系类型的新问题，并保持零样本学习到尚未见过的关系类型，这为未来的工作设定了标杆。

Jun, 2017

本文提出一种新的框架 ZETT，基于预训练语言模型，并采用端到端生成式 Transformer 技术，将三元组抽取任务简化为模板填充任务从而具备了零 - shot 学习能力，并能利用语言模型中的隐含知识，实验表明该方法可以在不进行数据增强和流水线系统的情况下超过之前的最优模型，对实体的检测也更为稳健。

Dec, 2022

在任务导向的对话场景中，跨领域零样本槽填充在利用源领域知识学习高泛化能力模型的同时，在未标注数据的未知目标领域中起到至关重要的作用。然而，现有最先进的零样本槽填充方法在目标领域中的泛化能力有限，只对已见槽显示有效的知识转移，在未见槽上表现不佳。为了缓解这一问题，我们提出了一种新颖的分层对比学习框架（HiCL）用于零样本槽填充。具体而言，我们提出了一种基于高斯分布嵌入的粗细粒度对比学习方法，以学习语句标记之间的广义深层语义关系，通过优化之间和之内的标记分布距离。这促使 HiCL 在训练阶段泛化到未见的槽类型上。此外，我们提出了一种新的迭代标签集语义推断方法，可以不偏不倚地分别评估在先前的零样本槽填充评估方法中与它们的对应槽类型相纠缠的未见槽类型的性能。对四个数据集的广泛经验性实验证明，所提出的方法的性能与当前最先进的零样本槽填充方法相当甚至更好。

Oct, 2023