提出了一种新的零射击槽填充神经模型 LEONA，通过利用语言特征、命名实体识别提示、预训练语言模型的上下文嵌入，从而获得领域无关的上下文感知表示，通过三步骤 fine-tunes 产生独立于槽的标签，并使用可推广的上下文感知语句 - 槽相似特征将其上下文化以产生每个单词的针对特定槽的预测，总体而言，在 SNIPS、ATIS、MultiWOZ 和 SGD 数据集上，从未见过的领域平均表现优于 SOTA 模型 17.52％、22.15％、17.42％ 和 17.95％

Jan, 2021

该研究探讨了大型语言模型在具有噪声 ASR 转录的槽位填充中的潜在应用，通过上下文学习和任务特定的微调，提出了专门的提示设计和微调方法来提高大型语言模型在具有噪声 ASR 转录的槽位填充中的鲁棒性。此外，还提出了一种线性化知识注入方案，将动态外部知识整合到大型语言模型中。在 SLURP 上进行了实验，评估了各种大型语言模型的性能，包括 GPT-3.5-turbo、GPT-4、LLaMA-13B 和 Vicuna-13B（v1.1 和 v1.5），以及不同的 ASR 错误率。在有限数据设置中，使用所提出的微调方法和 LKI 方案，LLaMA-13B 相对于强 Flan-T5-base 基线系统实现了绝对 8.3％的 SLU-F1 改进。

Nov, 2023

本研究提出一种基于 Zero-Shot Adaptive Transfer 方法的领域自适应对话代理模型，通过利用槽位描述信息实现可重用概念在领域之间的迁移，并避免了显式概念对齐的训练复杂度，实验结果表明此模型在多达 10 个领域的数据集上性能显著优于之前的最优系统，特别在低数据情况下表现更出色。

Aug, 2018

评估大语言模型在教育中的功效，特别是在口语学习领域，引入新的多选题数据集评估模型在理解和应用口语知识方面的表现，研究不同提示技术对模型性能的影响，发现模型在音韵学、语音学和第二语言习得方面具有良好的概念理解，但在解决现实世界问题的推理方面存在限制，并初步探讨了对话交流的发现。

Aug, 2023

利用大型语言模型作为零射击学习器的模块化人工智能代理的鲁棒性和性能可以通过迭代式机器教学方法提升，该方法通过有限的人类反馈在时间上训练人工智能代理，从而解决零射击学习的质量限制，并利用初始部署的数据和零射击学习器的输出或注解来训练更小且任务特定的替代模型，从而降低经济成本和环境影响。在三个与对话式人工智能代理相关的任务上的结果表明，在任务的复杂性和零射击学习器的性能决定下，仅对数据集的 20-70% 进行监督就可以实现接近理想结果的性能。

Jan, 2024

本文探讨了在低资源环境下使用领域适应、数据增强、零样本分类以及参数高效的微调等四种方法来解决对话 NLU 提供商在扩展到数千个意图分类模型时遇到的存储空间限制问题，结果表明这些方法对于不同程度的低资金环境下效果有效，在使用 T-few 配方提出的参数高效昆虫微调语言模型的 Flan-T5 上获得了最佳性能，即使只有一个样本每意图。我们还展示了使用意图描述促进 LLM 的零样本方法。

May, 2023

利用零样本学习采用递进性思维提示，与传统的问答格式相比，GPT 模型在文本分类问题上具备零样本分类器的能力，有效地利用提示策略在各种文本分类场景中展现出较好的性能。

Dec, 2023

在计算社会科学分类任务中，评估了 ChatGPT 和 OpenAssistant 两种公共可访问的 LLM 的零次效果，并研究了各种提示策略的影响。发现在零次设置下，当前 LLMs 无法与较小的经过微调的基线变压器模型（如 BERT）的性能匹配。此外，发现不同的提示策略可以显着影响分类准确性，准确性和 F1 分数的差异超过 10％。

May, 2023

介绍了一种使用大型语言模型进行机器翻译的流水线，用于扩展语音助手系统的口语理解模型，提高了多语言场景和设备本地场景下的整体准确率。

Apr, 2024

在面对数据量缺乏的多领域任务型对话系统中，本文提出一种结合了槽位值示例及其描述信息的学习方法，从而得到可在不同领域中迁移的槽位语义表示，并在两个多领域数据集上实现了比最先进方法更好的效果表现。

Jun, 2019