本文提出了一种通过多语言代码切换来增强 Transformer 的语言中立性的新方法，从而解决零样本学习中在未知目标语言下预测用户意图和检测相应选项的问题，并在多个语言上对 MultiATIS ++ 数据集进行实验，相较于现有技术，平均精度提高了 + 4.2％，F1 提高了 + 1.8％。通过收集英语和海地克里奥尔语的新人工标注推文数据集，本文将该方法应用于危机信息学。

Mar, 2021

通过使用 Instruct-LLMs 模型，我们将意图分类和槽位填充视为语言生成任务，并且相比于现有方法，我们的方法在槽位填充方面表现出色，与 GPT3.5 (175B) 的上下文学习相比，在槽位填充任务中提高了 11.1-32.2 个百分点。而且，我们的深入剖析研究表明参数高效的微调只需要不到 6% 的训练数据就可以达到与传统的全权重微调相当的性能。

Mar, 2024

利用人工智能模型替代人类作为教师，通过研究生成学生成绩的修订，构建了 Curriculum Instruction TunING (CITING) 方法，提高了大型语言模型的表达、深度和全面性能，在 GPT-4 评估上取得了 79.4% 的胜率。

Oct, 2023

这篇文章提出了一种新的方法，通过互动翻译任务将英语的语言生成和指令遵循能力转移到其他语言，从而构建面向非英语语言的语言模型 BayLing。实验结果表明 BayLing 在词语翻译和多轮指令跟进等任务上都表现出了优异的性能。

Jun, 2023

本文讨论了在任务导向的对话系统中如何识别用户意图和相应的插槽，并通过多种跨语言转移方法进行数据集训练比较

Oct, 2018

介绍了一种使用大型语言模型进行机器翻译的流水线，用于扩展语音助手系统的口语理解模型，提高了多语言场景和设备本地场景下的整体准确率。

Apr, 2024

本研究通过利用大型语言模型（LLMs）进行多意图口语语言理解（SLU）的研究，提出一种独特的方法，充分利用 LLMs 的生成能力，在 SLU 环境中重构了实体槽位，引入了子意图指令（SII）的概念，增强了对复杂多意图通信的解析和解释，从而形成了名为 LM-MixATIS 和 LM-MixSNIPS 的结果数据集。我们的研究表明，LLMs 可以匹配并潜在地超越当前最先进的多意图 SLU 模型的能力。此外，我们还介绍了两个开创性的度量标准，实体槽位准确度（ESA）和综合语义准确度（CSA），以深入分析 LLMs 在这一复杂领域的熟练程度。

Mar, 2024

本文提出了一种新的端到端模型，可以跨语言传递自然语言理解（NLU）系统，同时对目标词槽进行对齐和预测。我们提出了 MultiATIS ++ ，一个跨越四种语言系的九种语言的多语言 NLU 语料库，并使用 MultiATIS++ 对我们的方法进行评估。结果表明，我们的方法在大多数语言上都优于使用 fast-align 的简单标签投影方法，并在只有一半的训练时间的情况下达到了更复杂、最先进的投影方法的竞争性性能。我们将 MultiATIS++ 语料库发布给社区以继续未来的跨语言 NLU 研究。

Apr, 2020

通过将同时槽填充和翻译成单个输出语言（在本例中为英语），可以减少下游系统组件的一部分的单语性，从而降低开发和维护成本。在使用 MultiATIS ++ 数据集对 7 种语言进行微调的多语言 BART 模型（Liu 等人，2020）的结果表明，当不执行翻译时，mBART 的性能与测试的语言的当前技术水平的系统（Xu 等人的跨语言 BERT（2020））相当，但平均意图分类准确率更高（96.07％对 95.50％），但平均插槽 F1 较差（89.87％对 90.81％）。当执行同时翻译时，平均意图分类准确性仅降低 1.7％，而平均插槽 F1 仅降低 1.2％的相对值。

Oct, 2020

本研究提出了 Instruct-Align 框架，通过对称对齐方法的跨语言指导调整，使大语言模型 (LLMs) 能够有效地学习新语言，同时通过经验重现防止灾难性遗忘，并能将低资源语言纳入到现有的 LLMs 中。

May, 2023