本文提出了一种简单有效的 “划分、攻克和合并” 解决方案，明确解开已知数据的语义，并利用专家的混合机制来提高零 - shot DST 性能和鲁棒性。 在 T5-Adapter 上对 MultiWOZ2.1 进行的大量实验表明，该架构显着且持续地提高了零 - shot 性能，在没有外部知识的情况下，只需 10M 可训练参数，实现了 SOTA。

Jun, 2023

Prompter 提出了一种使用目标领域槽的描述生成动态前缀的方法，从而使得可以在零样本情况下使用前缀调整。该方法在 MultiWOZ 和 SGD 基准测试中均优于以前的方法。

Jun, 2023

通过分解原始提示，基于混合提示专家（MoPE）技术实现了适应性捕获数据集级别和实例级别特征，并借助多模态配对先验在每个实例上选择最有效的提示语，从而提高了多模态融合的表达能力和可扩展性。在专家路由方面引入了正则化项，导致不同专家专注于不同概念，实现了可解释的软提示。通过对三个多模态数据集进行广泛实验，证明了我们的方法在性能上达到了最先进的结果，甚至超过了微调，并且仅需占用可训练参数的 0.8%。

Mar, 2024

我们关注多领域神经机器翻译，旨在开发能够处理训练期间见过的各种领域数据并对未见过的领域具有鲁棒性的高效模型。我们假设稀疏专家混合（SMoE）模型非常适合这个任务，因为它们能够实现高效的模型扩展，有助于适应各种多领域数据，并允许领域间参数的灵活共享，从而可能实现类似领域之间的知识传递，并限制负面传递。我们进行了一系列实验证实 SMoE 在多领域场景中的效用，并发现在实践中，对 Transformer 进行简单的宽度扩展是一种更简洁且出人意料地高效的方法，其达到了与 SMoE 相同的性能水平。我们还寻求多领域系统的更好鲁棒性方法，强调了混合通用领域（如 Paracrawl）的重要性，并引入了一种简单的技术，即领域随机化。

Jul, 2024

本文提出了一种基于元学习算法的 D-REPTILE 模型，用于解决自动聊天机器人中少样本语料下的对话状态跟踪问题，并在不同领域、方法、基准模型和数据集中进行了广泛实验，结果表明该方法在低数据情况下具有显著的（5-25%）改进，并且适用于各种状态跟踪模型。

Jan, 2021

提出了一种新的框架，Mixture-of-PEFTs methods (MoPEFT)，它通过将三种不同的 PEFT 技术作为子模块，动态学习激活最适合给定数据任务设置的方法来对 Segment Anything Model 进行微调。在 MESS 基准测试中，我们对该方法进行了测试，并显示出 MoPEFT 在性能优化方面始终优于其他微调方法。

May, 2024

该研究提出采用多专家模型集成的方式，使用不同的预测方法来解决传统单一模型难以泛化的问题，以在回答来自各种领域的问题时更好地表现。

May, 2023

本文关注自然语言处理中的训练不稳定和模型精确性问题，研究提出一种设计指南，通过将一个稀疏模型扩展到 269B 参数实现了全面的迁移学习，成为第一个在各类任务中达到最先进水平的稀疏模型 (ST-MoE-32B)。

Feb, 2022

本文提出了一种领域无关的抽取式问答方法用于对话状态跟踪，通过训练一个分类器来预测多个领域的出现情况，将复杂的领域信息进行分离并在活动领域提取跨域问题答案，在多个数据集上达成了优秀的零 - shot 转移模型表现。

Apr, 2022

本论文提出了 TransferQA，一个可转移的生成式问答模型，它通过文本到文本转换框架无缝地结合了抽取式问答和多选式问答，有效地处理了零 - shot DST 任务中的分类和非分类插槽，并介绍了两种构建无法回答的问题的有效方法，即负面问题抽样和上下文截断。经过实验证明，在 MultiWoz 上，我们的方法显著改善了现有的零 - shot 和少 - shot 结果，与 Schema-Guided Dialogue 数据集上的全面训练基线相比，我们的方法在未知领域中表现出更好的泛化能力。

Sep, 2021