选择融合作为零样本对话状态跟踪的知识
本论文提出了TransferQA，一个可转移的生成式问答模型，它通过文本到文本转换框架无缝地结合了抽取式问答和多选式问答，有效地处理了零-shot DST任务中的分类和非分类插槽，并介绍了两种构建无法回答的问题的有效方法，即负面问题抽样和上下文截断。经过实验证明，在MultiWoz上，我们的方法显著改善了现有的零-shot和少-shot结果，与Schema-Guided Dialogue数据集上的全面训练基线相比，我们的方法在未知领域中表现出更好的泛化能力。
Sep, 2021
通过设计双提示学习框架，利用预训练语言模型的语言理解和生成能力，将对话状态跟踪任务高效地转化为一项语言建模任务，提高了低资源情况下对话状态跟踪的效率。实验证明，该方法优于现有的少样本学习方法，并且可生成未见过的槽位。
Jan, 2022
本文介绍了一个基于 attention mechanism 的迁移学习方法，适用于在训练过程中缺乏丰富人工标注数据的情况下训练 extractive DST 模型，通过两种新颖的输入级 dropout 方法来减轻样本稀疏性的负面影响。我们的实验表明，提出的模型训练策略和架构方法在应对新概念、样本稀疏性等挑战时表现出优越性。
Feb, 2022
本文提出了一种简单有效的“划分、攻克和合并”解决方案，明确解开已知数据的语义，并利用专家的混合机制来提高零-shot DST性能和鲁棒性。 在T5-Adapter上对MultiWOZ2.1进行的大量实验表明，该架构显着且持续地提高了零-shot性能，在没有外部知识的情况下，只需10M可训练参数，实现了SOTA。
Jun, 2023
我们使用 ChatGPT ，一个通用语言模型，展示了它在零-shot DST 上达到的最先进的表现，并证明了通用模型在专业系统替代方面的能力受到其属性的限制，但我们认为通用模型的语境学习能力很可能成为支持专门的动态对话状态跟踪器开发的有力工具。
Jun, 2023
Prompter提出了一种使用目标领域槽的描述生成动态前缀的方法，从而使得可以在零样本情况下使用前缀调整。该方法在MultiWOZ和SGD基准测试中均优于以前的方法。
Jun, 2023
我们将零样本对话状态跟踪转化为少样本对话状态跟踪，通过联合和自我训练方法利用目标域中的无标签数据。该方法通过辅助任务生成槽类型作为主要任务的逆提示，在联合训练期间创建槽值。这两个任务之间的循环一致性使得能够生成和选择未知目标域中的高质量样本，以进行后续的微调。此方法还有助于自动标签创建，从而优化对话状态跟踪模型的训练和微调。我们在零样本场景中的大型语言模型上展示了该方法的有效性，在MultiWOZ的所有领域中，平均联合目标准确率提高了8%。
Oct, 2023
通过增加使用合成数据生成技术来提高零-shot对话状态追踪（DST）准确性的多样性的训练数据，本研究证明了可实现的巨大收益。该研究通过使用一种新颖的全自动数据生成方法来创建合成的零-shot DST训练资源，克服了当前DST训练资源在应用领域和槽类型方面的严重限制，该方法生成全新的应用领域以及具备银标注和槽描述的对话。该方法用于创建D0T数据集以训练零-shot DST模型，该数据集涵盖了1000多个领域。在MultiWOZ基准测试中进行的实验表明，使用多样化合成数据训练模型可以改善+6.7%的联合目标准确率，达到与更大模型相竞争的结果。
May, 2024
本研究解决了现有对话状态跟踪（DST）方法在适应新槽值方面的局限性，提出了一种集成领域分类和DST的零-shot开源词汇系统。通过将DST重新表述为问答任务，并采用自我精炼提示，该系统实现了比现有方法高出20%的联合目标准确率，且对LLM API的请求减少了90%。
Sep, 2024