基于跨域潜在行动的零样本对话生成
该研究介绍了一种基于 GPT-2 模型的零 - shot 通用端到端任务导向对话系统,该系统利用域模式允许对未见过的域进行健壮的泛化,并利用对话历史的有效摘要,实现一般任务完成技能的学习。经过了大量的实验评估 SGD 和 SGD-X 数据集,跨越多达 20 个独特的领域,ZS-ToD 在关键度量上优于现有技术,联合目标准确率提高了 17%,信息传递提高了 5 个单位。
Mar, 2023
本研究提出一种基于 Zero-Shot Adaptive Transfer 方法的领域自适应对话代理模型,通过利用槽位描述信息实现可重用概念在领域之间的迁移,并避免了显式概念对齐的训练复杂度,实验结果表明此模型在多达 10 个领域的数据集上性能显著优于之前的最优系统,特别在低数据情况下表现更出色。
Aug, 2018
在标准监督学习设置中,假设训练数据和测试数据来自相同的分布(领域)。领域泛化(DG)方法旨在学习一个模型,该模型在多个领域的数据上训练时可以推广到新的未见领域。我们将 DG 扩展到了一个更具挑战性的领域,其中未知领域的标签空间也可能发生变化。我们将此问题称为零射领域泛化(据我们所知,这是第一个这样的尝试),其中模型不仅可以在新的领域之间推广,还可以在这些领域中的新类之间推广。我们提出了一种简单的策略,该策略有效地利用了类的语义信息,以使现有的 DG 方法满足零射领域泛化的要求。我们在 CIFAR-10、CIFAR-100、F-MNIST 和 PACS 数据集上评估了所提出的方法,为这个新的研究方向奠定了坚实的基础。
Aug, 2020
本论文提出一种增强型随机生成方法,利用自我注意力编码器对对话和插槽进行编码,然后以自回归的方式生成插槽值,并融入信息捕捉模板,实现跨领域知识转移,实验证明该方法在多领域体系下显著提高了当前的零样本跨领域任务对话状态跟踪技术。
May, 2021
通过增加使用合成数据生成技术来提高零 - shot 对话状态追踪(DST)准确性的多样性的训练数据,本研究证明了可实现的巨大收益。该研究通过使用一种新颖的全自动数据生成方法来创建合成的零 - shot DST 训练资源,克服了当前 DST 训练资源在应用领域和槽类型方面的严重限制,该方法生成全新的应用领域以及具备银标注和槽描述的对话。该方法用于创建 D0T 数据集以训练零 - shot DST 模型,该数据集涵盖了 1000 多个领域。在 MultiWOZ 基准测试中进行的实验表明,使用多样化合成数据训练模型可以改善 + 6.7% 的联合目标准确率,达到与更大模型相竞争的结果。
May, 2024
研究了一种基于生成型问答和条件语言模型的不需要本体的 Dialog State Tracking 方法,具有较好的领域迁移效果。
Jan, 2021
这篇论文提出了一种新的 LaDA 模型,在跨语言自适应的语音理解系统中使用潜在对话动作层来优化解码策略,以提高对复杂多语言意图和槽值的处理能力,并在零样本和少样本适应方面取得了最先进的结果。
Aug, 2023
本文提出了一种采用零样本迁移学习的技术,通过从域本体和抽象对话模型中合成所有域内训练数据,对多域对话状态跟踪进行了改进,表明对话状态跟踪中的数据增强可以提高 TRADE 模型和基于 BERT 的 SUMBT 模型在 MultiWOZ2.1 数据集上零样本学习的准确性,并表明只用合成的域内数据对 SUMBT 模型进行训练,可以达到全局数据集训练的 2/3 的准确度,文章的方法还提高了领域之间的平均零样本学习水平达到 21%
May, 2020
本文中,我们提出了带条件的联合生成对抗网络(CoCoGAN)来解决零样本域自适应(ZSDA)问题,在没有目标域数据的情况下训练 CoCoGAN 以完成领域自适应。通过在相关任务(RT)和不相关任务(IRT)中采用源域数据和双域数据进行训练,CoCoGAN 能够捕获两个不同任务的双域样本的联合分布,从而使其在图像分类方面优于现有的技术水平。
Sep, 2020
该论文提出了一个直觉有效的零样本学习框架 ZeroNLG,它可以在英语、中文、德语和法语之间处理多个自然语言生成任务,包括图像到文本、视频到文本和文本到文本。该框架不需要任何标记的下游对来训练,并通过 bridging different domains and unsupervised multilingual auto-encoder 方法实现了目标句子在不同语言之间的生成。经过大量实验的验证,该框架生成的文本质量高,表现出色,优于现有的零样本方法。
Mar, 2023