Nov, 2019

面向零-shot 跨语言任务驱动对话系统的注意力导向混合语言训练

HTML
PDF
TL;DR该研究提出了Attention-Informed Mixed-Language Training (MLT)方法，用于跨语种任务定向对话系统的零样本适应。该方法通过利用极少的任务相关平行词对来生成代码交换句子，并利用注意层给出的分数提取源单词，最终实现了显著的零-shot适应性能提升。
发现论文，激发创造
  • 基于多任务学习的联合语言理解和对话状态跟踪

    本文提出了一种新的多任务学习方法，旨在为面向任务的对话系统中的语言理解（LU）和对话状态跟踪（DST）进行学习。多任务训练使得编码用户话语的神经网络层用于LU和DST，通过减少网络参数并提高性能。 本研究提出了DST框架，用于考虑有大量或无限可能值的插槽及以往对话中未见过的槽值，并探讨了在LU和DST输出上使用计划采样来弥合训练和推理之间的差距。

    Nov, 2018

  • 可转移潜变量的零-shot跨语言对话系统

    本文针对零资源的多语言任务导向对话系统进行零样本自适应的提出，使用极少量的平行语词来优化对齐的跨语言词级表示，并采用潜变量模型处理不同语言间类似句子的变化，实验表明，我们的模型在零样本情况下对自然语言理解任务的适应性优于当前最先进的模型。

    Nov, 2019

  • 以语言模型为少样本学习者的任务导向式对话系统

    本文探讨自然语言理解、对话状态跟踪、对话策略和自然语言生成这四个模块在少数据样本下学习的挑战，并评估了使用自然语言生成模型进行少样本迁移学习的效果和局限性，为未来研究提供了启示。

    Aug, 2020

  • 生成式对话状态跟踪器中的跨语言可转移性的实证研究

    本文研究了多语言预训练seq2seq模型在跨语言对话状态追踪中的可转移性，尝试了联合训练、预训练等不同设置，并发现了转化能力较低的问题。

    Jan, 2021

  • 跨语言中间微调改进对话状态跟踪

    该论文提出了一种在预训练多语言模型之间进行跨语言传递学习的方法，通过中间微调预训练的多语言模型，使其适用于不同但相关的数据和/或任务，以提高对话系统的性能。

    Sep, 2021

  • CrossAligner & Co: 面向任务的跨语言自然语言理解的零-shot传递方法

    CrossAligner是一种实现零-shot跨语言传递任务知识的有效方法，利用未标记并行数据进行学习对齐，其细调语言模型优于预期。

    Mar, 2022

  • Multi2WOZ: 一个强大的多语言数据集和面向任务型对话的预训练

    本文介绍了 Multi2WOZ 多语言多领域任务导向对话数据集，并提出了一种用于传输任意下游任务的多语言对话PrLM的新框架，证明了在多数情况下，最佳表现是将（I）针对目标语言的会话专业化与（ii）少次转移结合在一起，并且我们展示了针对目标语言的会话专业化可以实现下游任务的异常样本效率的少次转移。

    May, 2022

  • 使用蒸馏表示进行零和少量训练的任务导向对话代理定位

    本文提出了一种利用源语言ToD训练数据构建另一种目标语言下的高质量对话代理的方法，从而实现零样本和小样本学习，它通过提高对话数据表示的质量、改进基于实体的机器翻译和自动过滤干扰性翻译来实现这一目标，通过在中英对话数据集BiToD上的实验证明了该方法的高效性。

    Feb, 2023

  • 使用Prompt-Tuning进行高效跨语言转移学习的对话任务对齐

    本文介绍了XSGD，一个包括105种语言的大规模平行多语种对话数据集，并使用基于prompt-tuning的方法进行对齐，经研究发现，NLI-based分类器以及对齐的prompt可以实现强大和高效的模型能力和大规模的跨语言转移提高，特别是在少样本情况下。

    Apr, 2023

  • ChatZero：通过伪目标语言实现零-shot跨语言对话生成

    本研究解决了在低资源语言中生成对话的挑战，现有方法依赖于大规模对话语料库。通过创新的跨语言代码切换方法，提出了零-shot对话生成模型ChatZero，并通过无监督对比学习来缩小源语言和伪目标语言之间的语义差距。实验结果表明，ChatZero在多语言数据集上表现出色，达到了监督学习的90%以上性能，且在其他基线中取得了最新的性能。

    Aug, 2024