LaDA:用于零样本跨语言神经网络语言建模的潜在对话动作
本文针对零资源的多语言任务导向对话系统进行零样本自适应的提出,使用极少量的平行语词来优化对齐的跨语言词级表示,并采用潜变量模型处理不同语言间类似句子的变化,实验表明,我们的模型在零样本情况下对自然语言理解任务的适应性优于当前最先进的模型。
Nov, 2019
通过使用 GPT-3,本文提出了一种名为 LAD 的数据范式,用于创建多样化和准确的合成数据,以训练下游神经对话模型,实现零 - shot 泛化,并在意图预测、槽填充和下一步行动预测方面实现了显著的性能提升。同时通过交互式人类评估表明,与人类对话训练相比,使用 LAD 训练的效果是有竞争力的。
Jul, 2022
本文介绍了一种用于解释任务对话建模的新型系统,基于离散潜变量表示对话行为。该模型基于变分循环神经网络,无需显式的语义信息。与以前的工作不同,我们的方法分别对系统和用户轮次进行建模,同时执行数据库查询建模,使得该模型适用于任务对话,同时生成易于解释的操作潜变量。我们展示了我们的模型在三个数据集上以较少的监督下在困惑度和 BLEU 方面优于以前的方法,并提出了一种衡量对话成功的新方法,无需专家注释。最后,我们提出了一种关于系统操作的潜变量语义的新方法来解释。
Sep, 2022
这篇论文提出了一种使用离散潜在变量来处理自然语言对话场景的深度学习模型,通过使用强化学习进行自动学习和提高表现,相对于传统方法,其能更准确地捕捉自然交互变异性,可广泛应用于人工智能领域。
May, 2017
本研究提出多阶段自适应潜在动作学习(MALA)方法,通过区分话语对对话推进的影响来学习语义潜在动作,解决了最近研究中基于话语词汇相似性学习潜在动作的各种语言表面差异问题,实验结果表明该方法在任务完成和语言质量方面均取得了显著改进。
Dec, 2019
使用多维方法对话管理加速训练,通过预先训练的任务无关策略来实现转移学习,从而在有限的训练数据下实现更好的性能,人工用户评估表明多维系统(针对目标情境的有限训练数据进行适应)比一维基准(在同样的训练数据上不进行适应)提高了 7%的成功率。
Apr, 2022
LaMDA 是一种专门用于对话的基于 Transformer 的神经语言模型,其具有高达 137B 的参数,并使用公共对话数据和 Web 文本预训练。它具有先进的优化技术,能够解决安全性和事实基础等关键挑战,以及能够在教育和内容推荐领域发挥积极作用。
Jan, 2022
本文介绍了两种使用 LLaMA 的零样本 ASR 领域适应方法,这两种方法可以通过一个领域特定的文本提示有效地减少跨领域 TedLium-2 和 SPGISpeech 数据集上的词错误率(WER),特别是,深度 LLM-fusion 具有更好的实体召回和词汇外单词的召回优势。
Jun, 2023
我们提出了一种名为知识感知分布自适应 (KDA) 的简单而有效的框架,通过使用大型语言模型生成丰富的描述,从而更好地理解未知类别,并引入分布对齐损失和知识感知自适应边界损失来进一步提高对未知类别的泛化能力。在三个受欢迎的音视频零样本学习数据集上,广泛的实验结果表明我们的 KDA 方法优于现有的最先进方法。
Nov, 2023
该研究介绍了零 - shot 对话生成(ZSDG),以实现神经对话系统能够在提供最少数据的情况下即刻推广到新情景。该论文提出了一种新的学习框架 —— 动作匹配算法,能够学习跨领域嵌入空间,使神经对话生成模型能够推广到新的领域。结果显示我们的方法在学习对话模型方面具有优越性能,并具有良好的未来研究前景。
May, 2018