ACLMar, 2016

多领域神经网络语言生成器用于口语对话系统

PDF
TL;DR本研究提供了一种训练多领域、基于递归神经网络的语言生成器的程序，包含了多个适应步骤，并利用伪造数据和领域内句子的优化目标函数，旨在在新的、看不见的领域内显著减少培训的数据需求，其语料库评估结果和主观测试都表示该程序可以在保证 BLEU 分数和槽误差率竞争力的同时大幅提高语言生成器性能。
natural language generationdomain adaptationrecurrent neural networkcounterfeited dataslot error rate
发现论文，激发创造
  • 跨领域变分自然语言生成在口语对话系统中的应用

    本文提出了一种基于条件变分自编码器 (CVAE) 的 RNN 的跨领域自然语言生成方法，实现了高度多样性的句子生成，并在数据有限的情况下展现了更好的性能。

    Dec, 2018

  • 循环神经网络的领域自适应应用于自然语言理解

    使用多任务学习方法，缩短新任务学习所需的数据量，以提高自然语言理解中的 slot 填充模型适配多目标任务或领域的效率。该多任务模型可以利用在其他任务中学习到的模式，以较少的数据获得更好的性能，并支持开放词汇，可以很好地应用于微小数据量的训练。实验结果显示了该方法在四个不同领域中的适配效果和开放词汇技术的有效应用。

    Apr, 2016

  • 使用 RNN 编码器 - 解码器网络进行口语对话系统的自然语言生成

    本文介绍了一种基于循环神经网络的编码器 - 解码器结构，其中引入了一个基于 LSTM 的解码器来选择、聚合输入元素上产生的语义元素，并生成所需的话语，该提议的生成器可以联合训练句子规划和表面实现以生成自然语言句子，实验结果表明，所提出的生成器不仅在所有自然语言生成领域中一致优于先前的方法，而且还具有从新领域进行泛化和从多领域数据集中学习的能力。

    Jun, 2017

  • 对话系统中基于变分神经语言生成的对抗领域自适应

    本研究提出了一种通过对抗训练方法训练基于变分编码器 - 解码器的语言生成器来实现域适应的方法，通过该方法，可以仅使用少量的领域内数据就能够有效地利用源领域中现有的知识来适应其他相关领域。

    Aug, 2018

  • 基于语义精炼 GRU 的神经语言生成技术在口语对话系统中的应用

    本文提出了一种基于循环神经网络 (RNN) 的自然语言生成 (NLG) 新方法，其中在 RNN 计算之前应用了门控机制，以使得该模型能够生成适当的句子，并可通过共同训练句子规划和表面实现以生成自然语言响应。实验结果表明，该生成器在所有 NLG 领域中均表现出更好的性能。

    Jun, 2017

  • 神经机器翻译的迭代双域自适应

    本文提出一种双重迭代领域自适应框架，通过多层反向翻译知识传输来提高公共领域的翻译知识的提取效果，并通过将这种转移策略应用于多个不同相似度的领域进行了验证。该框架在中英文和英德文翻译任务中取得了令人满意的实验结果。

    Dec, 2019

  • 利用递归神经网络进行多域对话状态跟踪

    该论文研究对话状态跟踪，提出通过跨域对话数据训练一般化信念跟踪模型，使用域外数据初始化跨域信念跟踪模型的训练流程，提高了信念跟踪的性能。

    Jun, 2015

  • 多领域神经机器翻译

    本文提出了一种神经机器翻译方法，通过将文本领域视为不同的语言并使用多语言 NMT 方法创建多领域翻译系统，从而实现在单个模型中支持多个领域，我们的方法在翻译质量上有显著提高。同时探究了预先指定文本领域的必要性，发现预先指定领域是必须的，但即使未知也可以达到相当高的翻译质量。

    May, 2018

  • 从整体到特定：基于领域转换网络的多领域翻译

    本篇论文提出一种利用领域转换网络、知识蒸馏和对抗学习等方法，解决多领域翻译中通用和特定知识的统一建模问题，并在多种语言对上得到了比 fine-tuning 方法更为优秀的结果。

    Nov, 2019

  • 机器翻译中提高领域鲁棒性和领域适应性

    本文探讨了基于元学习的神经机器翻译领域自适应的两个问题；一是如何实现跨领域鲁棒性，即在训练数据包括两个领域时获得高质量的翻译结果；二是如何实现适应性，即仅利用数百个领域内的平行句子对系统进行微调。我们的研究表明，我们提出的元学习模型（RMLNMT）能够显著提高模型的领域鲁棒性和适应性，同时包括已知领域和未知领域。

    Dec, 2021