提出了一种名为 BFGAN 的新算法框架,通过使用向前和向后生成器一起生成词汇限制句子,并使用鉴别器通过分配奖励信号来指导两个生成器的联合训练,以解决向基于 RNN 的模型中直接引入词汇约束所面临的挑战。
Jun, 2018
本文介绍一种基于 RNN 和 VAE 的生成模型,该模型可以显式地模拟句子的整体特征,并通过分布式的潜在表示编码句子的风格、主题和高级语法特征。模型生成多样且完整的句子,能够插值生成连贯且新颖的句子,并用于填补缺失的词,同时探索了潜在句子空间的许多有趣属性。
Nov, 2015
本文提出了一种生成式知识迁移的技术,使用以前训练的基于 RNN 的语言模型 (RNN 学生网络) 生成的文本和输出概率来训练一个新的语言模型。我们还可以通过使用多个教师网络的软标签组合来提高性能,从而适用于隐私意识的语言模型自适应,因为不会直接使用用户数据进行训练。特别是,当多个设备的软标签通过可信的第三方进行聚合时,我们可以期望非常强的隐私保护。
Aug, 2016
本文研究了如何将 RNN 语言模型与句子的句法依赖相结合,以提高递归神经网络 (RNN) 语言模型的性能和准确率,并在 Microsoft Research Sentence Completion Challenge 的评估中展示了其优越性,并达到了同类最先进模型的效果。
Jul, 2015
该研究论文系统梳理了存在于神经语言生成技术中的问题,并分别从文本生成任务、方法和评估度量指标三个方面,详细阐述了约束条件和条件约束这两种情况,并总结了当前约束神经语言生成技术的研究进展和面临的主要挑战,以期提高该领域的技术水平。
Jun, 2022
通过训练反向递归神经网络帮助正向模型预测长期未来信息,该方法可以提高生成递归神经网络的生成能力和语音识别和 COCO 字幕生成任务的性能。
Aug, 2017
本研究介绍了递归神经网络语法与其使用的高效推理过程,分别应用于句法分析和语言模型,实验结果表明在英文的句法分析和英汉语言模型方面,其效果均优于所有以前发表的有监督生成模型和最先进的序列 RNNs。
Feb, 2016
本文提出基于联合循环卷积神经网络结构的统计语言生成器,可以在不需要语义对齐或预定义语法树的情况下,训练对话行为 - 话语对。客观指标表明,在相同的实验条件下,这种新模型优于以前的方法。人类评委的评估结果表明,它产生的不仅是高质量而且是语言上多变的话语,而且与 n-gram 和基于规则的系统相比受到更多的青睐。
Aug, 2015
本文旨在研究对于资源贫乏的语言的快速语言注释工具的发展,我们采用递归神经网络模型实验了多种跨语言注释映射方法。我们提出了一种真正的多语言标记器方法,并通过使用平行语料库证实了其有效性和通用性。
Sep, 2016
通过学习多个判别模型的混合,帮助生成自然语言的循环神经网络更好地表达与 Grice 最大化原则这样的语言规律相关的交际目标,从而提高生成文本的连贯性、风格和信息质量。
May, 2018