这篇论文介绍了神经方法在主题建模中的应用,特别是提供可参数化分布以允许可变参数下的后向传播,同时提出了一种递归网络,能够类似于贝叶斯非参数主题模型发现数量概念上无限的主题,在 MXM Song Lyrics,20NewsGroups 和 Reuters News 数据集上得到了实验结果的证明。
Jun, 2017
使用深度潜变量模型进行文本生成可以提高标准编码器 - 解码器模型的效果,同时保持深度神经网络的表达能力。
Mar, 2022
探讨使用潜变量模型实现神经机器翻译中的条件文本生成性能,通过引入连续潜变量来增强编码器 - 解码器 NMT 范例,利用 Inference Network 中的共同关注机制来扩展该模型,使用不同方法试图缓解后验崩溃问题,并且探究学习潜空间的能力,该模型能有效地优化翻译模型。
Dec, 2018
本文提出了一种变分神经机器翻译编码器 - 解码器模型,引入了一个连续潜变量来明确建模源句子的潜在语义并引导目标翻译的生成,通过神经后验估计技术对该模型进行训练,在中英文和英德翻译任务中实现了显著的性能提升。
May, 2016
本文介绍了如何使用神经变分推断学习具有离散随机变量的神经主题模型,该模型不依赖于随机反向传播处理离散变量,结合主题模型分析整个文档的话题连贯性。使用神经变分推断,在多个语料库中,我们展示了改进的困惑度和文档理解,考虑了先验参数的影响,同时证明了本方法在话题质量的自动度量上具有竞争力和超越性能。
Oct, 2020
通过向生成式文本分类器引入离散潜变量,并探究几种图模型配置,我们提高了它的性能,尤其在小数据集下,同时分析了模型的可解释性。
Oct, 2019
本文提出一种新的分段常数分布作为一种复杂的潜在因素分布,以更好地建模实际数据集中的多模式潜在因素,实验结果表明,我们的方法在自然语言处理任务中实现了显著的提高。
Dec, 2016
通过变分推断的视角深入探讨了深度潜变量模型的局限性,洞察了深度参数化条件概率的困难性以及潜变量目标在反向传播中的不可微性问题。
本论文考虑数据到文本生成的任务,着重提出了一种生成长篇文章的神经模型,增加了计划组件来组织高层次信息,在结构化变分模型的帮助下逐步推理出潜在计划,从而生成文本。在 RotoWire 和 MLB 两个数据到文本基准测试中,本模型表现优于基准模型,并且在训练数据有限的情况下具有较高的样本效率。
Feb, 2022
该论文介绍了一种高度可扩展的概率框架,利用神经变分推理构建条件推理网络,针对知识图谱中实体和关系类型的符号表示提供变分分布。通过该框架构建了两个模型,即 Latent Information 和 Latent Fact 模型,这些模型在特定条件下改进了基线性能。
Jun, 2019