语言作为潜变量:离散生成模型用于句子压缩
本文介绍一种基于 RNN 和 VAE 的生成模型,该模型可以显式地模拟句子的整体特征,并通过分布式的潜在表示编码句子的风格、主题和高级语法特征。模型生成多样且完整的句子,能够插值生成连贯且新颖的句子,并用于填补缺失的词,同时探索了潜在句子空间的许多有趣属性。
Nov, 2015
本篇文章提出一种基于潜变量的抽取式文本摘要模型,通过使用句子作为潜变量和检索金标准摘要来改善基于启发式标签的抽取式模型,并在 CNN/Dailymail 数据集上得到了良好的结果。
Aug, 2018
本文探讨深层潜变量模型的离散潜变量模型,比较不同方法在处理复杂问题时表现的优劣,并在低资源文档和句子分类中展示了更好的结果,其中使用的 Hard EM 极具优势。
Jun, 2020
我们研究了如何将基于 transformer 的句子嵌入压缩成一种表示,以分离不同的语言信号,特别是与主谓一致和谓词交替相关的信息。通过在变分自编码器类似系统的潜在层中压缩共享目标现象的输入序列,我们发现目标语言信息变得更加明确。具有离散和连续组成部分的潜在层比只有离散或只有连续组成部分的潜在层更好地捕捉目标现象。这些实验是将分布式文本嵌入中的语言信号与更符号化的表示相分离并将它们联系起来的一步。
Dec, 2023
探讨使用潜变量模型实现神经机器翻译中的条件文本生成性能,通过引入连续潜变量来增强编码器 - 解码器 NMT 范例,利用 Inference Network 中的共同关注机制来扩展该模型,使用不同方法试图缓解后验崩溃问题,并且探究学习潜空间的能力,该模型能有效地优化翻译模型。
Dec, 2018
本文旨在通过强制使用自动编码器并引入改进的语义哈希技术,从序列模型中提取更好的表示,以提高其在语言建模和机器翻译等任务中的表现,并展示了该技术在生成多元化翻译方面的应用。
Jan, 2018
本文提出了一种基于变分概率框架的深度潜变量模型,使用双语数据,利用拥有共性的语义信息与特性进行训练,使模型可以将并行语句进行源分离,得到隐含的语义向量,进而对单语数据进行预测。实验证明,该方法在无监督语义相似性评估方面的表现明显优于现有方法,并且还能在不适合使用简单词语重叠作为相似性指标的更难评估子集中发挥最大的作用。
Nov, 2019