- ACL一种变分方法用于弱监督的文档级多方面情感分类
本文基于依赖解析和简单的规则,提出了一种弱监督多方面情感分类方法,通过引入一个潜在变量和变分下界来实现情感极性的学习,实验表明该方法优于弱监督基线模型并与具有百个标签的监督方法具有可比性。
- ICML多样化机器翻译的混合模型:实用技巧
本文研究了通过 EM 训练的混合模型在文本生成方面的应用,通过设计参数、优化模型选择和评估协议,提出了一些更为鲁棒的混合模型,相比于变分模型和多样的解码方法在翻译质量和多样性之间提供了更好的平衡点。
- 使用 MDL 区分因果和混杂问题,我们不是你的真实父母
本文根据 Kolmogorov 复杂性提取因果关系方法,利用最小描述长度原则模型比较非潜变量模型和潜变量模型,采用概率 PCA 方法寻找成因的潜在因素,在真实和合成的数据实验中表现良好,准确性与置信度相辅相成。
- ACL神经机器翻译中的潜在句子结构建模
本篇研究探究了使用不同编码器进行神经机器翻译(NMT)时,受监督 parser 预测的语言结构和拥有潜在变量的句子结构在推断神经网络执行机器翻译任务时的优化作用。结果表明,使用 RNN 编码器时,模型几乎不使用结构感知工具;相反,CNN 和 - 使用 delta-VAEs 预防后向崩溃
针对当前潜变量生成模型中的副坍缩现象,本论文提出了一种 delta-VAEs 方法,通过限制后验变分族的最小距离以确保潜变量的气质保留和编码,实现了变分下界的最优化,并在表示学习上显示了实用性,实现对文本和图像的建模以及在 CIFAR-10 - ICLR基于优势加权信息最大化的分级强化学习
本研究提出了一种基于相互信息最大化学习层次策略潜变量的 HRL 方法,用于优化连续控制任务中的强化学习性能,并介绍了优势加权重要性采样和确定性策略梯度方法,以实现选项策略选择和优化。实验结果表明,该方法可以学习多样化的选项并增强连续控制任务 - EMNLP稳定变分自编码器中的球形潜在空间
采用 von Mises-Fisher 分布作为先验和后验分布,避免了 KL 坍塌现象,其在语言模型和文档模型等模型条件下具有更好的似然性和更丰富的潜在表示结构。
- NIPS潜在对齐与变分注意力
本文通过提出基于平均化变分推断损失函数的变分注意力网络方法,可以更有效地学习到潜变量对齐模型,取得了与硬注意力等传统方法相当和甚至更好的性能,在机器翻译和视觉问答任务上表现优异。
- 多元因素的福祉
利用无监督机器学习和预测性模型检查相结合实现多因素下因果推理的去混淆算法并提出其理论,对半真实数据和真实数据进行性能测试,表明该算法比传统因果推理方法需要的假设更弱且更接近真实因果效应。
- ACL变分知识图谱推理
本研究提出了一种基于概率图模型和变分推断的方法,通过建立一个潜在变量表示创建实体之间关系,并且使用该方法成功得进行了缺失链路预测任务,实验结果表明该方法在多个数据集上都达到了最优表现。
- GILBO:度量所有度量的一种度量标准
文章提出了以信息论为基础的生成模型评价指标 GILBO,通过计算 800 个 VAE 和 GAN 模型在 MNIST、FashionMNIST、CIFAR-10 和 CelebA 等四个数据集上的 GILBO 值,量化了这些变量生成模型的复 - 利用误差编码网络进行不确定性下的预测
本文提出了一个新的时序预测框架,基于将未来状态的可预测和不可预测组件分离的简单思想,将不可预测的组件编码成低维潜变量,并将其馈入前向模型。我们使用一种快速简便的监督训练目标,对其进行了评估,并在多个数据集上进行了视频预测,表明它能够一贯地生 - ICLR非自回归神经机器翻译
本文提出一种新的神经机器翻译模型,通过避免自回归的特性,以并行方式生成输出,进而做到了比先前方法更低的延迟时间。通过知识蒸馏,潜在变量,以及多样本策略梯度微调等技术手段,几乎没有损失性能,达到了先进的翻译效果。
- NIPS单细胞 RNA 测序的基因表达剖面深度生成模型
提出了一种针对单细胞 RNA 测序随机解释基因表达水平的概率模型,其利用低维潜在表示、额外潜在变量和神经网络进行条件分布的建模,并利用方差推断和随机优化来拟合数据。此推断过程适用于 100 万个细胞以上的数据,且优于 ZIFA 和 ZINB - 使用高斯过程高效建模监督学习中的潜在信息
该研究介绍了一种新型模型,称为潜在变量多输出高斯过程 (LVMOGP),该模型可以捕捉多种条件的潜在信息,实现在测试时对新条件的有效推广,并提出了高效的变分推断方法,该方法的计算复杂度低于稀疏高斯过程。研究表明,在多个任务中,LVMOGP - 具有图像和文本的潜在语义的神经机器翻译
研究使用潜变量从文本和图像提取语义信息来提高基于注意力机制的神经机器翻译效果,实验结果表明此方法在英德翻译任务中优于基线模型。
- ICLR神经噪声信道
本文利用循环神经网络来参数化源模型和信道模型,将序列到序列的转移问题表述为噪声信道译码问题。实验结果表明,相较于直接模型,噪声信道模型在抽象句子摘要、形态学拐点和机器翻译方面表现更佳,并且可以从未配对的输出数据中获得显著的收益。
- EMNLP用于概率神经词嵌入的形态学先验
通过将形态学信息融合到词向量中,构建了一个统一的概率框架,其中词嵌入是一个潜变量,并以形态学信息提供先验分布。此方法改进了内在词相似性评估,也在词性标注下游任务中提高了性能。
- EMNLP变分神经机器翻译
本文提出了一种变分神经机器翻译编码器 - 解码器模型,引入了一个连续潜变量来明确建模源句子的潜在语义并引导目标翻译的生成,通过神经后验估计技术对该模型进行训练,在中英文和英德翻译任务中实现了显著的性能提升。
- WWW推荐系统中用户曝光建模
本文提出一种新的概率方法,将用户对物品的暴露度纳入协同过滤,将其建模为潜在变量,并从数据中推断其值,用于探索不同的领域和暴露度协变量下的问题,并在四个不同的领域中超过了现有基准的性能。