本篇研究介绍了一种使用 SparseMAP inference 进行训练的方式,可以在维持可区分性的同时,实现从全局潜在结构建立不受限制的动态计算图,从而助力于深度神经网络建模的训练。
Sep, 2018
本篇研究探究了使用不同编码器进行神经机器翻译(NMT)时,受监督 parser 预测的语言结构和拥有潜在变量的句子结构在推断神经网络执行机器翻译任务时的优化作用。结果表明,使用 RNN 编码器时,模型几乎不使用结构感知工具;相反,CNN 和基于词嵌入的编码器依赖于潜在的图表达,能够将有用的潜在依赖编码入网络,在某些情况下能够覆盖较长距离的依赖。
Jan, 2019
通过变分推断的视角深入探讨了深度潜变量模型的局限性,洞察了深度参数化条件概率的困难性以及潜变量目标在反向传播中的不可微性问题。
Dec, 2018
使用柔性的、非参数的贝叶斯模型在多任务学习中建立混合的因子分析器结构,以解决什么样的隐含任务结构最适合于一个给定的多任务学习问题通常不清楚的问题,并给出了变分推断算法用于这个模型。
Jun, 2012
本文介绍了一种利用可微稀疏映射的参数化离散分布的训练策略,可在离散(分类或结构化)潜变量的情况下进行精确的边际化,避免了噪声梯度估计器或连续弛豫的需要,并在三个不同的潜变量建模应用场景取得了成功的结果。
Jul, 2020
提出了一种新颖的生成模型,通过串联一个可逆神经网络和一个结构化的生成先验,在无监督的情况下联合学习离散的句法结构和连续的词表示,实现了高效的精确推断和边缘似然计算,并在两个任务中进行了实验评估。
Aug, 2018
本论文研究了三个方面的工作:如何提高预训练模型在 NLP 任务中的性能,在维基百科和释义上利用语言结构以提取知识,以及定制文本资源以建立挑战性的评估任务。
Jul, 2022
本文提出了一种新的框架来学习具有所需结构属性的多元数据的可控和通用表示,该模型利用图模型中的掩码变量表示归纳偏置,并扩展多元信息瓶颈理论来强制执行结构依赖性,从而提供原则性方法来学习一组语义上有意义的潜在因素,其反映了各种类型的期望结构,如捕获相关性或编码不变性。同时还提供了自动估计数据中依赖关系的灵活性,该框架统一了许多现有的生成模型,并可应用于各种任务,包括多模态数据建模、算法公平性和不变风险最小化。
通过 Gumbel 扰动和可微分动态规划,我们实现了概率模型中项目依存树的学习,进而在情感分析和自然语言推理任务中取得了良好的效果,并在一个合成结构归纳任务中研究了其性质。
Jun, 2019
本研究展示了如何通过部分语音序列对一个新语言的基本语序事实进行预测,并且通过大量的合成语言训练数据,将这个通常被认为是无监督学习的问题转化成了有监督学习,从而成功地识别了一个语言的 POS 序列的表面特征(手工特征或神经特征)与其更深层次的结构(潜在树)相关性。该系统在该任务上表现出色,比语法归纳基线高出一个很大的优势。
Oct, 2017