利用随机扰动和可微分动态规划学习潜在树
本篇研究介绍了一种使用 SparseMAP inference 进行训练的方式,可以在维持可区分性的同时,实现从全局潜在结构建立不受限制的动态计算图,从而助力于深度神经网络建模的训练。
Sep, 2018
为了改善句法解析器,我们提出了一种新的潜变量生成模型,可以使用大量的未标记文本来进行半监督学习,并通过可微的动态规划来提高解析器的准确性。
Jul, 2018
该论文介绍了在自然语言处理和机器学习中,为了提高模型性能和解释性,学习离散结构的方法。论文提出了三种主要的方法:代理梯度、连续松弛和基于采样的边缘似然最大化,最终总结了这些方法的应用和学习的潜在结构的检查。
Jan, 2022
通过复制两种无监督学习句子语法结构的神经网络,本研究发现其中只有一种模型在对句子进行分类上表现更出色,但其分析策略随机性大、分析结果相较于常见的 Penn Treebank 结构更为浅显,并且与任何作者所知的语义或句法形式学不上相似。
Sep, 2017
本文介绍了潜在树语言模型(LTLM),该模型将给定句子的语法和语义编码为单词角色树。将 LTLM 与 4 元修改 Kneser-Ney 语言模型相结合,通过线性插值,在英语和捷克语语料库中的实验表明,与独立的 4 元修改 Kneser-Ney 语言模型相比,明显降低了困惑度(英语最高降低 46%,捷克语最高降低 49%)
Jul, 2016
本文提出了两种一致且计算效率高的算法,用于学习最小化的潜在树图模型,并与其他现有方法进行了比较,所提出的算法在隐藏马尔可夫模型和星形图等各种潜在树图模型上进行了详尽的数值实验。
Sep, 2010
动态回归树是一种自动回归和分类的有吸引力的选择,可用于在线应用程序设置中具有复杂响应曲面的情况。本文提出了一种序列树模型及其粒子学习算法,这种算法允许对树状态进行高效的在线后验过滤。除此之外,本文还探讨了常数和线性均值函数以及分类问题的多项式叶子等问题,并提出了默认的先验规范。本文还详细说明了每个应用程序的具体方法。最后,实验证明,我们的方法在成本的一小部分下能够提供比常用方法更好的结果。
Dec, 2009
该研究针对最近基于潜在树学习的神经网络模型探索,探索在非解析任务下使用解析值潜变量训练模型,用于发现可解释的树形结构,并成功在语言建模和成分句法分析领域展示了潜在树学习的实用性。
Aug, 2018