May, 2022

依赖树的无偏高效采样

PDF
TL;DR本文针对依存句法计算模型存在的偏差进行了探究，发现现有的基于生成树的推理算法在面向依存树的推理过程中表现不佳，作者提出两种不带替换和带替换样本采样的算法来解决此问题，并提出了两种算法来减小样本数量 k 的算法运行时的时间复杂度至 O（kn3）。
dependency syntaxdependency treebanksinference algorithmsbiased samplingasymptotic runtime
发现论文，激发创造
  • 请注意根节点：解码依存句法分析的树形结构

    该研究分析了依存树和生成树之间的关系，发现依存树的根节点只能有一条边出去，提出了一种有效的算法解决这个约束问题，并且没有影响原来的运行时间。

    Oct, 2020

  • 使用无向最小生成树推断进行边缘线性一阶依存句法分析

    该研究提出了一种基于最小生成树的推断算法，可以将大规模的图形依赖分析模型边缘数量的运行时间复杂度降至 O (m)，并通过局部贪心更新进一步优化了有向解析树模型，验证实验表明，该算法在 18 种语言的测试中表现类似于原始解析器。

    Oct, 2015

  • 基于 MRC 的跨度预测依存句法分析

    本文提出了一种新的依存句法分析方法，旨在通过模拟子树与子树之间的关系，解决依存树中边的构造应该在文本跨度 / 子树级别而不是词级别上的问题。

    May, 2021

  • 树的随机投影线性化中边长期望和的线性时间计算

    本文提供一种新的算法来计算句子的依存距离期望值，在统计上足够准确，时间复杂度为 $n$。此外，文章还发现了星形树（star tree）在该算法中具有最大化作用，提出了一种可以找到最小化依存距离期望值的树的算法。

    Jul, 2021

  • 基于依赖的混合树用于语义解析

    本研究提出了一种新的基于依存的混合树模型，将自然语言转换成机器可解释的含义表示，并通过在标准多语言 GeoQuery 数据集上进行的大量实验证明，我们的方法能够在多种语言上实现最先进的性能。

    Sep, 2018

  • 三个新的依存句法概率模型：探索

    本文提出一种新的 O (n^3) 依赖语法分析算法，并开发了三种不同的随机化方式。我们提出了词汇亲和模型、意义标注模型和生成模型。通过在训练文本上评估三种模型的分析性能并给出了初步的实证结果，其中生成模型在分析性能上表现显著优于其他模型，并且在词性标注方面表现同样出色。

    Jun, 1997

  • 通过依赖树转换进行多语言语法感知语言建模

    通过依存句法树到常量句法树的转换，使用递归神经网络语法模型（RNNGs）进行训练，并在多语言环境下进行了实证评估，来探讨在学习模型时哪种树形式最佳，对哪些语言最适用，并通过七种类型的句法测试比较了 9 种转换方法和 5 种语言的语言模型表现，研究结果显示，最佳模型相对于最差模型在所有语言中的精确度提高了 19％，也证明了在多语言环境中注入语法的积极作用。

    Apr, 2022

  • 跨度树分布下期望值的高效计算

    提出了一种用于跨度树模型推断的普适框架，该框架的算法包括第一和第二领域期望。这些算法易于使用，并且利用梯度与期望之间的基本关系，可以有效地计算多种量值，包括期望附加分数，熵和广义期望准则等。

    Aug, 2020

  • 递归推测解码：通过无替换抽样加速 LLM 推理

    递归推测解码是一种基于树的方法，利用抽样生成多样性的草稿令牌序列来加速大型语言模型，从而在固定的草稿序列长度和计算预算下取得了优越性能。

    Feb, 2024

  • 序列模型的无重复增量采样

    本文提出了一种通过随机程序进行无替换采样的优雅方法，包括逐步构造输出的生成性神经模型，且该方法即使在指数级的输出空间下也高效。此外，本文还提出了一种新的估计量来计算无替换采样的期望，并表明此方法适用于程序合成和组合优化等许多领域。

    Feb, 2020