May, 2023

用 Transformer 近似实现 CKY

PDF
TL;DR本文研究了 transformer 模型近似 CKY 算法的能力，并通过直接预测分析结果，避免了 CKY 算法对句子长度的三次依赖。研究发现，在标准的短语句法分析基准测试中，这种方法在速度上比 CKY 还要快，但仍然能够实现与 CKY 相媲美的性能，并通过引入归纳偏差提出了一种新的方法来预测分析结果。
transformer modelscky algorithmconstituency parsinginductive biaschart representations
发现论文，激发创造
  • 快速基于规则的解码：重访神经成分句法分析中的句法规则

    本研究提出一种基于 GPU 加速的 CKY 解码方法，利用句法规则进行约束，能够有效地进行神经成分分析。在实验中，本方法相比之前的方法有了显著的提高，特别是在交叉领域效果显著，达到了较高的分数。

    Dec, 2022

  • 语言模型的物理学：第 1 部分，无上下文语法

    本研究设计实验以探究生成式语言模型如何学习上下文无关文法，并发现了 Transformer 如何利用物理机制隐式地编码文法结构、形成类动态规划的 attention，并在处理语法错误时表现出的鲁棒性方面的相关拓展。

    May, 2023

  • Transformer 模型是否在预测被遮盖的单词时进行解析？

    本研究调查了预训练语言模型是否实际执行语法分析任务或仅弱相关运算，通过生成建模与 PCFG 结构的实验，证明了模型可以近似执行该任务并恢复算法估计的概率。

    Mar, 2023

  • R2D2: 递归 Transformer 基于可微分树的可解释分层语言建模

    本文提出了一种基于递归 Transformer 模型的分层过程的方法，并将双向语言模型预训练目标扩展到此体系结构，试图预测每个单词给定其左右抽象节点。实验结果表明，我们的方法在语言建模和无监督解析方面非常有效。

    Jul, 2021

  • 分层短语基序列到序列学习

    本研究提出一种基于神经网络的译码器，结合层次短语作为训练的归纳偏差和显式约束，在维持标准序列到序列 (seq2seq) 模型的灵活性的同时。通过训练一个基于括号转录文法的判别式解析器，以层次化地对齐源和目标语短语，并使用一个神经 seq2seq 模型逐个地翻译这些对齐短语。该模型提出两种推理模式：一种只依赖于 seq2seq 模型进行序列级别的翻译，另一种则结合了解析器和 seq2seq 模型。研究结果表明，在小规模机器翻译基准测试中，该方法与对照方法相比表现良好。

    Nov, 2022

  • 有序神经组成分析

    提出了一种新颖的算法，使用神经跨度编码器与语法树结构进行句法分析，利用 GPU 并行计算实现了对传统跨度组合评分进行更精密算法的计算，并在 Penn Treebank 数据集上取得了较好的预测性能。

    Nov, 2022

  • Fast-R2D2：基于剪枝的 CKY 算法的预训练递归神经网络，用于语法归纳和文本表征

    本文提出一个使用自上而下分析的模型进行基于规则剪枝的自适应语法归纳的方法，使得像 CKY 模型这样的基于递归的解析器可以更加高效地处理复杂的自然语言，实验证明该方法在语法归纳方面表现显著。

    Mar, 2022

  • 句法距离引导的局部自注意力机制

    本文提出了一种语法指导的本地化自注意力 Transformer，该方法允许直接从外部成分句法分析器中加入语法结构，禁止注意机制通过加权距离较远但语法正确的令牌而不是接近的令牌。实验结果显示，我们的模型可以在从小到大不同规模的机器翻译数据集上持续地提高翻译性能。

    Oct, 2022

  • KERMIT -- 一种基于 Transformer 的知识图谱匹配方法

    利用预训练的句子转换器生成匹配候选项，接着使用优化的双重编码器来生成最佳匹配项以便自动匹配知识图谱和本体论。在多个数据集上进行了验证并展示了可行性和卓越的结果。

    Apr, 2022

  • 通过自信自适应变压器实现一致加速推断

    本文提出了 CATs -- Confident Adaptive Transformers 方法，在保证高可信度的情况下增加计算效率，并且训练了额外的预测模型来实现模型的动态决策。此方法的有效性在四个分类和回归任务中得到了证明。

    Apr, 2021