COLINGNov, 2020

通过张量分解学习非二元句法分析树

PDF
TL;DR文章介绍了一种新的处理非二叉短语结构树的方法，其利用张量模型和基于张量分解的组合函数，并通过约束限制因子矩阵的参数数量来优化模型性能。同时，文章提出了一种基于该方法的 Tree-LSTM 模型，并在不同自然语言处理任务上进行了实验评估。
sentence constituency treesbinarisation proceduretensor-based modelscomposition functiontree-lstm model
发现论文，激发创造
  • 利用树注意力改进 Tree-LSTM

    通过在 Tree-LSTM 单元中引入可分解注意力的变体，我们设计了一种广义的注意力框架，适用于依赖树和组成树结构，并在语义相关性任务中评估了模型，与不使用注意力的 Tree-LSTM 方法以及其他神经和非神经方法相比表现显著。

    Jan, 2019

  • 神经组合成分解析

    该研究提出了两个快速神经组合模型，用于句法分析，分别是二元模型和多分支模型，它们的理论复杂度是次二次的，实际复杂度较低，其中二元模型在 Penn Treebank 上取得了 92.54 的 F1 分数，并以 1327.2 个句子 / 秒的速度进行解析。同时，该模型结合 XLNet，准确率接近英文句法分析的最新水平，并能够观察到 Penn Treebank、Chinese Treebank 和 Keyaki Treebank（日本）在训练和推理过程中的句法倾向和头向性。

    Jun, 2021

  • 利用无监督树形 LSTMs 联合学习句子嵌入和句法

    该论文介绍了一种利用二进制语法树和 Tree-LSTM 组成的神经网络，可在自然语言图表解析器的帮助下同时优化组成函数和解析器，进而实现无监督的树形 RNN，并在文本蕴涵任务和反向字典任务中表现优越。

    May, 2017

  • 从语言模型中归纳语言结构

    该论文研究了从语言模型中以无监督方式生成组成和依赖结构的问题，并通过一系列实验表明了其在语法结构识别方面的可行性和存在的限制。

    Mar, 2024

  • 通过成分测试的无监督解析

    本文提出了一种基于无监督成分测试的无监督解析方法。通过使用一组转换和一个无监督的神经接受模型来制定无监督解析器，以生成给定句子的树，通过聚合其成分测试判断来评分。并且通过反复改进预测出的树和提高语法性模型之间的相互作用，进一步提高了准确性。

    Oct, 2020

  • 基于 LLMs 的短语结构解析

    运用大型语言模型探索生成线性化树解决成分句法分析任务，并通过实验证明模型的性能、泛化能力和挑战。

    Oct, 2023

  • 句法表示有用 [MASK]：递归 LSTMs 中成分和依存结构的影响

    研究基于序列的神经网络与基于树的网络在句法任务上的表现，并比较常见的句法表示方法对句法结构带来的影响，同时发现基于组成结构的网络更具鲁棒性，通过少量构建的数据 fine-tune 可以显着提高序列模型的性能，表明数据增强是为序列模型注入句法偏置的可行替代方案。

    Apr, 2020

  • 基于树结构的神经机器翻译解码器

    该论文探究了加入不同语言结构对神经机器翻译性能的影响，提出了一种能够自然生成目标端任意树形结构的神经机器翻译模型，并且发现无需任何语言知识构造的平衡二叉树结构具有最佳的性能提升，能够超过标准的 seq2seq 模型和其他引入目标端语法的方法，提高 2.1 个 BLEU 分数。

    Aug, 2018

  • TreeMix：面向自然语言理解的基于组成结构的数据增强

    介绍了一种基于语言组成性的自然语言理解数据增强方法 - TreeMix，在 NLP 的分类任务上表现比现有的方法更好。

    May, 2022

  • 神经语言模型中的成分结构探测

    本文研究神经语言模型对句法结构的学习能力，发现预训练的 Transfomer LM 即使在语义有错的情况下仍能准确地代表不同类别的成分，并且语法信息确实被 LM 学习并与语义信息分离。

    Apr, 2022