ACLOct, 2020

基于自注意力头的无监督成分句法分析

PDF
TL;DR本研究使用 Transformer-based pre-trained language models 并提出一种全新的无监督分析方法，通过引入一个高排名头部的集合，用于从语法角度分析 PLMs 的学习知识，从而提取出 PLMs 的句法知识，并用这些知识来训练神经 PCFG，最终与人类注释的语法树库得到比较。
transformer-based pre-trained language modelssyntactic knowledgeunsupervised parsingconstituency treesneural pcfg
发现论文，激发创造
  • 基于预训练语言模型的多语言基于图表的成分句法分析提取

    本研究开发了一种基于图表的方法和有效的 top-K 集成技术，通过应用这种方法到多语言的预训练语言模型中，可以在集成和语言无关的方式下诱导出九种语言的句子的非平凡解析，同时发现了普遍的注意力头，这些头与句法信息的感知是一致的，验证了该方法的鲁棒性。

    Apr, 2020

  • 重新审视预训练语言模型提取短语结构句法分析的实际有效性

    本文提出了两种预先训练的语言模型的高级集成方法，证明这种新的解析范例可以通过引入一组异构的 PLM 使用我们的技术与常规的无监督解析器竞争。 此外，本文还探讨了 CPE-PLM 生成的树在实际中有用的一些情况，特别是在少量数据学习环境中，CPE-PLM 比典型的监督解析器更有效。

    Sep, 2022

  • 无监督分析的层次 Transformer

    本文扩展了转换器模型，使其能够学习自然语言中的层次结构，得到了较好的无监督语法分析结果。

    Mar, 2020

  • 通过成分测试的无监督解析

    本文提出了一种基于无监督成分测试的无监督解析方法。通过使用一组转换和一个无监督的神经接受模型来制定无监督解析器，以生成给定句子的树，通过聚合其成分测试判断来评分。并且通过反复改进预测出的树和提高语法性模型之间的相互作用，进一步提高了准确性。

    Oct, 2020

  • 基于 LLMs 的短语结构解析

    运用大型语言模型探索生成线性化树解决成分句法分析任务，并通过实验证明模型的性能、泛化能力和挑战。

    Oct, 2023

  • 句法距离引导的局部自注意力机制

    本文提出了一种语法指导的本地化自注意力 Transformer，该方法允许直接从外部成分句法分析器中加入语法结构，禁止注意机制通过加权距离较远但语法正确的令牌而不是接近的令牌。实验结果显示，我们的模型可以在从小到大不同规模的机器翻译数据集上持续地提高翻译性能。

    Oct, 2022

  • 基于连续语音信号的无监督组成结构句法分析中的级联和直接方法

    该研究使用无标签口语句子和未成对文本数据进行无监督组成语法分析，比较了通过级联自动语音识别和无监督解析器方法以及直接对连续的词级语音表示进行无监督解析器训练的方法，发现后者解析效果更好。此外，准确的分割也可以实现口语句子的准确解析。最后，该研究显示了无需显式归纳偏差的情况下，直接方法也可以正确学习头波方向性。

    Mar, 2023

  • 重新思考自注意力：朝向神经解析可解释性

    本研究提出了标签关注层，一种新的自注意形式，其中关注头表示标签。运行实验并在 Penn Treebank（PTB）和中文 Treebank 上展示出其在词法句法分析方面的最新成果，标签关注层在该实验中表现出了更好的性能，相比现有工作需要较少的自我注意层数。最后，我们发现标签注意头学习了语法类别之间的关系，并显示了分析错误的路径。

    Nov, 2019

  • PaLM：一种混合的解析器和语言模型

    PaLM 是一种混合的语法分析器和神经语言模型，旨在提高语言建模性能，并可用于无监督的成分句法分析，有助于语言建模性能的进一步提高

    Sep, 2019

  • 自注意力编码器进行的组成成分句法分析

    通过将 LSTM 编码器替换为自注意力机制，能够提高最先进的判别型成分解析器的性能，特别是当用预训练的字词表示时，而且这种方法在 SPMRL 数据集的大部分语言上的性能优于以前的最佳结果。

    May, 2018