EMNLPOct, 2020

利用注意力图卷积网络进行超级标注组合范畴语法

PDF
TL;DR通过注意力图卷积网络以图形式建模词库中的信息，加强神经组合范畴语法（CCG）超标记，进而提高语法分析的准确性。实验结果表明，该方法在超标记和语法分析方面优于先前所有研究。
supertaggingcombinatory categorial grammarcontextual informationattentive graph convolutional networksccgbank
发现论文，激发创造
  • 一种用于 CCG Supertagging 的动态窗口神经网络

    本文介绍动态窗口方法和注意机制应用在组合范畴语法超标记的任务上，通过对局部上下文的关注来为每个单词分配词汇类别，同时应用 dropout 技术来提高性能。实验结果表明该方法在标准测试集上达到最佳表现。

    Oct, 2016

  • 具有异构动态卷积的几何感知的超标记化

    本文从图论的角度重新审视结构调整式句法分析，并提出了一个基于异构动态图卷积的框架，以利用补丁标记器输出空间的独特结构。我们在涵盖不同语言和语法形式的分类语法数据集上测试了我们的方法，并获得了显著的改进。

    Mar, 2022

  • 生成 CCG 类别

    通过生成类别而不是分类类别，我们提出了一种新的 CCG supertagger 方法，将每个类别分解为一系列更小的标记，以此更好地处理类别间的关系并增强与句子上下文的交互。该方法能够在标准 CCGBank 上实现最先进的标识 (95.5% 精确度) 和分析 (89.8% 标记 F1)，并在罕见类别、领域外文本和资源匮乏语言方面取得了有希望的结果。

    Mar, 2021

  • 自我注意网络的建设性类型逻辑超标记

    应用自注意力网络进行语法归纳，提出面向细化型逻辑语法的基于注意力的超标注器，能够在训练过程中学习语法类型系统的语法和指称语义，从而提高了超标注器的推广能力。

    May, 2019

  • 使用卷积神经网络的通用标注器

    使用卷积神经网络的通用标记器（CNN）在不同的标记任务中表现强壮，它能够生成词向量和编码上下文信息，并且没有任务特定的调整能够在词性标注、形态标注和超级标注等任务上达到最优结果，同时它还能很好地解决未登录词问题。

    Jun, 2017

  • COGS 中的结构性泛化：超标记化几乎是你所需的全部

    在许多自然语言处理应用中，神经网络在处理超出分布范围的示例时被发现无法进行泛化。本文通过多种方法对神经图形语义解析框架进行扩展以缓解这个问题，实验结果表明结构性约束对语义解析中的泛化是重要的。

    Oct, 2023

  • 预测目标语言 CCG 标记提高神经机器翻译效果

    本文研究如何改进神经机器翻译，通过在 decoder 中插入 CCG supertags 的形式的目标语句法信息，进一步模拟复杂的句法现象，经过实验比较，发现这样的改进可以提高翻译质量，尤其是对于一些句法结构复杂的语言对。

    Feb, 2017

  • 使用 CCG 分析和大型语言模型建模大脑中的结构构建

    通过使用组合范畴语法（CCG）作为语法模型，研究人员发现可以更好地理解自然环境中语言理解的行为和神经相关性。使用 fMRI 收集参与者听故事期间的神经信号，研究发现 CCG 在解释神经信号方面的有效性优于上下文无关文法，并可以从可选附加语方面解释。

    Oct, 2022

  • 基于神经网络的端到端图形式 TAG 解析

    本文介绍了基于图形的 Tree Adjoining Grammar (TAG) 解析器，并使用 BiLSTMs、Highway 连接和字符级 CNNs 来实现，该解析器在全局推理和特征表示方面具有先进性，在短语结构随从词性标注和解析方面性能显著优于以往的结果，并且在解析评估和无界依赖恢复方面实现了最先进的性能。

    Apr, 2018

  • 序列学习的上下文非局部神经网络

    本文提出了 contextualized non-local neural networks (CN3) 模型，它综合了 self-attention 和 graph neural networks 两种方法的优点，能在一定范围内构建特定任务的句子结构，从而在文本分类、语义匹配和序列标注等 10 个 NLP 任务中表现优异。

    Nov, 2018