具有异构动态卷积的几何感知的超标记化
通过注意力图卷积网络以图形式建模词库中的信息,加强神经组合范畴语法(CCG)超标记,进而提高语法分析的准确性。实验结果表明,该方法在超标记和语法分析方面优于先前所有研究。
Oct, 2020
本文介绍动态窗口方法和注意机制应用在组合范畴语法超标记的任务上,通过对局部上下文的关注来为每个单词分配词汇类别,同时应用 dropout 技术来提高性能。实验结果表明该方法在标准测试集上达到最佳表现。
Oct, 2016
通过生成类别而不是分类类别,我们提出了一种新的 CCG supertagger 方法,将每个类别分解为一系列更小的标记,以此更好地处理类别间的关系并增强与句子上下文的交互。该方法能够在标准 CCGBank 上实现最先进的标识 (95.5% 精确度) 和分析 (89.8% 标记 F1),并在罕见类别、领域外文本和资源匮乏语言方面取得了有希望的结果。
Mar, 2021
在许多自然语言处理应用中,神经网络在处理超出分布范围的示例时被发现无法进行泛化。本文通过多种方法对神经图形语义解析框架进行扩展以缓解这个问题,实验结果表明结构性约束对语义解析中的泛化是重要的。
Oct, 2023
研究表明,利用类别的内部结构构建模型有助于预测罕见、复杂的 CCG supertags,而且可以在更少的参数下实现先前的最佳标记者的近似标记准确度,并且还探讨了不同方法对域外评估集的概括能力。
Dec, 2020
应用自注意力网络进行语法归纳,提出面向细化型逻辑语法的基于注意力的超标注器,能够在训练过程中学习语法类型系统的语法和指称语义,从而提高了超标注器的推广能力。
May, 2019
该论文提出了范畴论和计算语言学之间的翻译作为自然语言处理的基础,结合语法、语义和语用三个方面,以字符串图表达统一的句法结构,利用函子将图表达式计算为逻辑、张量、神经或量子计算的语义,通过组成游戏将生成的函子模型进行组合,从而解决语言处理任务。DisCoPy 是用于计算字符串图的 Python 库的一部分,将得到的范畴、语言和计算结构之间的对应关系描述,并通过组合的自然语言处理应用进行演示。
Dec, 2022
使用卷积神经网络的通用标记器(CNN)在不同的标记任务中表现强壮,它能够生成词向量和编码上下文信息,并且没有任务特定的调整能够在词性标注、形态标注和超级标注等任务上达到最优结果,同时它还能很好地解决未登录词问题。
Jun, 2017
我们提出了基于 HPSG 的新型超标注模型,通过 SVM 和神经网络方法在高质量标注的树库上进行训练,与基线相比,SVM 和神经超标注模型都取得了明显更高的准确性。我们的 BERT 超标注模型在 WSJ23 数据集和 Cathedral and the Bazaar 数据集上分别达到了 97.26% 和 93.88% 的准确率。因此,将这些新型超标注模型整合到现代 HPSG 解析器中是有意义的,并且希望我们在这里使用的多样而困难的数据集能在该领域中获得更多的关注。我们还提供了完整的数据集,格式化用于标记分类。
Sep, 2023