ACLApr, 2020

神经关系抽取中句子级表示的语言特征探究

PDF
TL;DR提出 14 个探测任务，以研究 40 多种编码器架构和语言特征组合所学习的表示，发现神经关系抽取的性能受编码器架构和语言特征的影响，上下文化单词表示可以提高性能，而实体掩蔽则会降低与实体类型相关的探测任务的性能。
neural relation extractionencoder architecturelinguistic featuresprobing taskscontextualized word representations
发现论文，激发创造
  • BioNLP-OST 2019 中基于语言学的关系抽取和神经网络结构的嵌套命名实体识别

    本篇论文介绍了我们参加 BioNLP Shared Tasks 2019 后在 Named Entity Recognition 和 Relation Extraction 方面的方法，我们的方法可以概括应用于不同语言的文本，包括英语和西班牙语，其中我们使用了语言特征，混合损失，多任务目标和令牌级合成策略以提高 Named Entity Recognition 的性能，使用基于字典的模糊和语义搜索来执行实体标准化， 最后，我们的 Relation Extraction 系统使用带语言特征的 Support Vector Machine，并在相关任务上表现出色。

    Oct, 2019

  • 实体和关系抽取中的情境化和泛化

    本文主要研究了最新的自然语言处理技术中，神经网络和语言模型在命名实体识别和关系抽取方面的应用以及它们在训练过程中面临的一些挑战。我们发现，预训练的语言模型对发现未曾见过的命名实体表现良好，但对于未曾见过的关系则有待加强，因此模型的理解能力仍存在提升空间。

    Jun, 2022

  • 建模多粒度分层特征以进行关系提取

    本篇论文提出了一种基于原始输入句子提取多粒度特征的新方法，该方法包含实体提及级别、片段级别和句子级别三种特征，并采用层次化建模方法，以解决自然语言处理中的关系提取问题，实验证明该模型性能优于甚至使用外部知识的现有最先进模型。

    Apr, 2022

  • 探究 Probing 方法范式：精度是否意味着任务相关性？

    本文探讨了神经模型如何学习语言任务以及词嵌入对模型表现的影响，证明模型可以学习到语言属性，而预训练的词嵌入对于编码这些属性起着重要作用。

    May, 2020

  • 使用预训练语言表示优化关系提取

    使用 TACRED 及 SemEval 2010 Task 8 数据集，TRE 通过使用预先训练的深度语言表示模型以及自注意力深度学习模型，从文本语料库中自动学习隐式语言特征并显著提高样本效率，从而实现了关系提取任务的新的最优结果。

    Jun, 2019

  • LINSPECTOR：用于词表示的多语言探针任务

    该研究介绍了在 24 种语言中引入 15 种类型级别的探究任务，测试诸如情况标记、单词长度、形态标记计数和伪词识别等特定语法特征和语言提示的分类任务，以便探索词嵌入或黑盒神经模型的多语言语言线索，发现许多探究测试具有与子任务的显着高正相关性，特别是对于形态丰富的语言。

    Mar, 2019

  • 跨领域少样本关系抽取的语言表示

    通过在关系抽取任务中引入语言表示和语义图，我们扩展了现有研究，并探讨了它们对跨领域性能的影响。我们发现，这些语言表示和语义图可以显著提高少样本学习的性能，并且在不同领域中具有相当的实用性。

    Jul, 2023

  • 基于双语词嵌入映射的神经跨语言关系抽取

    本文提出了基于双语词向量映射的方法，将一个好的源语言神经网络关系抽取模型直接应用于目标语言，从而实现了跨语言关系抽取模型的转移。实验证明该方法在多种目标语言中表现出较好的性能。

    Oct, 2019

  • 单向量处理何所能容：探究句子嵌入的语言特征

    本文介绍了 10 种用于捕捉句子简单语言特征的探针任务，使用这些任务来研究三个不同编码器训练的嵌入，并揭示了编码器和训练方法的有趣特性。

    May, 2018

  • 句子级关系抽取的改进基准线

    该文介绍了基于句子的关系抽取问题，着重探讨了影响现有关系抽取模型性能的实体表示和噪声标签问题，并利用预训练语言模型提出了改进的基线模型，在 TACRED 数据集上取得了 F1 分数 74.6%，在 Re-TACRED 数据集上取得了 F1 分数 91.1%，证明预训练语言模型在该任务上具有高性能。

    Feb, 2021