Jun, 2024

基于 Transformer 的命名实体识别与数据表示的结合

PDF
TL;DR该研究通过研究基于 Transformer 的模型及其在命名实体识别任务中的有效性，探讨了数据表示策略，包括单句、多句和上下文，并分析了使用单一策略训练模型可能导致在不同数据表示上表现不佳的问题。为了解决这个局限性，该研究提出了一种结合训练过程，利用这三种策略来提高模型的稳定性和适应性。该方法的结果在四种语言（英语、波兰语、捷克语和德语）以及各种数据集上进行了展示和讨论，证明了这种结合策略的有效性。
transformer-based modelsnamed entity recognitiondata representation strategiescombined training proceduremodel stability
发现论文，激发创造
  • 使用 BERT 探索跨句子上下文进行命名实体识别

    本文系统研究了使用 BERT 模型处理跨句子信息识别命名实体的方法，并提出了 Contextual Majority Voting (CMV) 算法。在 CoNLL'02 和 CoNLL'03 数据集上实验表明，该算法在英语、荷兰语和芬兰语上的命名实体识别效果均优于现有 BERT 算法的成果，德语效果最佳，西班牙语表现与其他 BERT-based 方法相当。

    Jun, 2020

  • 命名实体识别的分层上下文表示

    本文提出了一种基于分层上下文表示的模型，通过句子级和文档级表示来提高实体识别模型中全局信息的利用，其中包括标签嵌入和注意机制以及键值内存网络，实验证明该模型在三个基准数据集上表现出优越的效果。

    Nov, 2019

  • 少样本命名实体识别：综合研究

    本文提出了一种有效地建立识别命名实体（NER）系统的方法，基于最近的基于转换器的自我监督预训练语言模型（PLMs），并探讨了三种正交的方案来改进针对少样例情况的模型泛化能力，通过大量实验结果表明，我们的方法在少数样例学习环境中显著改善或优于基于域标记微调的 PLM 线性分类器等基线方法，同时在无训练和少样例学习环境下建立了最新的业界记录。

    Dec, 2020

  • 科学命名实体识别的分层 Transformer 模型

    使用 BERT 和 transformer 层的简单和有效的 Named Entity Recognition 方法在计算机科学和生物医学领域的三个基准数据集上优于当前最先进技术，无需外部资源或特定数据增强。

    Mar, 2022

  • LMN 在 SemEval-2022 任务 11 中：基于 Transformer 的英文命名实体识别系统

    本文介绍了我们参加 SemEval-2022 多语言复杂命名实体识别英文赛道的基于 Transformer 预训练模型的简单有效基准系统，取得了 72.50% 的 F1 得分，同时讨论了通过实体链接进行数据增强的方法。

    Feb, 2022

  • 使用表格语言模型在工业表格中进行命名实体识别

    本文研究如何将基于 transformer 的模型应用于工业级别的表格数据中的实体识别问题，并开发了一种专用的表格数据增强策略来提高性能，实验证明表格的归纳偏差对于 transformer-based 模型的收敛至关重要。

    Sep, 2022

  • 具有关系关注和类型关注的多任务 Transformer 用于命名实体识别

    本文提出一种多任务 Transformer 模型，该模型将实体边界检测任务整合到命名实体识别任务中，通过关系分类来实现实体边界检测，并采用外部知识库和自注意力及交叉注意力机制来提高解码时实体类型映射的准确性。在多个实验数据集上的实验结果表明，该方法显著提高了生成型 NER 模型的性能。

    Mar, 2023

  • 命名实体识别简单数据增强分析

    本研究针对基于标记序列的命名实体识别任务，设计并比较了数据增强技术的效果。通过在生物医学和材料科学领域的两个数据集（i2b2-2010 和 MaSciP）上进行实验，我们表明简单的增强技术可以提高循环模型和基于 Transformer 模型的性能，尤其是对于小训练集的情况。

    Oct, 2020

  • 一种神经多任务学习框架，联合建模医疗实体识别和归一化

    文章提出了一种新颖的深度神经多任务学习框架，采用显式反馈策略联合建模识别和规范化任务，实现了一种将层次任务转化为并行的多任务设置，并保持任务之间的相互支持，从而显著提高了模型性能。实验证明，该方法在两个公开的医学文献数据集上的表现均显著优于现有方法。

    Dec, 2018

  • 旅游中的情感分析：BERT 微调还是句子嵌入串接？

    比较研究了 Fine-Tuning 的 Bidirectional Encoder Representations from Transformers 和一种将两个嵌入进行串联以提高堆叠的 Bidirectional Long Short-Term Memory-Bidirectional Gated Recurrent Units 模型性能的方法，将这两种方法应用于摩洛哥购物地点的情感分析，并在两种方法的学习率和最佳优化器之间进行了比较。

    Dec, 2023