Jun, 2023

基于 R-Drop 结构改进的 Transformer 中的命名实体识别研究

PDF
TL;DR该文介绍了一种名为 XLNet-Transformer-R 的模型，结合 XLNet 预训练模型和相对位置编码的 Transformer 编码器，以提高模型的泛化能力和处理长文本的能力，在防止过拟合的同时提高命名实体识别任务的准确性，并通过 MSRA 数据集的消融实验和四个数据集的比较实验证明了该模型的有效性。
xlnettransformernamed entity recognitionr-dropmsra dataset
发现论文，激发创造
  • 基于改进 Conformer 模型的端到端语音识别模型与 R-Drop 结构的研究

    本研究提出了一种基于 Conformer 模型和 R-drop 结构相结合的 Conformer-R 语音识别模型，可提高模型泛化能力。

    Jun, 2023

  • R-Transformer：加强循环神经网络的 Transformer 模型

    本文提出了 R-Transformer 模型，结合了 RNN 和多头注意力机制的优点，同时避免了它们各自的缺点，能够在不使用位置嵌入的情况下有效捕捉序列中的本地结构和全局长期依赖关系。通过广泛的实验评估表明，在大多数任务中，R-Transformer 优于最先进的方法。

    Jul, 2019

  • 科学命名实体识别的分层 Transformer 模型

    使用 BERT 和 transformer 层的简单和有效的 Named Entity Recognition 方法在计算机科学和生物医学领域的三个基准数据集上优于当前最先进技术，无需外部资源或特定数据增强。

    Mar, 2022

  • LMN 在 SemEval-2022 任务 11 中：基于 Transformer 的英文命名实体识别系统

    本文介绍了我们参加 SemEval-2022 多语言复杂命名实体识别英文赛道的基于 Transformer 预训练模型的简单有效基准系统，取得了 72.50% 的 F1 得分，同时讨论了通过实体链接进行数据增强的方法。

    Feb, 2022

  • 少样本命名实体识别：综合研究

    本文提出了一种有效地建立识别命名实体（NER）系统的方法，基于最近的基于转换器的自我监督预训练语言模型（PLMs），并探讨了三种正交的方案来改进针对少样例情况的模型泛化能力，通过大量实验结果表明，我们的方法在少数样例学习环境中显著改善或优于基于域标记微调的 PLM 线性分类器等基线方法，同时在无训练和少样例学习环境下建立了最新的业界记录。

    Dec, 2020

  • 使用平行语料库的跨语言命名实体识别：一种使用 XLM-RoBERTa 对齐的新方法

    本文针对跨语言 NER 任务，提出了一种基于平行语料库的名词实体对齐模型，并在没有监督模型的情况下将 NER 从英语部分传递到目标语言中，以此获得更自然流畅和细微差别的数据集来提高模型性能，在 4 种目标语言的基准数据集上得到了具有竞争力的结果。

    Jan, 2021

  • 使用表格语言模型在工业表格中进行命名实体识别

    本文研究如何将基于 transformer 的模型应用于工业级别的表格数据中的实体识别问题，并开发了一种专用的表格数据增强策略来提高性能，实验证明表格的归纳偏差对于 transformer-based 模型的收敛至关重要。

    Sep, 2022

  • DialogXL: 一体化的 XLNet 多方会话情感识别

    本文介绍了我们使用预训练语言模型进行情感识别的研究，提出了使用增强记忆和对话感知自注意力的全能型 XLNet 模型 DialogXL, 通过对四个 ERC 基准测试的实验表明，该模型在所有数据集上都优于基线模型。

    Dec, 2020

  • 基于 Transformer 的命名实体识别与数据表示的结合

    该研究通过研究基于 Transformer 的模型及其在命名实体识别任务中的有效性，探讨了数据表示策略，包括单句、多句和上下文，并分析了使用单一策略训练模型可能导致在不同数据表示上表现不佳的问题。为了解决这个局限性，该研究提出了一种结合训练过程，利用这三种策略来提高模型的稳定性和适应性。该方法的结果在四种语言（英语、波兰语、捷克语和德语）以及各种数据集上进行了展示和讨论，证明了这种结合策略的有效性。

    Jun, 2024

  • 跨语言命名实体识别的增强迭代知识蒸馏

    本文描述了微软在交叉语种命名实体识别中的新实践方法，使用源语种的标注数据和目标语种的无标注数据，采用半监督学习和强化学习的方法来提取弱监督信号并实现了新的最先进性能优于现有的模型。

    Jun, 2021