ACLMay, 2021

使用 BERT Adapter 进行词典增强的中文序列标注

PDF
TL;DR本文提出了一种增强 BERT 的方法，称为 LEBERT，通过引入一个词典适配器层，将外部词典知识直接集成到 BERT 的底层中，以便实现深层次的词典知识融合，从而在多项中文序列标注任务中取得了最佳结果。
chinese sequence labellingbertlexicon enhanced bertlexicon knowledgestate-of-the-art results
发现论文，激发创造
  • 将动态词典加入 BERT 用于序列标记

    本文提出了 DyLex：一种适用于基于 BERT 的序列标注任务的插件词库融合方法，避免了大规模动态词库的噪声和更新问题，采用了无关单词的标签嵌入和监督词库去噪方法，并引入基于列的注意力机制来保证该框架的可插入性。实验结果表明，该框架即使与非常大的词库一起使用也实现了最新的 SOTA 效果。

    Sep, 2021

  • 无监督边界感知语言模型预训练用于中文序列标注

    该论文提出了一种在预训练语言模型中直接编码无监督统计边界信息的体系结构 Boundary-Aware BERT (BABERT)，并将其应用于中文序列标注任务的特征诱导，实验结果表明 BABERT 在十个中文序列标注基准上均可提供一致的改善，同时，该方法可以补充先前监督词典探索的不足，实现与外部词典信息的集成以进一步提高性能。

    Oct, 2022

  • 中文命名实体识别中词典使用的简化

    本研究提出一种可将词汇词典简单地并入字表示的方法，以提高中国命名实体识别的性能，且速度比现有最先进的方法快 6.15 倍，同时具有更好的性能与可与预训练模型集成的能力。

    Aug, 2019

  • 使用适配器将 BERT 整合到并行序列解码中

    本研究提出了一种通过加入轻量级适配器模块在 BERT 编码器和解码器之间 fine-tuning 来应对语言生成任务的问题，并在神经机器翻译任务上验证了该方法的有效性。

    Oct, 2020

  • 简单的 BERT 模型用于关系抽取和语义角色标注

    本文介绍基于 BERT 的模型在关系抽取和语义角色标注中的应用。实验结果表明，在不使用任何外部特征的情况下，这种简单的模型可以达到最先进的性能表现，提供了未来研究的强有力基础。

    Apr, 2019

  • ExBERT: 外部知识增强的自然语言推断 BERT 模型

    本文提出了一种新的 NLI 模型 ——ExBERT，它可以利用外部知识源对 BERT 的上下文表示进行丰富，从而提升 BERT 的语言理解和推理能力，并在挑战性的 SciTail 和 SNLI 基准测试中实现了优异的表现。

    Aug, 2021

  • 基于半监督边界感知语言模型预训练的中文序列标注

    通过将监督边界信息用于 BABERT，我们构建了一种半监督的边界感知 PLM，实验结果表明我们改进的 BABERT 在中文序列标注和自然语言理解任务中表现出更好的性能，并且我们提出的度量方法具有方便和准确的评估 PLM 边界感知能力的特点。

    Apr, 2024

  • Few-shot 自然语言理解统一 BERT

    该研究提出了 UBERT 模型，基于 BERT 框架，可以通过双向仿射网络对不同自然语言理解任务的训练对象进行普遍建模，并通过模型得分来实现各种分类和提取结构的通用、跨任务的语义理解。在 2022 年 AIWIN - 世界人工智能创新大赛中国保险小样本多任务跟踪中获得一等奖，并实现了广泛的信息提取和语言推理任务的统一。

    Jun, 2022

  • SLK-NER：利用二阶词汇知识进行中文命名实体识别

    该研究提出了基于字符的第二阶 lexicon 知识的模型，该模型能够更好地利用全局上下文来提取词汇信息，从而提高了中文命名实体识别的效果。

    Jul, 2020

  • 将多语言 BERT 扩展到低资源语言

    本研究提出一种简单而有效的方法，扩展多语言 BERT (E-BERT)，使其可以为任何新语言提供帮助，并在 27 种语言上进行命名实体识别（NER）实验，结果表明我们的方法对已包含在 M-BERT 中的语言平均 F1 值提高了 6％，对新语言提高了 23％的 F1 值。

    Apr, 2020