May, 2022

hmBERT: 历史多语言语言模型用于命名实体识别

PDF
TL;DR本篇研究讨论了针对历史文本进行命名实体识别的挑战，并提出使用大型历史语言模型 hmBERT 预训练来解决标注数据不充足的问题，并使用 HIPE-2022 共享任务来评估模型性能。
named entity recognitionhistorical textslanguage modelhmberthipe-2022
发现论文，激发创造
  • 面向历史德语的鲁棒命名实体识别

    应用预训练的基于字符的语言模型，成功提升了历史德语低资源命名实体识别准确性，并相较于经典 CRF-based 方法和 Bi-LSTMs，提高了高达 6% 的 F1 得分表现。

    Jun, 2019

  • HistBERT：用于历时词汇语义分析的预训练语言模型

    研究历史语料库数据对语言模型 BERT 训练的影响，从而提出一种预先训练的基于 HistBERT 的语言模型，并比较它与原始 BERT 在单词相似度和语义转化分析方面的表现，该工作强调，上下文语言嵌入在历史语言分析中的效果取决于输入文本的时态特征，并应谨慎应用此方法来研究历史语义变化。

    Feb, 2022

  • 德国 BERT 法律命名实体识别模型

    本研究 fine-tune 了一个受欢迎的德语 BERT 语言模型，用于 Legal Entity Recognition（LER）数据集，结果表明我们的模型在 LER 任务上表现比 BiLSTM-CRF+ 模型更优，并通过 HuggingFace 对外公开。

    Mar, 2023

  • 历史欧洲的人物和地点：自举标注管道和晚期中世纪文本中命名实体的新语料库

    本文开发了一个新的 NER 语料库，并使用信息检索技术，自动引导命名实体识别 - 注释语料库。我们使用我们的语料库训练了一个 NER 模型，具有 72.81-93.98％的实体级精度和 58.14-81.77％的召回率。此外，我们公开发布了我们的语料库，模型和实验代码，以便他人重现和构建我们的工作。

    May, 2023

  • HistNERo: 历史罗马尼亚语命名实体识别

    介绍了 HistNERo，第一个用于历史报纸中的罗马尼亚命名实体识别（NER）的罗马尼亚语语料库，含 323k 个标记文本，覆盖了 1817 年至 1990 年的超过一半时间段。实验结果显示，最佳模型在此语料库上的严格 F1 分数达到了 55.69％，通过减少地区之间的差异并使用一种新颖的领域自适应技术，我们将其提高到了 66.80％，相对增益超过 10％。

    Apr, 2024

  • 使用 BERT 实现通用语言命名实体识别

    本文研究了一种基于多语言 BERT 的单一命名实体识别模型，使用多任务学习和分块更新规则等正则化策略优化模型，并证明在多种语言数据集上表现优于专注于单一语言模型，并能够进行零样本预测。

    Nov, 2019

  • 穿越数个世纪的迁移学习：机器和历史学家集成方法解密王室秘书日记

    该研究介绍了朝鲜历史文献中的命名实体识别和分类，通过将语言模型调整到历史文献上，与使用预训练的多语言模型进行对比实验，发现短语标记明显改善了 NER 模型在预测不同时间段撰写的未见过的实体时的性能。

    Jun, 2023

  • 汉迪语和马拉提语命名实体识别中的单语 BERT 与多语 BERT 对比研究

    本文研究低资源印度语言 Hindi 和 Marathi 的命名实体识别 (NER)，使用 base-BERT，RoBERTa 和 AlBERT 等变体进行了基准测试，并在不同单语和多语 Transformer 模型之间进行了详细比较，发现 MahaRoBERTa 单语模型在 Marathi NER 方面表现最佳，而多语言 XLM-RoBERTa 在 Hindi NER 方面表现最佳。文中还进行了跨语言评估和提出了简单基线。

    Mar, 2022

  • 跨文化姓名识别

    该研究旨在改进个人姓名的识别，在识别不同文化背景下的姓名方面，通过实验比较结合字符和词的输入模型与传统的 NER 模型，发现该模型表现更好且可能提高准确率。

    Jan, 2024

  • ChatGPT 能否识别历史文档中的实体？

    本文探讨大型语言模型在历史文本中的命名实体识别和分类任务中的应用，通过比较其与基于最先进的语言模型的系统的表现找出其存在的问题。研究结果表明，历史文本中的命名实体识别存在多个问题，包括实体注释规范的一致性、实体复杂性和代码切换等，这些问题导致大型语言模型与其他系统相比存在着一些缺点。

    Mar, 2023