Jun, 2023

穿越数个世纪的迁移学习：机器和历史学家集成方法解密王室秘书日记

PDF
TL;DR该研究介绍了朝鲜历史文献中的命名实体识别和分类，通过将语言模型调整到历史文献上，与使用预训练的多语言模型进行对比实验，发现短语标记明显改善了 NER 模型在预测不同时间段撰写的未见过的实体时的性能。
named entity recognitionhistorical textkorean historical corpusphrase markerlanguage model
发现论文，激发创造
  • 历史欧洲的人物和地点：自举标注管道和晚期中世纪文本中命名实体的新语料库

    本文开发了一个新的 NER 语料库，并使用信息检索技术，自动引导命名实体识别 - 注释语料库。我们使用我们的语料库训练了一个 NER 模型，具有 72.81-93.98％的实体级精度和 58.14-81.77％的召回率。此外，我们公开发布了我们的语料库，模型和实验代码，以便他人重现和构建我们的工作。

    May, 2023

  • 使用神经语言模型和机器翻译技术还原和挖掘朝鲜时代的记录

    本文提出了一种基于自我关注机制的多任务学习方法，用于恢复和翻译历史文献，并通过主题建模进行了深入的探索分析，揭示了多个重要历史事件。

    Apr, 2021

  • hmBERT: 历史多语言语言模型用于命名实体识别

    本篇研究讨论了针对历史文本进行命名实体识别的挑战，并提出使用大型历史语言模型 hmBERT 预训练来解决标注数据不充足的问题，并使用 HIPE-2022 共享任务来评估模型性能。

    May, 2022

  • ChatGPT 能否识别历史文档中的实体？

    本文探讨大型语言模型在历史文本中的命名实体识别和分类任务中的应用，通过比较其与基于最先进的语言模型的系统的表现找出其存在的问题。研究结果表明，历史文本中的命名实体识别存在多个问题，包括实体注释规范的一致性、实体复杂性和代码切换等，这些问题导致大型语言模型与其他系统相比存在着一些缺点。

    Mar, 2023

  • 评估基于领域专属知识库的端到端实体链接：从博物馆藏品学习古代科技

    本研究旨在探究使用现代实体链接方法对博物馆收藏数据进行丰富的可能性，结果表明，正交纠正的实体链接模型在该领域的性能明显优于其他现有方法。

    May, 2023

  • HistNERo: 历史罗马尼亚语命名实体识别

    介绍了 HistNERo，第一个用于历史报纸中的罗马尼亚命名实体识别（NER）的罗马尼亚语语料库，含 323k 个标记文本，覆盖了 1817 年至 1990 年的超过一半时间段。实验结果显示，最佳模型在此语料库上的严格 F1 分数达到了 55.69％，通过减少地区之间的差异并使用一种新颖的领域自适应技术，我们将其提高到了 66.80％，相对增益超过 10％。

    Apr, 2024

  • 实体、日期和语言：使用 T0 进行历史文本的零样本学习

    本文探讨了使用 T0 模型的 zero-shot 技术来进行跨越时间和语言的 NER 是否可行，通过历史文献的测试，结果表明利用 prompt 的 naive 方法在 zero-shot 多语种 NER 方面存在误差，但揭示了该方法在缺乏标记数据的历史语言方面的潜力。此外，实验结果也表明类似 T0 的模型可以用于预测文档的发布日期和语言，这对于历史文本研究非常有意义。

    Apr, 2022

  • 联合语音翻译和命名实体识别

    本篇论文提出了多任务模型将直接语音翻译和命名实体识别相结合，并与传统串行方法进行了对比，在不降低翻译质量的情况下，在命名实体识别任务上显著提高了性能。

    Oct, 2022

  • HistBERT：用于历时词汇语义分析的预训练语言模型

    研究历史语料库数据对语言模型 BERT 训练的影响，从而提出一种预先训练的基于 HistBERT 的语言模型，并比较它与原始 BERT 在单词相似度和语义转化分析方面的表现，该工作强调，上下文语言嵌入在历史语言分析中的效果取决于输入文本的时态特征，并应谨慎应用此方法来研究历史语义变化。

    Feb, 2022

  • 面向历史德语的鲁棒命名实体识别

    应用预训练的基于字符的语言模型，成功提升了历史德语低资源命名实体识别准确性，并相较于经典 CRF-based 方法和 Bi-LSTMs，提高了高达 6% 的 F1 得分表现。

    Jun, 2019