ACLApr, 2021

挖掘 Wikidata 以获得非洲语言姓名资源

PDF
TL;DR本研究提供了一个由 Wikidata 衍生的、对应于常见实体类型 (个人、位置、组织) 的名称列表资源，以支持为非拉丁字母语言开发语言技术的进一步发展。我们生产了包含约 1.9 百万个名字的列表，涵盖了 28 种非洲语言，同时讨论了数据的产生过程、局限性以及类似误差的道德考虑等方面的问题。
发现论文，激发创造
  • ParaNames 1.0: 利用 Wikidata 创建一个包含 400 多种语言的实体名称语料库

    提出了 ParaNames，一种包含 14 亿个名字跨越 400 种语言的大规模多语言平行名称资源，可以用于多语言语言处理、名称翻译 / 音译以及多语言命名实体识别等任务。

    May, 2024

  • JRC-Names: 一份免费可获取的高度多语种实体命名资源

    本研究描述了一种新的，免费提供的、高度多语种的名义实体资源，包含了经过七年大规模多语言新闻分析和维基百科挖掘编制的 20 多种语言、20 万个人名和组织名及同样数量的拼写变体。该资源可以用于改进数据库或互联网上的名称搜索，为机器学习系统提供学习命名实体识别规则，改善机器翻译等。我们在此描述了该资源的创建方式、当前规模的统计数据、形态学屈折问题的解决方案以及其功能的详细信息。该资源的更新将每日提供。

    Sep, 2013

  • 非洲语言词典和平行数据集的协同构建：初步评估

    该研究报告介绍了 NTeALan 协会在非洲语言处理中建立开源平台协作构建词典数据等资源的最新成果。

    Mar, 2021

  • ParaNames：一个大规模多语种实体名称语料库

    ParaNames 为跨越 400 种语言的 118 百万个人名提供了一个多语言平行名字库，映射到标准化的实体类型，并使用 Wikidata 作为数据源，为定义任务、实体识别和链接等提供了有用的多语言处理补充数据。

    Feb, 2022

  • 走向更有意义的低资源语言资源

    介绍了关于开发与使用低资源语种有意义资源的立场，并分析了两个多语种资源的内容、质量以及注重使用该语种的用户开发这些资源的伦理问题，并提出了资源开发的指导方针。

    Feb, 2022

  • MasakhaNER: 面向非洲语言的命名实体识别

    本文介绍了第一个大型公开高质量的非洲十种语言的命名实体识别数据集，研究这些语言对命名实体识别带来的挑战，并在监督和迁移学习设置下进行了广泛的实证评估和分析，旨在启发未来的非洲自然语言处理研究。

    Mar, 2021

  • 多语言人名识别和音译

    提出了一个探索性工具，它从多语言新闻集合中提取出人名，将同一人物的不同名字匹配起来，并根据这些人名在相关新闻中的共同出现来推断人物间的关系，该工具能匹配包括希腊文、西里尔文和阿拉伯文等不同语言和文字系统中的名字变体，该工作是 NewsExplorer 新闻分析系统的一部分。

    Sep, 2006

  • MasakhaNER 2.0：面向非洲的命名实体识别迁移学习

    本文研究非洲语言在自然语言处理上的挑战，针对命名实体识别任务，创造了包含 20 种非洲语言的最大人工标注数据集，研究了现有跨语言传递方法的表现，并发现选择最佳传递语言相较使用英语，可以提高零 - shot F1 分数 14 点。

    Oct, 2022

  • Masakhane -- 非洲机器翻译

    本文介绍了 MASAKHANE 建立非洲自然语言处理和机器翻译社区的方法和成功经验。

    Mar, 2020

  • 低资源语言与在线知识库：一项需求调研研究

    研究通过对维基百科论坛讨论和对 14 个新手贡献者进行的环境调查，发现在低资源语言贡献者中存在一些问题，如在低资源语言中验证文章的资源匮乏以及语言技术支持（如翻译系统和拼写检查）导致多个错误从而浪费贡献者的时间。希望该研究能够支持设计师使在线知识库对低资源语言使用者更加可访问。

    May, 2024