ACLFeb, 2021

如何在文盲社区建立代表性语料库：发展中国家挑战与缓解策略综述

PDF
TL;DR为解决数据驱动 NLP 中文盲社区的不足，本文查明了来自贫困国家乡村社区的不识字人群数据收集可能存在的潜在偏见和道德问题，并提出了一套实用的缓解策略。
nlpdata collection methodsspeaker literacyilliterate communitieslow-income countries
发现论文，激发创造
  • NusaWrites：为代表性和极度资源匮乏的语言构建高质量语料库

    对印尼本土语言进行案例研究的结果表明，原生说话者通过段落撰写所生成的数据集在词汇多样性和文化内容方面优质，有助于推广自然语言处理技术到较少研究的语言领域。

    Sep, 2023

  • 日耳曼语系低资源语言和方言语料库调查

    这篇论文对德国 ic 低资源语言变体的可用语料库进行了系统性调查，发现手工注释的语言资源稀缺，大多数仅涵盖形态和句法，但活跃的研究社区正在不断发展。作者还特意分享了超过 80 个语料库的大概率浏览与查看。

    Apr, 2023

  • 构建和扩展印尼本地语言的低资源和代表性平行数据集

    介绍了 Bhinneka Korpus 这一多语种并行语料库，以增强印度尼西亚当地语言资源的获取和利用，并通过 IBM 模型 1 实验表明该语料库在进一步发展低资源语言的高级 NLP 技术和多语种翻译模型方面显示出良好的性能。

    Apr, 2024

  • 低资源语言：现有工作回顾与未来挑战

    本文回顾了 NLP 领域中解决低资源语言问题的先前重要进展，并分析了未来研究方向中的潜在改进。

    Jun, 2020

  • 验证和探索大规模地理文集

    本文研究了语料库创建决策对大型多语言地理 Web 语料库的影响。通过从 Common Crawl 获取的 4270 亿个词的语料库，使用三种方法改善代表特定语言国家对 (如新西兰英语) 的子语料库质量：(i) 独立语言识别系统的一致性，(ii) 基于哈希的去重，以及 (iii) 特定位置的异常检测。然后，通过使用语料库相似度度量将每个结果语料库与基准数据集进行比较，评估每个步骤对语言级别和国家级别的影响。目标是了解上游数据清理决策对下游语料库的影响，重点关注代表性不足的语言和人口。评估结果表明，每个清理阶段都提高了子语料库的有效性，但这种改进在语言和人口之间分布不均匀。该研究结果显示了标准语料库创建技术可能会无意中排除代表性不足的人口。

    Mar, 2024

  • 重视过程，以更好地为原住民社区提供语言技术服务

    通过采访 17 位在澳大利亚从事或支持土著和 / 或托雷斯海峡岛民社区语言技术项目的研究人员，本文探讨了在为土著语言构建 NLP 技术时的伦理考虑，并建议 NLP 研究人员应关注与土著社区的互动过程，而不仅仅关注去语境的产物。

    Feb, 2024

  • 拉丁美洲土著语言的自然语言处理进展

    该论文聚焦于快速技术进步面前土著语言社区的边缘化问题，强调这些语言的文化丰富性以及它们在自然语言处理领域被忽视的风险。我们旨在弥合这些社区与研究人员之间的鸿沟，强调尊重土著社区观点的包容性技术进步的必要性。我们展示了拉丁美洲土著语言在自然语言处理方面的进展，以及涵盖拉丁美洲土著语言现状、它们在自然语言处理中的代表性，以及保护和发展它们所需要的挑战和创新的调查。该论文在理解拉丁美洲土著社区以及一般低资源土著社区的自然语言处理需求和进展方面对当前文献作出了贡献。

    Apr, 2024

  • 为促进语言科技的多样性，构建和维护对话语料库

    提供了分析流程和最佳实践准则来构建和策划日常会话语料库，并开发了质量控制方法。通过两个案例研究展示了会话数据的广泛实用性，并讨论了语言多样性会话语料库对语言科学和语言技术的强有力的经验基础。

    Mar, 2022

  • 社区学习：通过自然语言处理理解社区以实现积极影响

    在后疫情世界中，经济动荡对城市社区尤为严重，为了帮助社区发展，本文提出一种计算任务 —— 社区学习​​，该任务通过提取社区的自然语言数据并将其转化为适合进一步下游应用的知识图谱结构来实现，该方法已成功用于家庭无家可归和教育领域。

    Oct, 2022

  • 跨低资源非洲语言引导 NLP 工具：概述及前瞻

    总结南部非洲原生非洲语言的自举技术，其中包括使用语法和基于规则的自然语言生成，以及使用比较语言学中的类似度措施，这是进一步研究的肥沃领域。

    Oct, 2022