EMNLPOct, 2023

量化方言差异及其与语言之间的关联

PDF
TL;DR本文通过全面评估最有影响力的最新大型语言模型（LLMs）在机器翻译和自动语音识别两个高使用频率应用领域上的功能，对多个高和低资源语言的地区方言进行了功能评估，并分析了地方方言差距与经济、社会和语言因素的相关性，从而为方言 NLP 领域的发展奠定基础，并通过有意识的数据收集，揭示明显的差异并寻找可能的解决途径。
nlp toolsminority variants of languagesregional dialectslarge language modelsdialect gap
发现论文，激发创造
  • 某一语言方言的自然语言处理：一项调查

    该论文调查了自然语言处理中方言的重要性，描述了不同方言数据集和方法，对方言的研究超过了仅仅方言分类的工作，对构建具有公平性的语言技术有重要意义。

    Jan, 2024

  • 一些语言比其他语言更重要：深入探究 NLP 世界中的语言差异

    该论文通过对 NLP 领域不同语言间存在的差异进行综合分析，基于现有的说话人口和活力等方面的语言分类，研究数据资源、NLP/CL 研究、多语言网络平台和预训练多语言模型的分布情况，发现许多语言并未被覆盖，同时明显存在差异，对此提出了一些原因和建议。

    Oct, 2022

  • 方言使用者的需求调查：对德语方言的语言科技态度调查

    调查表明，使用方言输入的潜在自然语言处理工具受到说方言的德语方言和地方语言使用者的欢迎，而方言输出的应用（如机器翻译或拼写检查）则不太受欢迎。

    Feb, 2024

  • 跨语言数据集构建与必要资源的综述

    该研究旨在量化语言资源之间的不平等性，并提出一些方法来改善低资源语言的数据收集，以促进未来的多语言数据发展。

    Nov, 2022

  • 日耳曼语系低资源语言和方言语料库调查

    这篇论文对德国 ic 低资源语言变体的可用语料库进行了系统性调查，发现手工注释的语言资源稀缺，大多数仅涵盖形态和句法，但活跃的研究社区正在不断发展。作者还特意分享了超过 80 个语料库的大概率浏览与查看。

    Apr, 2023

  • 自然语言处理之中语言多样性与包容的现状和前景

    本文通过考察各种语言在 NLP 会议上的代表情况以及它们之间的资源差异等多方面，旨在呼吁 ACL 社区关注当前语言技术和应用中存在的不平等现象，提高关注和支持那些缺乏资源的语言，推动语言技术和多语言交流的发展。

    Apr, 2020

  • 数据集地理：将语言数据映射到语言使用者

    研究了自然语言处理中数据可用性对现代 NLP 系统质量的影响，使用实体识别和链接系统，观察了它们的跨语言一致性，并探讨了解释观察到的数据集分布的地理和经济因素。

    Dec, 2021

  • 构建数字语言鸿沟的桥梁

    AI 技术中的语言偏见是研究和开发方法论不公正的结果，我们提出了一项新的倡议，旨在通过技术设计和方法论，与当地社区进行眼球级的合作，减少语言偏见。

    Jul, 2023

  • 全球语言技术表现中的系统性不平等

    本论文介绍了一种估算全球语言技术的实用性的框架，并量化了 NLP 研究现状中存在的差异性，探讨了其相关的社会和学术因素，并为基于证据的政策制定提出了定制的建议，旨在促进更全球和公平的语言技术。

    Oct, 2021

  • 母语设计偏见：研究英语作为母语对语言模型性能的影响

    该研究通过分析数据集，探讨了大型语言模型在回答非英语母语使用者的问题时是否会产生性能偏差，结果发现与母语使用者相比，非英语母语使用者在与语言模型的互动中会获得更低质量甚至事实错误的回答。

    Jun, 2024