Mar, 2024

DIALECTBENCH: 方言，变体和相关语言的自然语言处理基准

PDF
TL;DR使用 DIALECTBENCH 评估自然语言处理系统在标准和非标准方言上的性能差异，为语言技术的发展提供了综合视角。
language technologiesnlp researchnon-standard dialectsdialectbenchnlp system performance
发现论文，激发创造
  • 某一语言方言的自然语言处理：一项调查

    该论文调查了自然语言处理中方言的重要性，描述了不同方言数据集和方法，对方言的研究超过了仅仅方言分类的工作，对构建具有公平性的语言技术有重要意义。

    Jan, 2024

  • CODET: 机器翻译方言对比评估基准

    通过发布一个对比方言基准数据集，我们量化展示了大型 NMT 模型在有效翻译方言变体时面临的挑战。

    May, 2023

  • 跨方言英文自然语言处理框架：Multi-VALUE

    介绍 Multi-VALUE—— 一种用于评估和实现英语方言不变性的资源套件，通过构建适用于 50 种英语方言的可控规则翻译系统，发现非标准方言上的主流模型存在显著性能差异，并以此作为数据增强技术来提高现有系统的方言稳健性，最后与 “Chicano” 和 “Indian English” 的母语使用者合作，发布了新的 CoQA 任务的标准变体。

    Dec, 2022

  • 评估方言机器翻译度量的基准（无标准拼写法）

    评估自然语言处理中评价指标对非标准化方言的鲁棒性，发现现有指标在对瑞士德语文本生成输出的评估上存在困难，提出了增加鲁棒性的初步设计方案。

    Nov, 2023

  • 量化方言差异及其与语言之间的关联

    本文通过全面评估最有影响力的最新大型语言模型（LLMs）在机器翻译和自动语音识别两个高使用频率应用领域上的功能，对多个高和低资源语言的地区方言进行了功能评估，并分析了地方方言差距与经济、社会和语言因素的相关性，从而为方言 NLP 领域的发展奠定基础，并通过有意识的数据收集，揭示明显的差异并寻找可能的解决途径。

    Oct, 2023

  • GlobalBench：自然语言处理全球进展基准测试

    本文介绍了一个名为 GlobalBench 的多语言测试集，主要用于跟踪和激励全球对于不平衡的 NLP 系统表现以及对于被较少关注的语言技术的开发。GlobalBench 关注的不仅是准确度，同时还监测其涵盖的各种语言的效用和平等性，识别最需要开发的语言，并奖励相关研究。至今，GlobalBench 覆盖了 190 种语言的 966 个数据集，并有 1128 个系统提交，跨越 62 种语言。

    May, 2023

  • IndicNLG 基准：印度语言中多样化自然语言生成任务的多语言数据集

    本文介绍 IndicNLG 基准，一个用于评估 11 种 Indic 语言的自然语言生成的数据集集合，包括人物传记生成、新闻标题生成、句子摘要、改写生成和问题生成等 5 个不同的任务，使用预训练序列到序列模型和多语言基线来评估性能，并表明多语言特定预训练模型的强大性能和我们数据集训练的模型对其他相关 NLG 任务的实用性。

    Mar, 2022

  • 了解自然语言理解中的方言差异

    通过创建一个有挑战性的 GLUE 变体（VernAcular Language Understanding Evaluation (VALUE) benchmark），该研究介绍了一组词汇和形态变换规则，构造为 African American Vernacular English（AAVE） 的 11 个特征。实验表明这些新的方言特征可能会导致模型性能下降。

    Apr, 2022

  • 使用真实标签进行语言种类识别

    本文介绍了 DSL True Labels (DSL-TL)，这是第一个人工标注的多语言类别识别数据集，并介绍了使用此数据集训练出的多个模型以区分语言类别的结果，这为开发更强大和更公平的语言类别识别系统提供了可靠的基准，并免费提供给研究社区。

    Mar, 2023

  • Dynabench: NLP 基准评估的重新思考

    Dynabench 是一个开源平台，支持动态数据集创建和模型基准测试，可以在一个 web 浏览器中运行。通过人和模型操作，使 annotators 创建能够被目标模型误分类但另一个人不能误分类的示例。本文认为，Dynabench 解决了当前模型在基准任务上表现优异，但在简单的挑战示例和实际场景中失败的问题。我们针对四个初始 NLP 任务，阐述了这些概念，突出了 Dynabench 平台的优点，并解决了动态基准测定作为新标准引起的潜在反对意见。

    Apr, 2021