Dec, 2022

跨方言英文自然语言处理框架：Multi-VALUE

PDF
TL;DR介绍 Multi-VALUE—— 一种用于评估和实现英语方言不变性的资源套件，通过构建适用于 50 种英语方言的可控规则翻译系统，发现非标准方言上的主流模型存在显著性能差异，并以此作为数据增强技术来提高现有系统的方言稳健性，最后与 “Chicano” 和 “Indian English” 的母语使用者合作，发布了新的 CoQA 任务的标准变体。
dialect invariantenglish dialectsrule-based translation systemperformance disparitiesdialect robustness
发现论文，激发创造
  • 了解自然语言理解中的方言差异

    通过创建一个有挑战性的 GLUE 变体（VernAcular Language Understanding Evaluation (VALUE) benchmark），该研究介绍了一组词汇和形态变换规则，构造为 African American Vernacular English（AAVE） 的 11 个特征。实验表明这些新的方言特征可能会导致模型性能下降。

    Apr, 2022

  • DIALECTBENCH: 方言，变体和相关语言的自然语言处理基准

    使用 DIALECTBENCH 评估自然语言处理系统在标准和非标准方言上的性能差异，为语言技术的发展提供了综合视角。

    Mar, 2024

  • 量化方言差异及其与语言之间的关联

    本文通过全面评估最有影响力的最新大型语言模型（LLMs）在机器翻译和自动语音识别两个高使用频率应用领域上的功能，对多个高和低资源语言的地区方言进行了功能评估，并分析了地方方言差距与经济、社会和语言因素的相关性，从而为方言 NLP 领域的发展奠定基础，并通过有意识的数据收集，揭示明显的差异并寻找可能的解决途径。

    Oct, 2023

  • CODET: 机器翻译方言对比评估基准

    通过发布一个对比方言基准数据集，我们量化展示了大型 NMT 模型在有效翻译方言变体时面临的挑战。

    May, 2023

  • 奥克西唐语方言的正字法变异建模

    通过对多种奥克西唐方言的数据进行微调，我们在本研究中成功地对一种多语种模型进行了评估，结果显示该模型能够较好地表示这些方言。我们还通过编制一个包含四种奥克西唐方言的平行词汇表进行评估，结果显示模型根据方言之间的表层相似性加强了表示。当进一步对模型进行词性标注和通用依存分析微调时，其性能对方言变异是稳定的，即使仅使用单个方言的词性数据进行训练。我们的发现表明，大型多语种模型可以在预处理过程中最小化拼写规范化的需求。

    Apr, 2024

  • 通过对话理解评估语言模型的方言鲁棒性

    增强学习模型（LLMs）在不同英语方言上的表现以及预测和选择目标词的任务的采用的方法与结果

    May, 2024

  • 深度多层次方言语言分析：以非裔美国英语为例的案例研究

    本文讨论了自然语言处理中语言歧视和对非标准语言特征的忽略可能导致偏见结果的问题，并介绍了引入人机交互模式以更好地理解非标准语言使用者和强调方言语言包容性的必要性，以便减少身份剥夺感情况下，AAE 本土使用者与 NLP 系统的广泛互动。

    Jun, 2022

  • 神经机器翻译到语言变体

    通过使用具有共享表示的多语言任务解决英文到特定语言品种的神经机器翻译时可能遇到的问题，并利用标签化和非标签化的平行语料库，以及低资源条件对欧洲巴西葡萄牙语、欧洲 - 加拿大法语、克罗地亚 - 塞尔维亚语以及印度尼西亚 - 马来语这四种语言进行实验。实验结果显示，使用共享表示的多语言方法能够显着提高翻译成相似语言的基线系统的 BLEU 分数。

    Nov, 2018

  • WorldValuesBench：一种大规模多文化价值意识语言模型的基准测试数据集

    本文介绍了 WorldValuesBench，这是一个全球多元化的大规模基准数据集，用于多元文化价值预测任务，要求模型基于人口统计上下文生成对价值问题的评分回答。该数据集源自一个有影响力的社会科学项目 World Values Survey（WVS），从全球 94728 名参与者那里收集了数百个价值问题（例如社会、经济、伦理学）。我们从 WVS 的回答中构建了超过 2000 万个 “(人口统计属性，价值问题) → 回答” 的例子。我们使用这个数据集进行了案例研究，并表明这个任务对于强大的开源和闭源模型来说是具有挑战性的。在仅 11.1%、25.0%、72.2% 和 75.0% 的问题上，Alpaca-7B、Vicuna-7B-v1.5、Mixtral-8x7B-Instruct-v0.1 和 GPT-3.5 Turbo 分别可以实现与人类归一化答案分布的 Wasserstein 1 距离小于 0.2。WorldValuesBench 为研究语言模型中的多元文化价值意识的局限性和机遇开辟了新的研究领域。

    Apr, 2024

  • 探索大规模语言模型中的多语言人类价值观念：价值一致性、可传递性和可控性是否跨语言保持一致？

    通过全面的研究，我们证实了多语言语言模型中存在多语言人类价值观念，进一步的跨语言分析揭示了语言资源差异引起的三个特征：跨语言不一致性、扭曲的语言关系以及高资源语言与低资源语言之间的单向跨语言传递，同时验证了通过使用主导语言作为源语言来控制多语言语言模型的价值观调整能力的可行性。我们的发现在多语言语言模型的预训练数据构成方面给出了明智的建议：在跨语言对齐传递时包含有限数量的主导语言，避免其过度流行，并保持非主导语言的平衡分布。我们希望我们的发现能够为增强多语言人工智能的安全性和实用性做出贡献。

    Feb, 2024