Apr, 2022

非洲裔美国英语形态句法特征消歧：以习惯性 be 为例

PDF
TL;DR本文研究表明自然语言处理系统对非裔美国人说话者存在偏见，尤其是由于在训练数据中缺乏非裔美国英语独特的语言特征，而多数偏见误差是由于此而引起的。为了克服此类偏见，本文提出了一种流程来解决习惯 “be” 造成的偏见，包括使用基于规则的过滤器和数据增强来生成一个平衡的语料库，我们使用这个平衡语料库训练了无偏见的机器学习分类器，以区分习惯 “be” 与其他形式的 “be”，在非裔美国英语转录文本的语料库上取得了 0.65 的 F1 得分。
natural language processingafrican american englishbiashabitual bemachine learning classifiers
发现论文，激发创造
  • 深度多层次方言语言分析：以非裔美国英语为例的案例研究

    本文讨论了自然语言处理中语言歧视和对非标准语言特征的忽略可能导致偏见结果的问题，并介绍了引入人机交互模式以更好地理解非标准语言使用者和强调方言语言包容性的必要性，以便减少身份剥夺感情况下，AAE 本土使用者与 NLP 系统的广泛互动。

    Jun, 2022

  • 毒性和情感分析方法对含非洲裔美国英语表达的偏见的综合视角

    在线社交网络中，使用非洲裔美国英语表达可能导致对话者被认为更加有害，即使在几乎相同的主题下讲话。

    Jan, 2024

  • 降低仇恨言论检测中的种族偏见

    本文研究针对美国非裔英语的歧视在当前仇恨言论数据集中存在的问题，并提出对抗性训练的方法来降低该歧视，实验结果表明该方法可以显著降低美国非裔英语文本的误判率，而对于仇恨言论分类的表现影响很小。

    May, 2020

  • 利用音频分类提高非洲裔美国人英语的语音识别

    使用少量的长形式非洲裔美国英语（AAE）数据，通过将分类器输出与地理信息相结合，优化洲外识别器，从而减少 AAE 与 MAE 之间的相对词错误率差异 38.5%，而不降低 MAE 的质量。

    Sep, 2023

  • 社交媒体中的人口方言差异：非裔美国英语案例研究

    本文研究表明，虽然方言语言在社交媒体上越来越普遍，但是开发自然语言处理工具的资源很少。本文以推特上的非裔美国英语为案例研究方言语言的实用性。文章提出了一种基于地理位置信息的远距离语言学习模型来识别 AAEL（African-American English like language），并验证了这种语言遵循已知的非裔美国英语语言现象。此外，文章对现有的语言识别和依赖解析工具在 AAEL 文本上的质量进行了分析，证明它们在处理这样的文本时比白人说话者的文本表现差。作者还提供了一种语言识别的整合分类器，消除了这种差异，并发布了一个包含 AAEL 类似语言的新推文语料库。

    Aug, 2016

  • 非裔美国英语方言密度自动估算

    本文利用几种音频和语言分析特征，包括 X-vector 表示法，ComParE 特征以及从 ASR 转录文件中提取的信息等，探究了非标准方言比例的自动预测方法，使用弱监督模型将 X-vector 和韵律特征投影到低维度的任务相关特性中，用 XGBoost 方法预测说话人的方言密度且评估其在此任务中的效用。最后，作者在 CORAAL 数据库的音频片段上展示了其方法相对于地面真实数据的显著相关性，并将其作为一种解释和减少语音技术偏见的工具。

    Apr, 2022

  • 评估自然语言生成中对非洲裔美国人语言的偏见

    该研究评估 LLM 在理解非洲裔美国人语言（AAL）方面的能力，比较其在白人主流英语（WME）方面的表现。通过两项任务，评估 LLM 的表现并发现了模型性能差距、偏见和 AAL 特征的理解欠缺。

    May, 2023

  • 探究基于 Transformer 的文本生成中的非裔美国人土语英语

    本研究使用 AAVE/SAE 推文对 AAVE 文本的语法结构、AAVE 特定语言和 SAE 特定语形进行隔离，以探究 GPT-2 在 AAVE 文本上的表现，并使用预训练的情感分类器评估每个样本及其 GPT-2 生成的文本，结果显示 AAVE 文本的负面情感分类比 SAE 文本更多，GPT-2 的使用一般会增加正面情感的出现。此外，本研究进行了人类评估，用以比较 GPT-2 生成的 AAVE 文本与 SAE 文本在上下文的严谨性和总体质量。

    Oct, 2020

  • 关于仇恨言论和辱骂语言检测数据集中的种族偏见问题

    本文研究了五个 Twitter 数据集上使用的基于分类器的识别恶意语言的技术中的种族歧视问题，并在使用这些技术时可能产生的不平等负面影响上发出了警告。

    May, 2019

  • 了解自然语言理解中的方言差异

    通过创建一个有挑战性的 GLUE 变体（VernAcular Language Understanding Evaluation (VALUE) benchmark），该研究介绍了一组词汇和形态变换规则，构造为 African American Vernacular English（AAVE） 的 11 个特征。实验表明这些新的方言特征可能会导致模型性能下降。

    Apr, 2022