May, 2024

Sonos 语音控制偏倚评估数据集：语音助手中人口统计偏倚评估的方法论

PDF
TL;DR该研究引入了 Sonos Voice Control Bias Assessment Dataset，一个包含控制人口统计学标签的大型数据集，通过针对音乐领域的语音助手请求（1,038 名说话者，166 小时，170k 音频样本，9,040 个唯一标记的转录文本）进行了控制人口统计多样性（性别、年龄、方言区域和种族）。研究还提出了一种统计的人口统计偏见评估方法，适用于这种特定的用例，并利用口语理解度量标准而非转录准确性，我们认为后者更能代表用户体验。通过考虑一对最先进的自动语音识别和口语理解模型，展示了该数据集和统计方法检测人口统计偏见的能力。结果表明在年龄、方言区域和种族之间性能存在统计上显著差异。多变量测试对于阐明方言区域、性别和年龄之间的混合效应至关重要。
voice assistantsdemographic robustnessdatasetdemographic bias assessmentspeech technologies
发现论文，激发创造
  • 非正式对话 v2 数据集

    本研究介绍了一个数据集，有助于评估算法偏见和计算机视觉和语音模型在 11 个属性方面的鲁棒性。数据集包括来自巴西、印度、印度尼西亚、墨西哥、越南、菲律宾和美国的 26,467 个视频。参与者同意将其数据用于评估 AI 模型的公平性并提供了多种人口统计学信息。

    Mar, 2023

  • 使用 Common Voice 数据集建立公平的语音识别系统

    本文使用法语 Common Voice 数据集对 wav2vec~2.0 模型的偏见进行计量，通过对多种固定大小的、精心制作的训练集进行微调，证明了演讲者多样性的重要性，并对 Common Voice 语料库进行了彻底分析，发现了应该被这个数据集的用户考虑的重要缺陷。

    Jun, 2023

  • 自动说话人识别中的偏差

    本文通过 VoxCeleb 说话人识别挑战的案例，深入实证研究和分析机器学习的发展过程中的偏差问题，发现每个开发阶段都存在偏差，建议采取实践性措施和未来研究方向以缓解这一问题。

    Jan, 2022

  • 自动语音识别中的偏见量化

    本文旨在检测 ASR 系统中存在的性别、年龄、方言和非母语口音等方面引起的偏见，提出针对 ASR 开发的偏见缓解策略，主要关注数据集中由发音差异导致的各种偏见。

    Mar, 2021

  • 在综合描述符数据集中发现语言模型中的新偏见

    本文介绍了一种全新的包含 13 个不同人口统计学轴线近 600 个描述符的、基于 HolisticBias 的更加包容性的偏差测量数据集，结合一组偏差测量模板产生超过 45 万个独特的句子提示，用于探索、识别和减少几个生成模型中的新型偏差。

    May, 2022

  • 用于评估仇恨言论识别中人口统计偏见的多语 Twitter 语料库和基准

    本研究到了关于文档分类模型公平性评估的现有研究，主要使用无作者人口属性基准事实的合成单语言数据。在该工作中，作者们汇编并发布了一个多语言 Twitter 语料库，用于推断作者的四个人口属性：年龄，国家，性别和种族 / 民族。该语料库涵盖了五种语言：英语、意大利语、波兰语、葡萄牙语和西班牙语。我们使用 Figure Eight 的众包平台评估了推断出的人口属性标签的准确性。为了检查可能引起偏见的因素，我们对英语语料库进行了人口预测的实证分析。我们评估了四种流行文档分类器的性能，并评估了基准分类器在作者级人口属性上的公平性和偏见。

    Feb, 2020

  • 道德语音识别数据集的注意事项

    本文以自动语音识别为例，研究具备道德操守的语音数据集应具备的特征，包括多样性、包容性、关键元数据等，以提高模型鲁棒性与可用性，同时保护用户隐私、提升可解释性、促进社会技术与情境模型设计，旨在鼓励研究者与实践者建立更多人性化的数据集，提高模型效果。

    May, 2023

  • 构建大规模性别与年龄平衡的说话人语料库的半自动方法：说话人辨识与日程管理的实用性

    本研究提出了一种半自动化的方法，用于创建一个按照 32 个类别（2 种性别、4 个年龄范围和 4 个录制时期）平衡了发言人年龄、性别和录制时期的历时语料库。该方法通过自动处理管道，包括语音检测、背景音乐和重叠语音去除以及说话者分离，大大减少了人工处理，显示出了创建大型目标说话者语料库的潜力。

    Apr, 2024

  • 语音命令：有限词汇语音识别数据集

    本文描述了一份音频数据集，可以用于训练和评估关键词检测系统，并介绍了为什么该任务是一个有趣的挑战，以及为什么需要不同于用于自动语音识别的常规数据集的专门数据集。本文还提出了一种方法来实现可重复和可比较的准确性指标，并描述了数据的收集和验证方式、数据的属性以及以前的版本。最后，报告了在该数据集上训练的模型的基线结果。

    Apr, 2018

  • VoxLingua107：一个口语识别数据集

    本文研究了利用网络音频数据自动识别口语语言的任务。通过从特定语言的 Wikipedia 数据中生成半随机搜索短语，并从 YouTube 中检索视频来提取具有语音的视频片段，并使用语音活动检测和说话人分离提取包含语音的视频片段，最终构建了可用于多种口语识别任务的语言识别模型，自动检索的数据结果优于使用手工标记的专有数据集。

    Nov, 2020