Jun, 2024

基于 Transformer 的 ASR 表示中性别的编码

PDF
TL;DR使用线性消除的方法，本研究探讨了两个基于 transformer 的 ASR 模型 ——Wav2Vec2 和 HuBERT 中性别信息的编码和利用，并证明了从 ASR 模型的每一层中移除性别信息的可行性。此外，分析表明最终层中的第一帧和最后一帧存在大量的性别信息，解释了在这些层中消除性别的容易度。研究结果表明可以创建性别中性的嵌入，并将其整合到 ASR 框架中而不影响其效果。
发现论文，激发创造
  • 自监督语音转文本系统中性别影响的研究

    本研究使用法语作为研究语言，通过比较不同性别平衡的预训练数据集在 ASR 和 ST 中的表现来探究其影响。结果表明，性别平衡的预训练模型不一定导致最佳结果，并且使用自监督模型作为特征提取器时，ASR 和 ST 的结果会遵循更复杂的模式。

    Apr, 2022

  • 探究 BERT 中的性别偏见

    本文以 BERT 为例，分析了上下游情感和情绪强度预测任务中的性别偏见，并提出了一种算法来去除嵌入向量中特定于性别的特征，以减少 BERT 诱发的偏见。

    Sep, 2020

  • 使用潜在解缠和反事实生成消除词嵌入中的性别偏见

    通过 siamese auto-encoder 和 adapted gradient reversal layer 的方法，我们提出了一种注意 semantic latent 信息和 gender latent 信息的词向量去偏见化的方法，同时减小语义信息损失，显著优于现有的去偏见化方法，并适用于人工语料库的下游 NLP 任务。

    Apr, 2020

  • 神经机器翻译中的性别转换筛选

    本文研究了最先进的机器翻译系统中的信息流，以将法语翻译成英语时的性别转移为例。通过实验控制的示例，我们尝试多种方法来研究性别信息如何在编码器 - 解码器架构中循环传播，包括探测技术以及对 MT 系统中使用的内部表示形式的干预。结果表明，性别信息可以在编码器和解码器构建的所有标记表示中找到，并且导致我们得出结论，即存在多个性别转移的路径。

    Feb, 2022

  • 消除信息检索模型中的性别偏见

    研究通过引入性别缓解技术、使用预训练模型以及适配器网络，成功地减轻了性别偏见问题，并提高了信息检索的敏感性。

    Aug, 2022

  • 利用词嵌入技术消除神经机器翻译中的性别偏差

    本文提出使用词向量以减少神经机器翻译中性别偏见的方法并应用于 Transformer 翻译结构中，通过评估在 WMT 英西标准测试上的结果，展示出一定的性能提高和在职业测试集上消除基线系统已存在的偏见。

    Jan, 2019

  • 多语言模型中的性别表征分析

    本文旨在研究多语言语言模型内部表征结构，以性别划分表示为实用案例，分析不同语言之间共享的子空间中性别概念的编码程度，发现共享的显著成分与语言特定成分并存，这解释了一个现象：尽管性别分类在不同语言之间转移表现良好，但在单一语言上训练的性别去除干预并不容易转移到其他语言。

    Apr, 2022

  • 不要忘记代词：消除语言模型中的性别偏见，同时保留事实性别信息

    本研究探讨大型语言模型中的性别信号，并重点关注英语文本中的两种信号类型：事实性性别信息和性别偏见，在保留事实性性别信号的同时试图减弱刻板印象。研究发现，可以通过过滤方法减少性别中立的专业名称的刻板印象，而不会对语言建模能力造成显着的恶化。这些发现可以应用于语言生成，以缓解对刻板印象的依赖同时保留性别一致的指代。

    Jun, 2022

  • 使用 Transformer 进行基于 Twitter 的性别识别

    本文提出基于 transformers 的模型，从社交媒体用户的图像和推文中预测其性别，从而解决性别信息不公开的问题，同时，图像分类和文本分类模型能够相互支持，提高整体分类准确率。

    Apr, 2022

  • Transformer 模型中的性别偏见：全面调查

    本篇论文从语言学角度全面调查了 Transformer 模型中的性别偏见，批判性地审查了现有文献关于 Transformer 中性别偏见的方法和度量标准，并提出了当前方法的局限性，强调了在开发和部署语言技术时，促进公平的重要性。

    Jun, 2023