Jan, 2019

生物信息的偏见：高风险环境下语义表述偏见的案例研究

PDF
TL;DR本研究就机器学习在职业分类中潜在的性别歧视问题进行了大规模调研，分析了不同语义表征中包含显性性别表示（如名字和代词）对职业分类的影响，并量化了这些表示被 “擦除” 后残留的偏见，并描述了在显性性别表示缺失时出现的代理行为。同时，研究也表明，不同性别的真正正率差异与职业领域中现存的性别不平衡存在相关性，这可能加剧这些不平衡。
gender biasoccupation classificationmachine learningsemantic representation biasgender indicators
发现论文，激发创造
  • 公平度量分数是否足以评估机器学习中的歧视偏见？

    论文研究了当前用于评估机器学习算法在文本数据上进行性别歧视的不足之处的度量方法，着重于 Bios 数据集上的职业预测任务，研究表明常用的性别偏差指数在训练集样本较小时具有不可靠性。

    Jun, 2023

  • 偏见的诞生：一项关于英语语言模型中性别偏见演变的研究

    研究发现使用 LSTM 架构训练的语言模型在表示性别时存在动态变化，并且性别信息逐渐局部化。通过监控训练动态，可以检测到女性和男性在输入嵌入中的表示不对称。去除偏见的策略如何应用需要更多深入探讨。

    Jul, 2022

  • 自然语言语料库所自动生成的语义带有类似人类的偏见

    这份研究首次展示，应用标准机器学习到日常语言时会形成类似于人类的语义偏见，同时该研究还提供了用于评估文本偏见的新方法。

    Aug, 2016

  • 消除嵌入偏见以减少文本分类中的性别偏见

    研究表明，预训练词嵌入可能会的继承训练数据的性别偏见，并探究这种偏见如何影响职业分类任务。该文案例研究发现，传统的去偏方法可能会导致下游分类器的偏见恶化，但我们提出了一种相对较小的调整方法来同时减少偏见并保持高分类精度。

    Aug, 2019

  • 探索并缓解语言模型中的社会偏见

    为了提高语言模型的公正性，本文提出了多项定义并给出了新的测试和度量方式，旨在减少机器学习在文本生成过程中对性别、种族、语言宗教等社会构建的刻板印象所带来的负面影响。实证结果和人工评估表明，该方法能够在文本生成中减少偏见同时保留重要的上下文信息。

    Jun, 2021

  • 专业陈述和预示的能量：英文简历中隐含性别信息的案例研究

    通过对 1.8K 个美国男女简历的分析，本文发现虽然分类器用于移除代词和实体，进行数据平衡，但是仍能够捕捉到性别信号，并且女性在简历中使用更多强调低权力的动词，这种性别歧视存在于 CVs 中。

    Nov, 2022

  • 自然语言处理中社会人口统计信息偏差调查

    本篇论文调查了 209 篇关于自然语言处理模型中的偏差的论文，提出了社会人口统计学偏见的定义，并确定了研究偏见的三个主要类别：偏见类型，偏见度量和去偏见。作者总结说，目前的去偏见技术是肤浅的，不能真正消除偏见；最后提供了未来工作的建议。

    Jun, 2023

  • 量化和减少词嵌入中的刻板印象

    通过研究 word embedding 中的性别特征，开发了一种有效算法，减少性别刻板印象又能保留嵌入的有用几何特性。

    Jun, 2016

  • 图像搜索中的公平性：职业定型在图片检索中的研究及其去偏见化方法

    本研究聚焦于关键词图像搜索领域中的偏见和公平性问题，评估并减轻搜索结果中的性别职业刻板印象。通过使用开源和专有的 API 来确定图像的性别，我们提出了一种考虑到与指定关键词的相关性和公平性的公平感知排序算法，并在实验中证明其显著地提高了公平性分数和相关性分数。

    May, 2023

  • 名字有什么作用？在无法访问受保护属性的情况下减少生物学的偏见

    通过减少个人名称的词嵌入与真实职业预测概率的相关性，以消除词嵌入中所编码的社会偏见，提出了一种方法，无需访问受保护属性，仅在训练期间需要访问个人名称，从而在职业分类中减少种族和性别偏见。

    Apr, 2019