多模态语音与图像 AI 中,美国人等同于白人
本研究分析了图像描述中的社会偏见以及种族偏见,具体关注于COCO数据集中的感知性别和肤色标注等因素。结果表明图像描述模型对于不同肤色的人物的表述、情感和词汇选择存在差异,并发现这种差异在现代模型中更加明显。
Jun, 2021
研究了基于“CLIP(对比语言图像预训练)”模型进行多模态“视觉语义”的最新进展,结果表明,此模型存在种族偏见的现象,即具体到“一降”的界定,黑人-白人女性图像被归为黑人是该模型中的默认值,证明了AI学习的自然语言中存在的隐性偏见与认知信念有关,因此必须对其进行监督和检查。
May, 2022
通过评估CLIP模型的性别、种族和年龄标记偏见,我们发现CLIP在白人个体上更容易选择人这个标签而不是种族或者性别标记,同时在男性个体上更倾向于性别标记而非年龄标记,表明其训练数据存在语言和社会偏见。
May, 2022
本文提出了一个名为MMBias的基准数据集,用于评估自我监督多模态模型中的偏差,并介绍了一种旨在缓解偏差的去偏置方法。
Mar, 2023
本文的研究目的是探讨文本转图像模型(T2I)如何在生成图像时通过特定的单词体现出种族和性别的偏见,作者通过遮蔽语言模型计算各单词的影响得分,实验结果表明该方法能够用于识别生成图像中的社会刻板印象。
Jun, 2023
通过使用现有的文字资源来评估 T2I 模型生成的图像中的地缘文化刻板印象,我们的研究表明在与其他属性相比,特定身份群体的图像中刻板印象出现的可能性是其他属性的三倍,并揭示出所有身份群体的默认代表都具有刻板印象的外观。
Jan, 2024
本研究解决了多模态AI模型中面部印象偏见的问题,探讨了数据集规模对该偏见的影响。通过分析43个CLIP视觉语言模型,发现模型在面部印象偏见方面的表现与社会偏见的共享程度密切相关,尤其是在大型数据集上,模型能够复现更精细的社会偏见。这一发现提示在使用预训练模型进行科学研究时,需考虑数据集的策划问题。
Aug, 2024
本研究探讨了CLIP模型中人脸的社会认知,填补了这一领域的研究空白。通过系统性地操控面孔的年龄、性别、种族等属性,我们发现CLIP在社会认知上存在对法律保护属性的偏见,尤其是在对黑女性面孔的评价中表现突出。此外,面部表情的影响程度大于年龄和光照,提示以往研究未控制的视觉属性可能得出错误的偏见结论。
Aug, 2024