本研究聚焦于关键词图像搜索领域中的偏见和公平性问题，评估并减轻搜索结果中的性别职业刻板印象。通过使用开源和专有的 API 来确定图像的性别，我们提出了一种考虑到与指定关键词的相关性和公平性的公平感知排序算法，并在实验中证明其显著地提高了公平性分数和相关性分数。

May, 2023

我们研究了在视觉和语言模型训练中使用大型未筛选数据集的不公平表现，以及如何应对这个问题，研究发现社会偏见在图像生成、图像描述和图像文本嵌入等视觉语言任务中都是一个持续而普遍的问题。

Apr, 2023

本研究分析了图像描述中的社会偏见以及种族偏见，具体关注于 COCO 数据集中的感知性别和肤色标注等因素。结果表明图像描述模型对于不同肤色的人物的表述、情感和词汇选择存在差异，并发现这种差异在现代模型中更加明显。

Jun, 2021

将多样化的人们图像排名与人类的人们多样性概念相匹配的一种方法，使用 Perception-Aligned Text-derived Human representation Space（PATHS）作为表示空间，在标准的最大边际相关（MMR）排名算法中更能展现人们多样性的不同类型（如残疾和文化服饰），经验证实现了比基准方法更好的多样性。

Jan, 2024

本研究提出了一种总结生成文本到图像模型中的社会偏见并确保结果在不同人群之间公平的方法。我们通过在多样的文本提示下，用由各种民族、性别、职业、年龄组等组合构建的感知肤色和性别差异的合成数据对文本到图像模型进行微调，从而减轻了这种偏见。相较于基准模型，我们的多样性微调模型在感知肤色和性别方面将群体公平指标分别提高了 150% 和 97.7%。该模型生成具有感知肤色较暗和更多女性的生成图像。为推动开放研究，我们将公开发布所有文本提示和生成训练图像的代码。

Oct, 2023

本文研究互联网搜索中出现的性别偏见，尤其是在图像搜索中的性别失衡问题。为此，我们提出了两种消除偏见的方法：采用处理中的合理采样方法解决训练模型时的性别失衡问题，以及采用基于互信息的后处理特征裁剪方法来消除预训练模型的多模式表示中的偏见。通过在 MS-COCO 和 Flickr30K 基准测试上进行的大量实验，证明了我们的方法显著降低了图像搜索模型中的性别偏见。

Sep, 2021

机器学习（ML）技术已知存在伦理和运营问题，但我们正见证企业在敏感应用中部署它们的增长势头。我们提出了一种利用网络搜索和生成模型来缓解判别模型缺陷的方法。我们在 ImageNet 的 People Subtree 子集上展示了我们的方法，并展示其在某些代表弱势群体的类别中增强了鲁棒性和减轻了偏见（例如，有色人种女医生）。虽然在极大程度上提高了模型的整体性能，我们在模型的性别准确性差异方面实现了显著降低（77.30%）。除了这些改进，我们观察到分类器的决策边界得到了明显的增强，它具有较少的弱点和类别之间的更大差异。虽然在本研究中我们展示了针对弱势群体的方法，但该技术可以扩展到各种问题和领域。

Oct, 2023

本文通过研究基于大规模未标记图像数据的机器学习方法，并发现其可能对种族，性别，体重，残疾和少数种族存在的偏见和刻板印象进行了分类和嵌入，从而证明了这些模型可能会自动学习社会偏见。

Oct, 2020

本文提出了一种新的度量图像标题多样性的指标，并使用隐含语义分析进行核函数转换以利用 CIDEr 相似度进行度量，结果发现最近的标题模型在准确度和多样性方面与人类表现仍存在较大差距，并且优化准确度（CIDEr）的模型的多样性很低，同时表明在强化学习的交叉熵损失和 CIDEr 奖励之间进行平衡可以有效地控制生成的标题的多样性和准确性的平衡。

Mar, 2019

本文通过对两个流行的 T2I 模型（DALLE-v2 和 Stable Diffusion）进行广泛的自动化和人工评估实验，专注于反映出的性别、年龄、种族和地理位置之间的职业，人格特征和日常情况的生成图像，研究和量化常见的社会偏见。我们的研究结果表明，这些模型中存在严重的职业偏见和地理位置代表的日常情况。尽管可以通过增加提示本身的详细信息来缓解这些偏差，但提示缓解可能无法解决图像质量或模型在其他场景中的其他用途的差异。

Mar, 2023