偏见放大的系统研究
本研究通过分析和实验,展示了在分类器中无法避免的一些偏见和可以上保准确认定的其他偏见来源,并提出了两种新的解决方法。这些方法可以明显降低偏见而不损害准确性,甚至可以取得一些准确度的提高。
Dec, 2018
通过引入一个偏差放大的训练集和一个反偏袒的测试集来评估模型的性能,我们提出为了开发对这些偏差具有稳健性的模型,应该将数据集的偏差放大。实验表明,这种评估体系对模型来说比原始的数据拆分和手工制作的挑战集都更具挑战性。
May, 2023
本文旨在通过记录模型与数据的交互过程,以改善未来爬取的 Internet 数据集的信息稳定性。我们发现模型输出表现为源自训练集的样本具有一致性校准时,偏见放大的程度与模型预测的性别偏差等测试时偏差统计显著相关,如果同时在三个条件预测场景中使用,能更好的校准和稳固反馈系统。
Sep, 2022
随着人工智能技术的普及,技术所带来的长期危害,如失业或威胁人类安全,引起了人们的担忧。然而,更为迫切和已存在的威胁是 AI 技术今天所面临的问题:对训练数据集中的偏见进行扩大,并迅速对边缘化的人群产生巨大的影响。政府和公共部门机构有责任与技术开发人员建立对话,并发布围绕数据标准的审慎政策,以确保数据集的多样性和防止偏见的扩大,并确保以包容为宗旨构建 AI 系统。
Sep, 2018
本文研究了文本到图像领域中的偏差放大现象,通过比较训练和生成的图像中的性别比例,发现模型似乎放大了训练数据中存在的性别职业偏见。然而,我们发现放大主要归因于训练字幕和模型提示之间的差异。当我们考虑到训练和生成所使用的文本之间的各种分布差异后,观察到放大程度显著降低。我们的研究结果说明了比较模型和训练数据中的偏见的挑战,并强调了导致偏见放大的混淆因素。
Aug, 2023
研究表明,基于先进的机器学习技术的自然语言处理中存在性别偏见放大问题,本文提出了基于后验正则化的偏见缓解方法,旨在降低性别偏见的放大,实验证明该方法可在保证少量性能损失的情况下,几乎完全消除了分布中的偏见放大。
May, 2020
基于引入可学习的辅助变量的 BAM 算法通过扩大偏差,训练模型并在重新加权数据集上继续训练,从而在计算机视觉和自然语言处理的虚假相关基准测试中取得了竞争性的性能,同时发现基于最小类别准确率差异的简单停止准则可以消除对群组注释的需求,或者在最差组准确率上几乎没有损失。
Sep, 2023
通过研究深度生成模型对未来计算机视觉模型中潜在社会偏见的影响,本文探讨了如果使用生成的图像作为训练数据,是否会导致偏见放大,从而造成有害内容的传播。然而,与预期相反的是,我们的研究结果显示,在特定任务中出现偏见缓解的情况,这可能与图像生成中的瑕疵(如模糊的脸部)或原始数据集中的既有偏见等因素有关。
Apr, 2024