通过引入一个偏差放大的训练集和一个反偏袒的测试集来评估模型的性能，我们提出为了开发对这些偏差具有稳健性的模型，应该将数据集的偏差放大。实验表明，这种评估体系对模型来说比原始的数据拆分和手工制作的挑战集都更具挑战性。

May, 2023

广泛部署面向社会规模的机器学习系统需要深入了解这些系统对环境产生的长期影响，包括失去可信度、偏见放大和违反 AI 安全要求。我们引入了一种重复学习过程，共同描述了一些与意外隐藏反馈循环相关的现象，如错误放大、引发的概念漂移、回声室等。该过程包括在单个数学模型中获取数据、训练预测模型和向最终用户传递预测的整个周期。这种重复学习设置的一个显著特点是，随着时间的推移，环境的状态变得因果关联于学习者本身，从而违背了有关数据分布的通常假设。我们提出了重复学习过程的一种新颖动力系统模型，并证明了系统运行的正反馈和负反馈环模式的概率分布极限集。我们使用两个合成数据集上的示例监督学习问题进行了一系列计算实验。实验结果与从动力模型推导出的理论预测相一致。我们的结果证明了在机器学习系统中研究重复学习过程所提出方法的可行性，并为进一步研究提供了一系列机会。

May, 2024

机器学习中的偏见放大是一个常见的问题，需要加深对于模型机制的理解，本研究通过控制性实验发现，偏见放大可能由于模型准确度、能力、自信度以及训练数据量等因素产生，同时也可能与分组和分类任务的难易程度相关，研究结果对指导训练机器学习模型具有借鉴意义。

Jan, 2022

通过研究深度生成模型对未来计算机视觉模型中潜在社会偏见的影响，本文探讨了如果使用生成的图像作为训练数据，是否会导致偏见放大，从而造成有害内容的传播。然而，与预期相反的是，我们的研究结果显示，在特定任务中出现偏见缓解的情况，这可能与图像生成中的瑕疵（如模糊的脸部）或原始数据集中的既有偏见等因素有关。

Apr, 2024

本文运用动态系统理论对基于机器学习的决策制定流程中的不同类型的反馈循环进行分类，为研究反馈循环提供了一个统一而有原则性的框架；通过定性分析和推荐系统的模拟示例，我们还发现了在 ML 偏见中存在哪些有可能会持续、加强或减少。

May, 2023

该篇研究关注机器学习系统中偏见放大的问题，提出了一种新的偏差放大度量方法，并分析了其技术假设和规范意义，对其测量提出了建议。

Feb, 2021

模型诱发的分布漂移（MIDS）会导致模型输出在几代模型的过程中污染新的模型训练集。我们介绍了一个跟踪多个代际 MIDS 的框架，发现它们可能导致性能、公平性和边缘化群体代表性的损失，即使在最初没有偏见的数据集中。尽管存在这些负面后果，但我们通过一种称为算法修复（AR）的框架来发现模型如何用于数据生态系统中的正面、有意的干预，以弥补历史歧视。我们模拟 AR 干预，通过精心策划的随机梯度下降训练批次来演示 AR 如何改善模型和数据生态系统中的不公平现象。我们的工作对于识别、缓解和追究由机器学习系统本质上中立客观的观点所可能带来的不公平反馈循环迈出了重要的一步。

Mar, 2024

本研究结合传统机器学习和光学物理学，构建显式且可微分的数据模型，用于控制下游机器学习模型性能与数据漂移相关性，进而进行数据环境的精密规定和优化。

Nov, 2022

本文开发了一个框架，以严格研究在混合数据集（包括真实和合成数据）上训练生成模型对它们的稳定性的影响。通过在 CIFAR10 和 FFHQ 上迭代训练常规流和最先进的扩散模型，我们在合成和自然图像上经验验证了我们的理论。

Sep, 2023

通过高保真计算机模拟和贝叶斯参数搜索，诊断机器学习模型中的偏倚问题，特别是面部识别商业 API 中的人口统计学偏见。

Sep, 2018