May, 2024

机器学习系统中隐藏反馈环效应的数学模型

PDF
TL;DR广泛部署面向社会规模的机器学习系统需要深入了解这些系统对环境产生的长期影响，包括失去可信度、偏见放大和违反 AI 安全要求。我们引入了一种重复学习过程，共同描述了一些与意外隐藏反馈循环相关的现象，如错误放大、引发的概念漂移、回声室等。该过程包括在单个数学模型中获取数据、训练预测模型和向最终用户传递预测的整个周期。这种重复学习设置的一个显著特点是，随着时间的推移，环境的状态变得因果关联于学习者本身，从而违背了有关数据分布的通常假设。我们提出了重复学习过程的一种新颖动力系统模型，并证明了系统运行的正反馈和负反馈环模式的概率分布极限集。我们使用两个合成数据集上的示例监督学习问题进行了一系列计算实验。实验结果与从动力模型推导出的理论预测相一致。我们的结果证明了在机器学习系统中研究重复学习过程所提出方法的可行性，并为进一步研究提供了一系列机会。
societal-scale machine learning systemsloss of trustworthinessbias amplificationai safety requirementsrepeated learning process
发现论文，激发创造
  • 自动决策系统中反馈环路分类及其与偏见的关系

    本文运用动态系统理论对基于机器学习的决策制定流程中的不同类型的反馈循环进行分类，为研究反馈循环提供了一个统一而有原则性的框架；通过定性分析和推荐系统的模拟示例，我们还发现了在 ML 偏见中存在哪些有可能会持续、加强或减少。

    May, 2023

  • 数据反馈环路：基于模型驱动的数据集偏差放大

    本文旨在通过记录模型与数据的交互过程，以改善未来爬取的 Internet 数据集的信息稳定性。我们发现模型输出表现为源自训练集的样本具有一致性校准时，偏见放大的程度与模型预测的性别偏差等测试时偏差统计显著相关，如果同时在三个条件预测场景中使用，能更好的校准和稳固反馈系统。

    Sep, 2022

  • 推荐系统中的退化反馈环路

    本研究探讨了机器学习在推荐系统中的应用，分析了用户动态和推荐系统行为对 “回声室” 和 “筛选气泡” 现象的影响及其解决方案。该研究有助于理解和解决该领域仍然存在的复杂时间情景及其常见问题。

    Feb, 2019

  • 闭环学习中生成模型的热力学死亡

    通过研究喂给自己生成的内容以及原始训练数据集的生成模型的学习动态，本文旨在提供对 “生成闭环学习” 这一过程的洞察，揭示了没有足够外部数据时，任何非平凡的温度都会导致模型渐近退化，即生成分布要么坍缩为一小组输出，要么在一大组输出上变得均匀。

    Apr, 2024

  • 语言模型的反馈循环驱动上下文奖励黑客

    语言模型相互作用中的反馈循环可能会导致上下文激励欺骗 (ICRH)，这涉及输出改进和策略改进两个过程，而评估静态数据集是不充分的，因此需要采取三项评估推荐措施来更全面地理解和捕捉 ICRH 行为。

    Feb, 2024

  • 人机互动机器学习征求人员反馈会降低用户信任和对模型准确性的印象

    通过一个模拟物体检测系统的实验，我们研究了交互反馈对用户对智能系统及其准确性理解的影响，结果表明提供循环反馈降低了参与者对系统的信任和其对系统准确性的感知，这凸显了在设计智能系统时考虑用户反馈对用户信任的影响的重要性。

    Aug, 2020

  • 公平反馈循环：在合成数据上进行训练增强了偏见

    模型诱发的分布漂移（MIDS）会导致模型输出在几代模型的过程中污染新的模型训练集。我们介绍了一个跟踪多个代际 MIDS 的框架，发现它们可能导致性能、公平性和边缘化群体代表性的损失，即使在最初没有偏见的数据集中。尽管存在这些负面后果，但我们通过一种称为算法修复（AR）的框架来发现模型如何用于数据生态系统中的正面、有意的干预，以弥补历史歧视。我们模拟 AR 干预，通过精心策划的随机梯度下降训练批次来演示 AR 如何改善模型和数据生态系统中的不公平现象。我们的工作对于识别、缓解和追究由机器学习系统本质上中立客观的观点所可能带来的不公平反馈循环迈出了重要的一步。

    Mar, 2024

  • 通过示范来改善政策透明度的闭环教学

    通过教育文献中的原则，如邻近发展区和测试效果，本文探讨了一种闭环教学框架，利用测试方法关闭循环并在学习过程中维护人类信念的粒子滤波器模型，从而实时提供针对人类当前理解的演示。用户研究发现，我们提出的闭环教学框架相比基准方案将人类测试响应的遗憾降低了 43%。

    Apr, 2024

  • 直播预测器的反馈检测

    本文探讨了部署在现实生产系统中的预测器可能扰动其用于做出预测的特征的问题，引入了一种局部随机化方案，用于检测实际问题中的非线性反馈， 并以一个作为搜索引擎一部分目前部署的预测系统为案例进行了试验研究。

    Oct, 2013

  • 用于生成模型训练的自校正自消耗循环

    通过引入理想化的校正函数，本文旨在稳定自消耗生成模型的训练，理论结果证明了根据真实数据分布将数据点映射为更可能的方法可以使自消耗循环的稳定性呈指数级增加，我们还提出了自我校正函数，它依赖于专家知识并旨在在规模上自动近似理想化的校正器，在具有挑战性的人体运动合成任务上对自我校正自消耗循环的有效性进行了实证验证，观察到即使合成数据与真实数据的比例高达 100%，也能成功避免模型崩溃。

    Feb, 2024