用于生成模型训练的自校正自消耗循环

Feb, 2024

用于生成模型训练的自校正自消耗循环

Self-Correcting Self-Consuming Loops for Generative Model Training

Nate Gillman, Michael Freeman, Daksh Aggarwal, Chia-Hong Hsu, Calvin Luo...

TL;DR通过引入理想化的校正函数，本文旨在稳定自消耗生成模型的训练，理论结果证明了根据真实数据分布将数据点映射为更可能的方法可以使自消耗循环的稳定性呈指数级增加，我们还提出了自我校正函数，它依赖于专家知识并旨在在规模上自动近似理想化的校正器，在具有挑战性的人体运动合成任务上对自我校正自消耗循环的有效性进行了实证验证，观察到即使合成数据与真实数据的比例高达 100%，也能成功避免模型崩溃。

Abstract

As synthetic data becomes higher quality and proliferates on the internet, machine learning models are increasingly trained on a mix of human- and machine-generated data. Despite the successful stories of using syntheti

synthetic data generative model training self-consuming correction function self-correction

发现论文，激发创造

自耗生成模型疯狂前进

该论文使用最先进的生成图像模型对三种不同类型的自噬循环进行了彻底的分析和实证研究，发现如果每个世代没有足够的新真实数据，未来的生成模型的质量或多样性将逐渐降低，这种情况被称为 ' 模型自噬障碍 '（MAD）。

Jul, 2023

自耗生成模型的理论理解

本文研究了在自我消耗循环中训练生成模型的新挑战，通过连续的模型生成从先前一代模型生成的真实和合成数据的混合进行递归训练。我们构建了一个理论框架，严格评估这种训练方案对未来模型学习到的数据分布的影响。具体地，我们在不同的混合训练场景下，推导出了未来模型生成的合成数据分布与原始真实数据分布之间的总变异（TV）距离的上限。我们的分析表明，在混合训练数据集大小足够大或真实数据比例足够大的条件下，可以有效控制这种距离。有趣的是，我们进一步揭示了由于合成数据量的增加而引起的阶段转变，从理论上证明了 TV 距离在初始上升后会在超过一个阈值点后下降。最后，我们将我们的一般结果特化到扩散模型（diffusion models），提供了关于在自我消耗循环中最佳早停策略的细微见解。

Feb, 2024

大型语言模型自吃训练循环的问题分析

大型语言模型的自消耗训练循环通过使用自身生成的内容训练新一代语言模型，初始会提高生成内容的质量和多样性，但经过几代之后，多样性不可避免地会逐渐下降。

Nov, 2023

关于迭代重新训练生成模型的稳定性

本文开发了一个框架，以严格研究在混合数据集（包括真实和合成数据）上训练生成模型对它们的稳定性的影响。通过在 CIFAR10 和 FFHQ 上迭代训练常规流和最先进的扩散模型，我们在合成和自然图像上经验验证了我们的理论。

Sep, 2023

通过学习自我纠正生成序列

本文介绍了一种称为 Self-Correction 的方法，该方法可以用于解决序列生成应用中存在的语义约束问题，该方法通过将完美的基本生成器与学习逐步纠正其输出的单独的纠正器分离来实现。我们证明，即使纠正器比基本生成器小得多，在数学程序合成、词汇约束生成和毒性控制等三个不同的生成任务上，Self-Correction 仍然优于基本生成器。

Oct, 2022

闭环学习中生成模型的热力学死亡

通过研究喂给自己生成的内容以及原始训练数据集的生成模型的学习动态，本文旨在提供对 “生成闭环学习” 这一过程的洞察，揭示了没有足够外部数据时，任何非平凡的温度都会导致模型渐近退化，即生成分布要么坍缩为一小组输出，要么在一大组输出上变得均匀。

Apr, 2024

模型崩溃是否不可避免？通过积累真实和合成数据打破递归的诅咒

本文探讨了生成模型在其自身生成的输出上进行训练时可能导致的模型崩溃问题，并通过理论和实证研究表明数据的积累可以缓解模型崩溃的问题。

Apr, 2024

超越模型崩溃：通过合成数据实现规模扩展需要加强

使用反馈增强合成数据可以防止模型崩溃，验证了常见的方法，如 RLHF。

Jun, 2024

人工智能反向影响：生成式人工智能时代中数据污染的注意事项

人工智能生成技术和大型模型产生了现实感十足的输出，但盲目使用合成数据可能导致模型性能下降和伦理问题，因此需要平衡使用真实数据和合成数据的方法来优化结果。这篇综述研究了在生成模型中盲目整合合成数据对图像和文本模态的训练的后果，并探索了缓解这些影响的策略，旨在提供合成数据使用的全面视角，倡导平衡方法并探索在大型模型时代促进生成式人工智能技术可持续发展的实践。

May, 2024

机器学习系统中隐藏反馈环效应的数学模型

广泛部署面向社会规模的机器学习系统需要深入了解这些系统对环境产生的长期影响，包括失去可信度、偏见放大和违反 AI 安全要求。我们引入了一种重复学习过程，共同描述了一些与意外隐藏反馈循环相关的现象，如错误放大、引发的概念漂移、回声室等。该过程包括在单个数学模型中获取数据、训练预测模型和向最终用户传递预测的整个周期。这种重复学习设置的一个显著特点是，随着时间的推移，环境的状态变得因果关联于学习者本身，从而违背了有关数据分布的通常假设。我们提出了重复学习过程的一种新颖动力系统模型，并证明了系统运行的正反馈和负反馈环模式的概率分布极限集。我们使用两个合成数据集上的示例监督学习问题进行了一系列计算实验。实验结果与从动力模型推导出的理论预测相一致。我们的结果证明了在机器学习系统中研究重复学习过程所提出方法的可行性，并为进一步研究提供了一系列机会。

May, 2024