模型坍塌的揭秘：回归案例

Feb, 2024

Model Collapse Demystified: The Case of Regression

Elvis Dohmatob, Yunzhen Feng, Julia Kempe

TL;DR基于 ChatGPT 等大规模语言模型的研究中，模型崩溃现象指的是当模型在逐步进行自身前代生成的数据递归训练时，其性能逐渐降低直至彻底无效化，即模型崩溃。本研究在核回归的简化环境中研究了这一现象，并得到了结果，证明了模型能应对虚假数据的临界点以及性能完全崩溃的情况。在多项式衰减光谱和源条件下，我们得到了展示快速到缓慢变化速率新临界点的修改缩放规律。同时，我们还提出了基于自适应正则化的简单策略来减轻模型崩溃的影响。我们的理论结果经过实验证实。

Abstract

In the era of large language models like ChatGPT, the phenomenon of "model collapse" refers to the situation whereby as a model is trained recursively on data generated from previous generations of itself over time, its performance degrades until the model eventually becomes completely

large language models model collapse kernel regression crossover phenomena adaptive regularization

发现论文，激发创造

合成数据训练的糟糕程度：语言模型崩溃的统计分析

模型崩溃是指在使用之前训练的模型生成的合成数据训练新模型时性能下降的现象，本文通过统计模型对各种递归训练情景的影响进行了深入研究，发现当仅使用合成数据进行训练时无法避免模型崩溃，但当混合使用真实数据和合成数据时，我们提供了在合成数据量不超过一定阈值时模型崩溃可以最终避免的估计值，我们的理论结论得到了经验验证的支持。

Apr, 2024

尾巴的故事：模型崩塌作为比例定律的变化

AI 模型规模扩大时，神经缩放定律成为预测大型模型在增加容量和原始（人工或自然）训练数据大小时改进的关键工具。然而，流行模型的广泛使用意味着在线数据和文本的生态系统将逐渐含有越来越多的合成数据。本文通过缩放定律的观点开发了一个有关模型崩溃的理论框架，发现了一系列衰变现象，包括缩放的损失、与代数数量的缩放的变化、技能的 “损失” 以及混合人工和合成数据时的理解。我们通过对一个算术任务和使用大型语言模型 Llama2 进行的文本生成的大规模实验验证了我们的理论。

Feb, 2024

模型崩溃是否不可避免？通过积累真实和合成数据打破递归的诅咒

本文探讨了生成模型在其自身生成的输出上进行训练时可能导致的模型崩溃问题，并通过理论和实证研究表明数据的积累可以缓解模型崩溃的问题。

Apr, 2024

深度学习的神经坍塌对理解泛化的局限性

探究神经坍塌现象在深度学习中的作用，研究神经坍塌现象对于泛化能力与优化能力的影响，发现神经坍塌现象主要是一种优化现象，同时也探究了神经坍塌现象在特征学习等方面的表现。

Feb, 2022

记忆膨胀：建模标签噪声下的神经崩溃

本文探讨了神经坍塌现象及其在分类问题中的应用，提出了限制表达能力的神经网络模型和误差扩散现象的模型，并证明标签平滑方法可以提高分类任务的泛化能力。

Jun, 2022

模型编辑的蝴蝶效应：少量编辑可触发大型语言模型崩溃

模型编辑的影响、用困惑度作为衡量指标、顺序编辑和困难案例的研究，以及开发 HardCF 数据集探索模型编辑的潜在风险。

Feb, 2024

大规模多类别问题的广义神经塌陷

该论文扩展了神经崩溃理论到类别数量远大于特征空间维度的情况，并提供了实证和理论研究以验证广义神经崩溃现象的存在和原理。

Oct, 2023

自我训练语言模型的崩溃

基于语言模型的自我训练方法在实践中存在实际限制，导致 GPT-2 模型的性能下降、输出重复并崩溃。

Apr, 2024

语言崩溃：（大型）语言模型中的神经崩溃

本文通过实证研究探讨了扩展的因果语言模型（CLMs）的体系结构和训练对其进展向神经坍缩（NC）的影响，发现随着规模的扩大，NC 的特性与泛化之间存在联系，并且即使在规模上无关的情况下，NC 与泛化之间也存在某种关系。因此，本研究强调了 NC 的一般性，使其扩展到语言建模的新颖和更具挑战性的环境中，希望进一步研究该现象以加深对 LLMs（大型语言模型）和神经网络的理解，并改进基于 NC 相关特性的现有架构。

May, 2024

神经坍塌的无约束分层剖析视角

本文研究神经网络的一种几何模式 —— 神经坍塌现象。我们提出了一个模型 —— 无约束层剥模型（ULPM），证明了该模型的梯度流收敛到一个最小范数分离问题的临界点，表现出全局最小化时神经坍塌现象。此外，我们还表明，采用交叉熵损失函数的 ULPM 具有良好的全局景观，所有临界点都是严格鞍点，除全局最小值外不发生神经坍塌现象。我们的实验证明，即使不使用显式正则化或权重衰减，我们的结果也适用于神经网络的实际任务训练。

Oct, 2021