May, 2024
能量模型训练中的相变级联
Cascade of phase transitions in the training of Energy-based models
Dimitrios Bachtis, Giulio Biroli, Aurélien Decelle, Beatriz Seoane
TL;DR我们研究了能量驱动的生成模型 Restricted Boltzmann Machine（RBM）中的特征编码过程，通过简化的体系结构和数据结构的分析研究以及对真实数据集的实际训练的数值分析，我们追踪了模型的权重矩阵通过奇异值分解的演化，揭示了与经验概率分布的主要模式的渐进学习相关的一系列相变现象。模型首先学习模式的质心，然后通过一系列相变级联解决所有模式。我们首先在一个受控的设置中从理论上描述了这个过程，使我们能够对训练动态进行理论上的研究。然后，通过对真实数据集训练 Bernoulli-Bernoulli RBM 来验证我们的理论结果。通过使用维度逐渐增加的数据集，我们展示了学习确实导致了在高维极限下的尖锐相变。此外，我们提出并测试了一个均场有限尺度缩放假设，表明第一次相变与我们从理论上研究过的相变属于同一普适类，类似于均场铁磁 - 顺磁相变。