Apr, 2024

使用 Transformer 在潜空间中进行流匹配的收敛性分析

TL;DR我们研究了基于 ODE 的生成模型(特别是流匹配),通过使用预训练的自编码网络将高维原始输入映射到低维潜在空间,再通过训练一个转换网络来预测从标准正态分布到目标潜在分布的变换速度场。我们的误差分析证明了这种方法的有效性,显示出通过估计 ODE 流生成的样本分布在温斯坦 - 2 距离下收敛到目标分布,在温和和实际的假设下。此外,我们还展示了具有李普希茨连续性的转换网络可以有效逼近任意平滑函数,这可能具有独立的兴趣。