ICLRDec, 2021
低维数据存在下的变分自编码器:优化空间及内在偏向
Variational autoencoders in the presence of low-dimensional data: landscape and implicit bias
Frederic Koehler, Viraj Mehta, Chenghui Zhou, Andrej Risteski
TL;DR本文研究了变分自编码器的训练问题,提出了一种二阶段的训练算法,证明了该算法可以在低维流形上训练,并且得到的生成器可以恰好支持原本的低维流形,且是由于训练算法的隐式偏差而非 VAE 损失本身的原因。