Mar, 2023
方差 - 不变性 - 协方差正则化的信息论视角
An Information-Theoretic Perspective on Variance-Invariance-Covariance Regularization
Ravid Shwartz-Ziv, Randall Balestriero, Kenji Kawaguchi, Tim G. J. Rudner, Yann LeCun
TL;DR本论文提供了关于自监督学习中方差不变性正则化(VICReg)的信息论视角,将 VICReg 目标关联到互信息最大化,并使用该关系为 VICReg 导出广义泛化界,提出了基于互信息最大化的新型自监督学习方法,该方法在性能方面优于现有方法。