Apr, 2021

关于连接贝洛双胞胎与无负样本对比学习的注记

TL;DR本研究将Barlow Twins方法的算法设计与Hilbert-Schmidt独立准则(HSIC)联系起来,并将其作为一种不需要负样本的对比学习方法,通过这个视角,我们认为Barlow Twins提出了一种可能性,即将自监督学习思想的两大流派:非对比和对比方法结合起来,这在避免与非对比方法一样需要大型训练批次和负样本配对以及避免对比方法的对称网络设计等方面发挥了最佳实践的优势。