Jun, 2024
奥卡姆剃刀原则在自监督学习中的应用：什么是足够的学习良好的特征表示？
Occam's Razor for Self Supervised Learning: What is Sufficient to Learn Good Representations?
Mark Ibrahim, David Klindt, Randall Balestriero
TL;DR深度学习常被描述为数据 - 架构 - 损失的三位一体。然而，最近的自监督学习 (SSL) 解决方案引入了许多其他设计选择，如投影网络、正向视图或师生网络。本研究的发现是，对于多达几十万个样本的预训练数据集，SSL 引入的额外设计对所学表示的质量没有贡献。这一发现不仅为现有的理论研究提供了正当性，而且简化了在许多小型和中型场景中实施 SSL 的从业者的路径。我们的发现回答了一个长期存在的问题：在 SSL 中遇到的对训练设置和超参数的敏感性来自其设计，而不是缺乏监督指导。