Oct, 2023
URLOST: 无监督学习表示，不需要稳定性和拓扑学
URLOST: Unsupervised Representation Learning without Stationarity or Topology
Zeyu Yun, Juexiao Zhang, Bruno Olshausen, Yann LeCun, Yubei Chen
TL;DR无监督表示学习在处理高维数据模态时受限于数据特异性的稳定性和拓扑性，而生物智能系统却没有这样的限制。我们引入了一个新的框架，从缺乏稳定性和拓扑性的高维数据中进行学习，通过可学习的自组织层、密度调整的谱聚类和掩码自编码器的结合，我们的模型在生物视觉数据、神经记录以及基因表达数据上得到了有效的评估。与 SimCLR 和 MAE 等最先进的无监督学习方法相比，我们的模型在不依赖于稳定性和拓扑性的情况下能更好地学习到有意义的表示，也胜过了其他与这些因素无关的方法，从而在该领域开辟了新的基准，这项工作是迈向能够在不同高维数据模态之间泛化的无监督学习方法的一步。