Mar, 2024

探究投影头在表示学习中的益处

PDF
TL;DR对于提取高质量表示的有效技术是在训练期间在编码器上方添加投影头部，然后丢弃它并使用预投影表示。本研究通过理论解释揭示了这种技术成功的原因，探索了低层特征表示规范化和非线性相互作用对模型性能的影响，并证明了这种机制如何提高有监督对比学习和有监督学习中的鲁棒性。
high-quality representationsprojection headencoderself-supervised contrastive lossrobustness in supervised contrastive learning
发现论文，激发创造
  • 揭示对比学习中的投影头：来自扩张与收缩的洞见

    本篇论文旨在揭示对比学习过程中 projection heads 作用的原理，通过实验和理论分析认定对比损失产生的膨胀和收缩效应会影响线性分类的准确性，因此 linears projectors 操作在缩小或者扩张的情况下会妨碍或是提高下游分类的准确性。

    Jun, 2023

  • 自监督学习中投影头的稀疏性研究

    自监督学习（SSL）是从无标签数据中提取有价值表示的一种有前途的方法，其中对比学习是一种成功的 SSL 方法，其目标是将正例拉近而将负例推开。通过实证分析和理论探究，我们揭示了投影头的内部机制及其与维度崩溃现象的关系，我们的研究结果表明，投影头通过在投影子空间中进行对比损失来提高表示的质量。因此，我们提出了一种假设，即在最小化一批数据的对比损失时，仅有部分特征是必要的。理论分析进一步表明，稀疏的投影头可以增强泛化能力，这导致我们引入了 SparseHead - 一种有效约束投影头稀疏性的正则化项，并可以无缝集成到任何自监督学习（SSL）方法中。我们的实验结果验证了 SparseHead 的有效性，证明了其改善现有对比方法性能的能力。

    Jul, 2023

  • 无对比自监督学习中预测头机制

    本文介绍了一种自监督学习方法，其中相称损失中的负项可以通过添加 prediction head 被消除，理论上和实验上证明了这种方法能够避免维度崩溃现象，并且通过正常的梯度下降可以学习有效表示来替代只学习强特征的偏见。

    May, 2022

  • 扩展或缩小表示，控制预训练偏差轻松实现高效迁移学习技术

    本文提出改变自监督学习模型中主干神经网络的最后一个块的维度，是解决预训练偏差问题的一种简单有效的方法，并可以提高自监督预训练模型和有监督预训练模型的迁移学习性能。

    Apr, 2023

  • 解决多视角表示学习中的样本效率问题

    根据对 BarlowTwins 和 VICReg 损失的隐含偏差的理论洞察，我们提供了更具原则性的建议，指导非对比自监督学习方法的发展，并推荐使用低维度的投影器头和多个数据增强来提高样本和计算效率。

    Dec, 2023

  • 自监督对比学习的几何理解

    本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

    May, 2022

  • 监督对比学习剖析

    本研究探讨了在最小化损失时，编码器输出空间内所寻求的类别性空间几何是否存在本质差异。同时提供实证证据表明，两种损失函数的优化行为存在显著不同，这将对神经网络的训练产生影响。

    Feb, 2021

  • 预训练和微调表示的相似性

    本文研究转移学习中的表示变化，并发现在少样本学习中，在转移学习的早期层次中进行表示变化是有益的，特别是在跨域适应的情况下。同时，我们发现在转移学习的预训练和微调过程中，预训练结构如果不能使用，则不能被学习。

    Jul, 2022

  • 通过非对比自我监督实现对表征学习的揭秘

    我们的研究表明，非对比自监督学习方法可以通过学习理想的投影矩阵来降低下游任务的样本复杂度，并且我们还设计了一个更简单、更高效的算法 DirectCopy，其可以成功地应用于 STL-10、CIFAR-10、CIFAR-100 和 ImageNet 数据集，表现良好。

    Oct, 2021

  • ProjectionNet: 使用神经投影学习高效的设备端深度神经网络

    引入一种新的紧凑型神经网络结构，该结构使用联合优化框架进行训练，包括一个全训练神经网络和一个利用随机投影进行输入或中间表示转换的简单的 “投影” 网络。使用全网络来指导投影网络的训练。经过训练的小型网络可以用于低内存和计算成本的推理，并且在视觉识别和文本分类任务中保持良好的准确性。

    Aug, 2017