Mar, 2024

轨迹规范化增强自监督几何表征

PDF
TL;DR自我监督学习在几何任务中的应用相对较少，本研究提出了一种评估自我监督几何表示方法的新姿态估计基准，通过在无语义或姿态标签的情况下训练，并在语义和几何下游任务上取得熟练度来研究强化自我监督几何表示方法，结果表明利用中间层表示可以提高姿态估计性能 10-20%，进一步引入无监督轨迹正则化损失可以额外提高 4% 的性能并改善对分布外数据的泛化能力，希望提出的基准和方法能为自我监督几何表示学习提供新的见解和改进。
发现论文，激发创造
  • 自监督对比学习的几何理解

    本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

    May, 2022

  • 自监督学习的逆向工程

    本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

    May, 2023

  • 几何调和解决表征学习差异

    在应对长尾分布的真实世界应用中，我们提出了一种新颖的几何调和（GH）方法，通过在表示学习中鼓励类别级别的均匀性，更有利于少数类别，几乎不损害大多数类别，从而解决了现有方法难以获得可迁移和稳健表示的问题。

    Oct, 2023

  • 生成模型能否改善自监督表示学习？

    自我监督学习通过使用生成模型生成语义一致的图像增强，丰富了学习强大视觉表示的方法，并显著提高了学习到的视觉表征的质量。

    Mar, 2024

  • 自我监督表示学习的视觉地理定位

    利用自监督学习方法提升视觉地理定位技术性能和训练效率，通过统合 SimCLR、MoCov2、BYOL、SimSiam、Barlow Twins 和 VICReg 等多种自监督学习方法，研究训练策略和参数设置对视觉地理定位任务的适应性

    Jul, 2023

  • 提升几何建模能力的自监督学习在三维感知生成对抗网络中的应用

    通过自监督学习技术，我们提出了一种适用于任何 3D-GAN 的辅助损失，旨在改进其 3D 几何建模能力，并通过综合实验证实了该方法的有效性。

    Dec, 2023

  • 自监督学习对数据集失衡更具鲁棒性

    本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

    Oct, 2021

  • 虚拟嵌入和自一致性用于自监督学习

    TriMix 是一种自我监督学习的新概念，通过数据线性插值生成虚拟嵌入，积极探索潜在的空间扩充，其提出的方法在自我监督学习和半监督学习任务中表现良好。

    Jun, 2022

  • 显式地将一般性建模到自监督学习中

    自我监督学习的广义性理论定义及新型 GeSSL 框架的提出，能够在数据稀缺和真实世界中实现优越性能。

    May, 2024

  • 元综合正则化的自监督表示学习

    自我监督学习是通过利用数据增强策略产生相似表示来捕捉多个样本的共享信息，进而学习包含更加全面特征的模型方法。我们提出了一个称为 CompMod with Meta Comprehensive Regularization 的模块，通过双层优化机制来更新模型，使其能够捕捉到更全面的特征。此外，我们还从信息理论和因果反事实的角度为我们提出的方法提供了理论支持。实验证明，我们的方法在多个基准数据集上在分类、目标检测和实例分割任务中取得了显著的改进。

    Mar, 2024