Oct, 2023

几何调和解决表征学习差异

PDF
TL;DR在应对长尾分布的真实世界应用中，我们提出了一种新颖的几何调和（GH）方法，通过在表示学习中鼓励类别级别的均匀性，更有利于少数类别，几乎不损害大多数类别，从而解决了现有方法难以获得可迁移和稳健表示的问题。
self-supervised learningrepresentation learninglong-tailed distributiongeometric harmonizationembedding space
发现论文，激发创造
  • 轨迹规范化增强自监督几何表征

    自我监督学习在几何任务中的应用相对较少，本研究提出了一种评估自我监督几何表示方法的新姿态估计基准，通过在无语义或姿态标签的情况下训练，并在语义和几何下游任务上取得熟练度来研究强化自我监督几何表示方法，结果表明利用中间层表示可以提高姿态估计性能 10-20%，进一步引入无监督轨迹正则化损失可以额外提高 4% 的性能并改善对分布外数据的泛化能力，希望提出的基准和方法能为自我监督几何表示学习提供新的见解和改进。

    Mar, 2024

  • 自我监督表示学习的视觉地理定位

    利用自监督学习方法提升视觉地理定位技术性能和训练效率，通过统合 SimCLR、MoCov2、BYOL、SimSiam、Barlow Twins 和 VICReg 等多种自监督学习方法，研究训练策略和参数设置对视觉地理定位任务的适应性

    Jul, 2023

  • 提升几何建模能力的自监督学习在三维感知生成对抗网络中的应用

    通过自监督学习技术，我们提出了一种适用于任何 3D-GAN 的辅助损失，旨在改进其 3D 几何建模能力，并通过综合实验证实了该方法的有效性。

    Dec, 2023

  • 自监督对比学习的几何理解

    本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

    May, 2022

  • 量化图上在线半监督学习

    本文提出了一种快速的近似在线半监督学习算法，通过图的近似解决谐波方程，收缩近邻点得到局部代表点最小化畸变，使用这一算法在人脸识别和光学字符识别任务中取得了较好表现并得到了可证明的性能上限。

    Mar, 2012

  • 自监督学习的逆向工程

    本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

    May, 2023

  • 基于超图的自监督学习与高效采样信号

    SE-HSSL 是一个基于超图的自我监督学习框架，通过两个无需采样的目标和一个基于层次关系的对比目标来解决超图自我监督学习模型中的负样本采样偏差和计算效率问题。实验证明，与现有方法相比，SE-HSSL 在有效性和效率上都具有优势。

    Apr, 2024

  • 利用持久同调改进自监督分子表示学习

    基于持久同调的自监督学习在分子表示学习中具有广泛的应用潜力，可以通过不同的数据视角、距离保持的稳定性和灵活性结合领域知识，提高嵌入空间的表示能力和预测性能，同时对非常小的数据集也能获得显著的改进。

    Nov, 2023

  • 自监督学习：解耦群表示作为特征

    本研究提出迭代分割不变风险最小化（IP-IRM）算法，用于跨越简单的数据增强特征，对抽象语义进行对比学习，以实现对视觉表示力的进一步提升。该算法通过对训练样本的划分和最小化固定子不变对比损失，最终收敛到完全解耦的语义表示，且在各项基准测试中表现良好。

    Oct, 2021

  • 一个概率模型解释自监督表示学习

    自监督学习在生成的潜在变量模型和对比方法的框架下，提出了一种能够改善性能、实现任务无关性表示的方法。

    Feb, 2024