LDReg: 本地维度规范化自监督学习

ICLRJan, 2024

LDReg: Local Dimensionality Regularized Self-Supervised Learning

Hanxun Huang, Ricardo J. G. B. Campello, Sarah Monazam Erfani, Xingjun Ma, Michael E. Houle...

TL;DR通过局部尺度正则化方法（LDReg），本文提出了解决自监督学习中维度塌缩问题的方法，并通过一系列实验证明了 LDReg 可以提高 SSL 的表示质量，同时能够在局部和全局级别正则化维度。

Abstract

Representations learned via self-supervised learning (SSL) can be susceptible to dimensional collapse, where the learned representation subspace is of extremely low dimensionality and thus fails to represent the

self-supervised learning dimensional collapse local dimensionality regularization representation quality fisher-rao metric

发现论文，激发创造

WERank：用权重规范化实现自监督学习中的排名降级预防

使用 WERank 作为网络权重参数的正则化方法，在自监督学习中防止降维，提高图表自监督学习的效果。

Feb, 2024

轨迹规范化增强自监督几何表征

自我监督学习在几何任务中的应用相对较少，本研究提出了一种评估自我监督几何表示方法的新姿态估计基准，通过在无语义或姿态标签的情况下训练，并在语义和几何下游任务上取得熟练度来研究强化自我监督几何表示方法，结果表明利用中间层表示可以提高姿态估计性能 10-20%，进一步引入无监督轨迹正则化损失可以额外提高 4% 的性能并改善对分布外数据的泛化能力，希望提出的基准和方法能为自我监督几何表示学习提供新的见解和改进。

Mar, 2024

自监督学习中的损失函数模型

通过对自监督学习损失地景的理论推导和分析，揭示了其维度崩溃的原因和机制，探讨了正规化和偏差的影响，并阐明了维度崩溃的益处及其对于自监督学习数据失衡鲁棒性的影响。

Oct, 2022

自监督学习的逆向工程

本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

May, 2023

自监督模型的表示学习动态

自监督学习是从无标签数据中学习表示的重要范例，本文通过研究 SSL 模型的学习动态，特别是通过最小化对比损失和非对比损失获得表示，提出了施加权重正交性约束的 SSL 目标函数，推导出了在 Grassmann 流形上使用梯度下降训练的 SSL 模型的精确（与网络宽度无关）学习动态，证明了无限宽度逼近的 SSL 模型与监督模型的神经切向核逼近有明显偏差，数值实验证明了理论发现的正确性，并讨论了所呈现结果为对比和非对比 SSL 的进一步理论分析提供了框架。

Sep, 2023

自监督学习的结构冗余的低秩逼近

通过无限数量的标记样本，本研究探究重建型 SSL 的数据生成机制以揭示其有效性，提出了完美线性近似的充分必要条件，并通过低秩因子分解来度量冗余分量的近似质量，并结合过量风险分析，在线性回归和岭回归设置下验证了 SSL 与有监督学习的比较。

Feb, 2024

LDMNet: 低维流形正则化神经网络

通过使用 Low-Dimensional-Manifold-regularized neural Network 来加强神经网络的特征提取，有效提高了在小样本情况下的泛化能力并且可以应用于同种物体的跨光谱识别。

Nov, 2017

元综合正则化的自监督表示学习

自我监督学习是通过利用数据增强策略产生相似表示来捕捉多个样本的共享信息，进而学习包含更加全面特征的模型方法。我们提出了一个称为 CompMod with Meta Comprehensive Regularization 的模块，通过双层优化机制来更新模型，使其能够捕捉到更全面的特征。此外，我们还从信息理论和因果反事实的角度为我们提出的方法提供了理论支持。实验证明，我们的方法在多个基准数据集上在分类、目标检测和实例分割任务中取得了显著的改进。

Mar, 2024

可扩展的图自监督学习

通过采样节点或维度，可以降低损失计算成本，并且不会降低下游性能。

Feb, 2024

特征空间重新归一化用于半监督学习

本文提出了一种特征空间重整化机制 (FSR) 作为半监督学习的一种代替一致性正则化方法的方法，并将其与伪标签相结合，得到了一种名为 FreMatch 的新型有效的半监督学习模型，实验证明该方法在多种标准半监督学习基准数据集上能够取得更好的性能，并且所提出的特征空间重整化机制还能增强其他半监督学习方法的性能。

Nov, 2023