WERank：用权重规范化实现自监督学习中的排名降级预防

Feb, 2024

WERank：用权重规范化实现自监督学习中的排名降级预防

WERank: Towards Rank Degradation Prevention for Self-Supervised Learning Using Weight Regularization

Ali Saheb Pasand, Reza Moravej, Mahdi Biparva, Ali Ghodsi

TL;DR使用 WERank 作为网络权重参数的正则化方法，在自监督学习中防止降维，提高图表自监督学习的效果。

Abstract

A common phenomena confining the representation quality in Self-Supervised Learning (SSL) is dimensional collapse (also known as rank degeneration), where the learned representations are mapped to a low dimension

dimensional collapse self-supervised learning rank degeneration werank graph ssl

发现论文，激发创造

LDReg: 本地维度规范化自监督学习

通过局部尺度正则化方法（LDReg），本文提出了解决自监督学习中维度塌缩问题的方法，并通过一系列实验证明了 LDReg 可以提高 SSL 的表示质量，同时能够在局部和全局级别正则化维度。

Jan, 2024

神经排序崩溃：权重衰减和小的内类变异性带来低秩偏差

深度学习中的低秩偏好与神经网络的神经层塌陷现象相关，权重衰减参数的增长导致网络中每一层的秩与前一层隐藏空间嵌入的类内变异成正比减少。

Feb, 2024

通过预测网络和停梯度方法，实现 BYOL/SimSiam 的隐式方差正则化

本论文研究了自监督学习的非对比方法，通过构建 DirectPred 理论框架，分析了线性网络的表示学习动态，并通过共轭积的方法提供了一个显式的方差规则机制，提出了一种新的各向同性损失函数，并在 CIFAR-10 和 STL-10 数据集上证明了理论发现的正确性。

Dec, 2022

自监督学习中的损失函数模型

通过对自监督学习损失地景的理论推导和分析，揭示了其维度崩溃的原因和机制，探讨了正规化和偏差的影响，并阐明了维度崩溃的益处及其对于自监督学习数据失衡鲁棒性的影响。

Oct, 2022

低秩权重对神经网络对抗鲁棒性的影响

研究的问题是通过压缩来探究神经元网络的鲁棒性并揭示其中的关键特性，其中低秩结构通过核范数正则化促进并结合稀疏性使神经网络显示出显著的鲁棒性。

Jan, 2019

使用低秩正则化进行自监督去偏差

本文介绍了一种自监督去偏置的框架，可以有效地去除神经网络中的伪相关性对泛化能力的影响，并提高自监督学习的性能。

Oct, 2022

可扩展的图自监督学习

通过采样节点或维度，可以降低损失计算成本，并且不会降低下游性能。

Feb, 2024

Bellman 方程隐式约束下的自适应表示阶数正则化

通过引入新的正则化器 —— 基于 Bellman 方程的自动等级正则化器（BEER），我们可以自适应地调节表示等级，从而提高深度强化学习代理的性能。实验证明，BEER 在 12 项挑战性控制任务中表现出色，并且在 Q 值近似中也具有显著优势。

Apr, 2024

通过权重尺度不变正则化提高神经网络的泛化性能和鲁棒性

该研究论文介绍了一种改进神经网络正则化器的方法，该正则化器不仅能对权重衰减，还能考虑权重尺度偏移对正则化的影响，有效地限制神经网络的内在范数，并优化了对抗强度以提高泛化性能。

Aug, 2020

减小加权排序 L1 正则化

本文研究了一种新的正则化器，称为加权排序 l1 范数 (WSL1)，它概括了最近引入的用于回归问题的八边形收缩和聚类算法 (OSCAR)，并包含 l1 和 l∞范数作为特例。本文关注 WSL1 的一种特殊情况，即下降 WSL1 (DWSL1)，在该情况下，参数向量的元素按非增序列排序，权重也是非增的。在本文中，我们不仅展示了 DWSL1 是一个范数，还导出了其作为正则化器使用的两个关键工具：对偶范数和 Moreau 邻近算子。

Apr, 2014