BriefGPT.xyz
Ask
alpha
关键词
feature decorrelation
搜索结果 - 5
激发还是抑制单一语义性？从特征去相关角度重新思考单一语义性
大语言模型中的单语义性神经元对模型容量有积极影响，鼓励特征去相关化可以增强表示多样性和激活稀疏性，并提高偏好对齐性能。
PDF
11 days ago
自监督学习中的信息流
本文通过矩阵信息理论的视角提供了一个全面的工具箱，用于理解和增强自监督学习方法，其中包括对比方法、特征去相关方法的统一分析，并提出了基于矩阵信息理论的矩阵变分掩膜自编码器 (M-MAE) 方法作为对掩膜图像建模的一种增强方法。经验证实，M-
→
PDF
9 months ago
CVPR
通过统一的梯度框架探索孪生自监督学习的等效性
该研究提出了一种将自监督学习的不同方法统一在同一框架下进行比较的方法，并通过 UniGrad 提出了一种简单有效的自监督学习的梯度形式，其在线性评估和下游任务中表现出了卓越的效果。
PDF
3 years ago
ICCV
自监督学习中特征解相关化
本文研究了自监督表示学习的框架，在此基础上，发现了完全坍塌和维度坍塌的问题，并将维度坍塌与特征装饰相关联以提高表示的稳健性。
PDF
3 years ago
ICLR
局部约束异相关性正则化卷积神经网络
本文介绍了一种名为 OrthoReg 的深度学习正则化技术，通过局部强制特征正交性，有效减少负相关特征权重之间的干扰，提高了特征去相关化的效果，降低了过拟合现象，可用于多种卷积神经网络数据集。
PDF
8 years ago
Prev
Next