- 自监督学习中均一性度量的重新思考
本研究通过分析现有的均匀性度量方法的局限性，提出了一个新的均匀性度量指标，该指标能更准确地衡量学习表示的均匀性，并在各种自监督学习方法中作为辅助损失应用时显著提升它们在下游任务中的性能。
- 在崩溃和纠缠的世界中的广告推荐
本文介绍了一种行业广告推荐系统，重点关注学习合适表示的挑战和实践。我们展示了保留先验信息的方法，将各种类型的特征编码为嵌入表示。此外，我们探讨了特征表示中的两个关键挑战：嵌入维度崩塌和各种任务或场景的兴趣交织。随后，我们提出了几种实用的方法 - 克服自监督对比学习在医学图像分割中的尺寸坍塌问题
本文研究将对比学习应用于医学图像分析领域，发现在医学图像上应用最先进的对比学习方法 MoCo v2 存在维度坍缩问题，并提出了局部特征学习和特征去相关两项关键贡献，实验证明这两个贡献显著提升了模型在医学分割任务的性能。本研究突显了将自监督学 - CCFC++：通过特征去相关化增强联邦聚类
通过与对比学习的结合，本研究对异构数据对群聚式对比联邦聚类（CCFC）的影响进行了理论和实证分析，发现数据异构性加剧了 CCFC 中的维度崩溃，并通过引入一个去相关度正则化器解决了这个问题，使 CCFC 的性能得到了显著提升，NMI 得分最 - WERank：用权重规范化实现自监督学习中的排名降级预防
使用 WERank 作为网络权重参数的正则化方法，在自监督学习中防止降维，提高图表自监督学习的效果。
- ICLRLDReg: 本地维度规范化自监督学习
通过局部尺度正则化方法（LDReg），本文提出了解决自监督学习中维度塌缩问题的方法，并通过一系列实验证明了 LDReg 可以提高 SSL 的表示质量，同时能够在局部和全局级别正则化维度。
- 自监督学习中投影头的稀疏性研究
自监督学习（SSL）是从无标签数据中提取有价值表示的一种有前途的方法，其中对比学习是一种成功的 SSL 方法，其目标是将正例拉近而将负例推开。通过实证分析和理论探究，我们揭示了投影头的内部机制及其与维度崩溃现象的关系，我们的研究结果表明，投 - 通过直接对比学习防止不完全多视角聚类的维度坍塌
提出了一种新的不完整多视图对比聚类框架，它直接优化了潜在特征子空间，并利用学习的特征向量及其子向量进行重建学习和一致性学习，从而有效地避免了维度崩溃，同时通过交叉视图预测机制来恢复不完整数据，采用最小条件熵来丢弃不一致信息，进一步避免私有信 - ICLRContraNorm：对过度平滑以及更多问题的对比学习视角
该研究证明了在图神经网络和转换器中过度平滑现象是由于维度坍塌而引起的，并提出了一种名为 ContraNorm 的归一化层，该层能够预防完全坍塌和维度坍塌现象，在各种真实世界的数据集上均能有效提高模型性能。
- ICLR自监督学习中的损失函数模型
通过对自监督学习损失地景的理论推导和分析，揭示了其维度崩溃的原因和机制，探讨了正规化和偏差的影响，并阐明了维度崩溃的益处及其对于自监督学习数据失衡鲁棒性的影响。
- ICLR探索和缓解异构联邦学习中的维度崩溃
提出了一种名为 FedDecorr 的新方法，可以在联邦学习中有效缓解数据异构性造成的维度崩溃问题。该方法鼓励表示的不同维度不相关，并且在标准基准数据集上比基线方法表现更好。
- 理解和缓解图对比学习中的维度崩溃：一种非最大值消除方法
该论文提出了一种非最大值移除图对比学习方法，用于解决图对比学习中维度塌陷的问题，并在多种基准数据集上进行了全面的实验证明了该方法的有效性。
- ICCV自监督学习中特征解相关化
本文研究了自监督表示学习的框架，在此基础上，发现了完全坍塌和维度坍塌的问题，并将维度坍塌与特征装饰相关联以提高表示的稳健性。