超级表示：基于神经网络权重的自监督表示学习用于模型特征预测

Oct, 2021

超级表示：基于神经网络权重的自监督表示学习用于模型特征预测

Hyper-Representations: Self-Supervised Representation Learning on Neural Network Weights for Model Characteristic Prediction

PDF

Konstantin Schürholt, Dimche Kostadinov, Damian Borth

TL;DR本文提出了在神经网络中使用自监督学习方法来学习超级表示法，引入了特定领域的数据增强和适应的注意力架构，并通过实验证明该方法能够较好地预测超参数、测试精度和泛化差距，并能用于超越分布场景。

Abstract

self-supervised learning (SSL) has been shown to learn useful and information-preserving representations. neural networks (NNs) are widely applied, yet their weight space is still not fully understood. Therefore,

self-supervised learning neural networks hyper-representations domain specific data augmentations attention architecture

发现论文，激发创造

自监督学习的逆向工程

本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

May, 2023

自监督学习对数据集失衡更具鲁棒性

本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

Oct, 2021

自监督模型的表示学习动态

自监督学习是从无标签数据中学习表示的重要范例，本文通过研究 SSL 模型的学习动态，特别是通过最小化对比损失和非对比损失获得表示，提出了施加权重正交性约束的 SSL 目标函数，推导出了在 Grassmann 流形上使用梯度下降训练的 SSL 模型的精确（与网络宽度无关）学习动态，证明了无限宽度逼近的 SSL 模型与监督模型的神经切向核逼近有明显偏差，数值实验证明了理论发现的正确性，并讨论了所呈现结果为对比和非对比 SSL 的进一步理论分析提供了框架。

Sep, 2023

理解非线性自监督学习的表示可学习性

我们的研究是第一个准确分析非线性自监督学习模型学习结果的论文，通过模拟实验我们证明了非线性自监督学习模型可以同时捕捉标签相关特征和隐藏特征。

Jan, 2024

自我监督学习中摆脱手工制作的架构：一个网络并不能统治所有

大规模研究表明，在自监督学习中，网络架构起着重要的作用，因此作者提议在 SSL 环境中学习网络的权重和体系结构，从而提高性能并超越手工设计的体系结构。

Mar, 2022

我们能否摆脱自我监督学习中的强数据增强？

自我监督学习（SSL）作为应对深度神经网络（DNNs）中有限标记数据挑战的一种有前途的解决方案，具有可扩展性潜力。本研究全面探索了 SSL 在各种数据增强中的行为，揭示了它们在塑造 SSL 模型性能和学习机制方面的关键作用。利用这些见解，我们提出了一种集成先验知识的新学习方法，旨在减少对大量数据增强的需求，从而增强学习表示的有效性。尤其值得注意的是，我们的发现表明，富含先验知识的 SSL 模型表现出较小的纹理偏差，对快捷方式和增强技术的依赖减弱，并且对自然和对抗性破坏具有改进的鲁棒性。这些发现不仅为 SSL 研究指明了新的方向，而且为提高 DNN 性能、减轻对大量数据增强的要求，从而增强可扩展性和实际问题解决能力方面铺平了道路。

Apr, 2024

自监督对比学习的几何理解

本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

May, 2022

推荐系统中自监督学习的综合调查

推荐系统在面对信息过载的挑战中发挥着关键作用，通过基于个人用户偏好的个性化推荐提供了解决方案。深度学习技术（如 RNN、GNN 和 Transformer 架构）显著推动了推荐系统的发展，增强其对用户行为和偏好的理解。然而，在现实场景中，监督学习方法由于数据稀疏性而面临挑战，限制了它们有效学习表示的能力。自监督学习技术作为一种解决方案应运而生，利用固有数据结构生成监督信号，不仅依赖于已标记的数据。通过利用未标记数据和提取有意义的表示方法，利用自监督学习的推荐系统可以在面对数据稀疏性时进行准确的预测和推荐。本文对为推荐系统设计的自监督学习框架进行了全面的回顾，包括对超过 170 篇论文的深入分析。我们探索了九种不同的场景，以全面理解不同情境中使用自监督学习增强的推荐系统。对于每个领域，我们详细阐述了不同的自监督学习范式，即对比学习、生成学习和对抗学习，以展示自监督学习如何在各种上下文中增强推荐系统的技术细节。我们在此 https URL 上持续更新相关的开源材料。

Apr, 2024

自监督学习用于推荐系统：一份综述

本文针对神经架构型推荐系统在高度稀疏数据上存在的问题，提出了自监督学习作为缓解数据稀疏性的新技术，并介绍了一种基于分类的综述方法，开发了一个 SELFRec 开源库，其中包含多个基准数据集和评估指标，以及实施了一些先进的 SSR 模型进行实证比较。同时讨论了当前研究中的限制和未来研究方向。

Mar, 2022

SSL 交互作用：扩充、归纳偏差，与泛化

本文对自我监督学习的理论与实践中被忽视的问题进行了分析，阐述了数据增强、网络结构和训练算法对于预训练和下游任务泛化性能的影响，并为自我监督学习的从业者指出了一些有价值的见解。

Feb, 2023