基于再模拟的自监督学习用于预训练基础模型

Mar, 2024

基于再模拟的自监督学习用于预训练基础模型

Re-Simulation-based Self-Supervised Learning for Pre-Training Foundation Models

Philip Harris, Michael Kagan, Jeffrey Krupa, Benedikt Maier, Nathaniel Woodward

TL;DRRS3L 是一种基于模拟的自监督学习策略，通过重新模拟过程和重新运行干预之后的模拟组件生成多个事件的多种增强模式，从而产生一组包含模拟器中的所有物理驱动变化的增强样本，实现了强大的性能在辨别各种对象和不确定性减轻等下游任务中。

Abstract

self-supervised learning (SSL) is at the core of training modern large machine learning models, providing a scheme for learning powerful representations that can be used in a variety of downstream tasks. However, SSL strategies must be adapted to the type of training data and downstrea

self-supervised learning rs3l simulation-based contrastive learning high-energy physics

发现论文，激发创造

自监督学习的逆向工程

本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

May, 2023

SSL 交互作用：扩充、归纳偏差，与泛化

本文对自我监督学习的理论与实践中被忽视的问题进行了分析，阐述了数据增强、网络结构和训练算法对于预训练和下游任务泛化性能的影响，并为自我监督学习的从业者指出了一些有价值的见解。

Feb, 2023

基于自监督范式的有限标记样本遥感图像场景分类

通过自监督学习机制，利用未标记的大规模遥感图像数据进行预训练，提高了远程传感器图像场景分类任务的性能，与传统的以 Imagenet 为代表的方法相比表现更佳。同时，研究了多个影响自监督学习的因素，这些研究成果对遥感领域中 SSL 技术的发展具有积极意义，有望提高大规模遥感图像处理的效率。

Oct, 2020

社会感知自我监督三训练推荐

本文提出了一个集成 tri-training 的通用社交感知的自监督学习框架，将节点间的自我监督信号与其他节点的监督信号结合起来，以提高推荐系统性能。实验证明了该框架的有效性。

Jun, 2021

使用弱数据增强进行关系自监督学习的 ReSSL 算法

本文提出一种新的自监督学习方法 —— 关系自监督学习 (ReSSL) 框架，通过建模不同实例之间的关系来学习表示，采用成对相似度的锐化分布作为关系度量来匹配不同增强的特征向量，实验结果表明我们的方法在性能和训练效率方面显著优于先前的最先进算法。

Jul, 2021

自监督学习对数据集失衡更具鲁棒性

本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

Oct, 2021

推荐系统中自监督学习的综合调查

推荐系统在面对信息过载的挑战中发挥着关键作用，通过基于个人用户偏好的个性化推荐提供了解决方案。深度学习技术（如 RNN、GNN 和 Transformer 架构）显著推动了推荐系统的发展，增强其对用户行为和偏好的理解。然而，在现实场景中，监督学习方法由于数据稀疏性而面临挑战，限制了它们有效学习表示的能力。自监督学习技术作为一种解决方案应运而生，利用固有数据结构生成监督信号，不仅依赖于已标记的数据。通过利用未标记数据和提取有意义的表示方法，利用自监督学习的推荐系统可以在面对数据稀疏性时进行准确的预测和推荐。本文对为推荐系统设计的自监督学习框架进行了全面的回顾，包括对超过 170 篇论文的深入分析。我们探索了九种不同的场景，以全面理解不同情境中使用自监督学习增强的推荐系统。对于每个领域，我们详细阐述了不同的自监督学习范式，即对比学习、生成学习和对抗学习，以展示自监督学习如何在各种上下文中增强推荐系统的技术细节。我们在此 https URL 上持续更新相关的开源材料。

Apr, 2024

一个概率模型解释自监督表示学习

自监督学习在生成的潜在变量模型和对比方法的框架下，提出了一种能够改善性能、实现任务无关性表示的方法。

Feb, 2024

知识图谱推理：自我监督强化学习

强化学习通过自我监督预训练方法改进了知识图谱推理任务的性能，解决了动作空间大的挑战和分布不匹配问题，并且超过了现有的最先进结果。

May, 2024

随机数据投影的自监督表示学习

使用无监督学习通过重建随机数据投影来学习高质量数据表示，该方法适用于不同数据模态和网络架构，并超过了多个最先进的无监督学习基线模型的性能。

Oct, 2023