我们提出一种自监督方法，用于学习基于物理的子空间进行实时模拟。通过近似预定义的模拟数据以纯几何方式构建子空间的现有基于学习的方法。然而，这种方法倾向于产生高能量配置，导致了纠缠的潜空间维度，并且在训练集之外的泛化能力较差。为了克服这些限制，我们提出了一种自监督方法，在训练期间直接最小化系统的机械能。我们证明了我们的方法导致了学习到反映物理平衡约束的子空间，解决了先前方法的过拟合问题，并提供可解释的潜空间参数。

Apr, 2024

使用深度学习方法对协方差进行估计，并提出了一种全局学习神经网络并将其应用于推理时间。利用最新的自监督基础模型的先进技术，通过简单地对不同样本进行掩蔽并学习预测它们的协方差，训练网络而无需任何标记。该架构基于流行的注意机制，其主要优点是在没有任何分布假设或正则化的情况下自动利用全局特征。它可以作为基础模型进行预训练，然后用于各种下游任务，例如雷达或高光谱图像中的自适应目标检测。

Mar, 2024

使用自监督学习的方式学习天文学中的巨大数据源，通过图像表示的学习，可以在不需要过多标记的情况下获得与使用有监督学习方法获得的结果相当甚至更好的效果，可能可以有效减少标记数量。

Dec, 2020

通过贝叶斯分析，我们对最先进的自监督学习目标进行了研究，提出了一种从第一原理推导这些目标的标准化方法，并表明将自监督学习与基于似然的生成模型进行整合的自然方式。我们在集群自监督学习和能量模型的领域内验证了这一概念，并引入了一种新的下界，可可可靠地惩罚最重要的失败模式。我们的理论发现通过对合成和真实世界数据的实验证实，包括 SVHN、CIFAR10 和 CIFAR100，因此显示我们的目标函数能够在聚类、生成和外分布检测性能方面远远优于现有的自监督学习策略。我们还证明 GEDI 可以集成到神经符号框架中，以减轻推理的快捷问题，并通过增强的分类性能学习更高质量的符号表示。

Dec, 2023

本研究以人类物理推理过程为模板，建立了一种神经网络架构，旨在通过表示学习的方式，使神经网络在实验数据的基础上为科学发现提供更具一般性的工具，并在玩具实例中应用该方法，得出相应结论。

Jul, 2018

本研究提出了一种新的神经网络监督方法，它通过指定输出空间上应该保持的约束条件来监督神经网络。这些约束条件是从先前的领域知识中派生出来的，并能够在真实世界和计算机仿真视觉任务中有效地训练卷积神经网络，减少了对已标注的训练数据的需求，但对正确编码先前的知识引入了新的挑战。

Sep, 2016

本文提出了一种新的自监督方法 SidAE，将 Siamese 结构和去噪自编码器相结合进行无监督预训练，证明其在多个数据集、设定和场景下优于两个自监督对照组，其中关键包括仅有少量标记数据的情况。

Apr, 2023

我们提出了一个使用自监督学习来进化深度神经网络的框架，通过在 CIFAR-10 数据集上的实验结果表明，我们能够在降低对标注数据依赖的同时进化出适当的神经网络结构，并且相比于采用监督学习的个体，通过自监督学习学习到的网络结构对于输入的标注数据量较不敏感。

Jun, 2024

本研究提出使用可微的物理引擎在行动条件下的视频表示网络中学习物理潜在表示。我们使用监督和自监督学习方法来训练我们的网络，并确定物理属性。实验中，我们演示了我们的网络可以从视频和行动序列中学习编码图像并识别物理属性，我们还比较了我们的受监督和自我监督方法的准确性，并展示了我们的方法预测未来视频帧的能力。

Sep, 2020

本文探讨了一种更具生物学可行性的深度表示学习方法，通过一种基础学习规则（即基于突触权重更新的时序相关型可塑性）引出一种机器学习的梯度下降算法，利用神经元动态学实现了近似的变分 EM 算法，提出了使用去噪自编码器实现梯度的方法，并将其在生成学习任务上加以验证。

Feb, 2015