本文通过研究，展示出使用 Siamese 网络进行图像无监督表示学习的含义，并阐述了在该情况下级联网络的基本角色，并提出了一个新的基于停止梯度的理论，通过实验证明了其正确性。

Nov, 2020

本文提出了一种用于学习节点表征的自监督方法，通过改进 Siamese 自蒸馏方法和多尺度对比度学习，构建局部和全局两种视图，并采用交叉网络和交换视角两个目标，最大化不同视图和网络的节点表征之间的一致性，该方法在五个真实数据集上实验，不仅取得了新的最优结果，而且优于一些半监督方法。

May, 2021

自主驾驶是一个备受关注的领域，但标记数据的收集过程非常困难，自监督学习可能是提高模型性能的一种有效方式。本文提出了一种名为 MultiSiam 的方法，解决了多示例情况下的自监督学习存在的问题，包括跨视图一致性和相似度度量。该方法在公开数据集上具有很强的性能表现，并显示了特定领域预训练的潜力。

Aug, 2021

本研究提出了一种简单而有效的对比学习框架来解决 Contrastive Self-supervised Learning (CSL) 中样本不足问题，将同一个输入的不同视角拉近，不同输入的视角推远，提高了视觉表征的质量，并在 ImageNet-1K 数据集上表现出了超越完全监督训练版本的性能。

Aug, 2022

通过对 SimSiam 两个非对比损失方法进行实证分析，研究发现 SimSiam 对数据集规模和模型大小非常敏感，并提出用崩溃度量来衡量降维崩溃的程度，进而预测下游任务性能。同时，采用持续学习模式作为规范器可以预防模型的崩溃，并提出一种持续和多轮训练的混合方式，该方式能够在 ImageNet 上使用 ResNet-18 显著提高线性探针精度。

Sep, 2022

本论文提出了 Dense Siamese Network（DenseSiam），这是一种针对密集预测任务的简单的无监督学习框架，通过最大化图像两个视图之间的相似性（包括像素和区域一致性），学习视觉特征表示，并证明了其在图像分类和语义分割任务中的有效性。

Mar, 2022

本文提出了一种新的自监督方法 SidAE，将 Siamese 结构和去噪自编码器相结合进行无监督预训练，证明其在多个数据集、设定和场景下优于两个自监督对照组，其中关键包括仅有少量标记数据的情况。

Apr, 2023

本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

Oct, 2020

我们的研究表明，非对比自监督学习方法可以通过学习理想的投影矩阵来降低下游任务的样本复杂度，并且我们还设计了一个更简单、更高效的算法 DirectCopy，其可以成功地应用于 STL-10、CIFAR-10、CIFAR-100 和 ImageNet 数据集，表现良好。

Oct, 2021

本文提出了一种用于在小部分标记的情况下训练深度神经网络的简单高效方法，采用自我模拟方案的集成预测来提高标签的未知性，从而使得在两个标准半监督学习基准测试中加快速度并实现更好的性能。

Oct, 2016