探索简单的同孪表征学习
本论文提出了 Dense Siamese Network（DenseSiam），这是一种针对密集预测任务的简单的无监督学习框架，通过最大化图像两个视图之间的相似性（包括像素和区域一致性），学习视觉特征表示，并证明了其在图像分类和语义分割任务中的有效性。
Mar, 2022
通过对 SimSiam 两个非对比损失方法进行实证分析，研究发现 SimSiam 对数据集规模和模型大小非常敏感，并提出用崩溃度量来衡量降维崩溃的程度，进而预测下游任务性能。同时，采用持续学习模式作为规范器可以预防模型的崩溃，并提出一种持续和多轮训练的混合方式，该方式能够在 ImageNet 上使用 ResNet-18 显著提高线性探针精度。
Sep, 2022
该研究提出了一种将自监督学习的不同方法统一在同一框架下进行比较的方法，并通过 UniGrad 提出了一种简单有效的自监督学习的梯度形式，其在线性评估和下游任务中表现出了卓越的效果。
Dec, 2021
本研究通过对最近提出的简约 Siamese (SimSiam) 方法的研究，使用矢量分解技术分析了 $l_2$-normalized 表示向量的梯度，提供了负样本和 SimSiam 避免崩溃的统一视角.
Mar, 2022
本文提出了一种用于学习节点表征的自监督方法，通过改进 Siamese 自蒸馏方法和多尺度对比度学习，构建局部和全局两种视图，并采用交叉网络和交换视角两个目标，最大化不同视图和网络的节点表征之间的一致性，该方法在五个真实数据集上实验，不仅取得了新的最优结果，而且优于一些半监督方法。
May, 2021
本文提出了一种名为 EnSiam 的方法，基于教师 - 学生框架和集成学习思想，使用多个表示来改进对比学习，并提供稳定的伪标签，以提供更好的性能。实验证明，在大多数情况下，EnSiam 能够胜过以往最先进的方法，包括在 ImageNet 上的实验，表明 EnSiam 能够学习到高质量的表示。
May, 2023
本文研究掩蔽 Siamese 网络在卷积神经网络下的问题，并提出多个经验设计来逐渐解决这些问题。该方法在低样本图像分类上表现有竞争力，并在目标检测基准测试中优于以前的方法。
Jun, 2022
我们提出了一种新颖的 3D 孪生网络模型，用于文本语义相似性建模，通过将语义信息映射到高维空间，保留了更精确的空间和特征领域信息，并为综合下游建模策略提供了必要的结构条件。通过引入多个模块来增强这一 3D 框架，包括特征提取、注意力和特征融合，在四个文本语义相似性基准上的广泛实验证明了我们 3D 孪生网络的有效性和效率。
Jul, 2023
该研究提出了一种新的自监督学习方法 Siamese Image Modeling，它通过预测同一图像的不同视图的表示来达到语义对齐和空间敏感的目的，这种方法在 ImageNet 微调和线性探测、COCO 和 LVIS 检测以及 ADE20k 语义分割等多项下游任务中都取得了更好的效果。
Jun, 2022