CVPRApr, 2022

论同孪表示学习中的不对称性重要性

PDF
TL;DR本论文探讨了利用不对称网络结构进行自监督表示学习的重要性，发现保持目标编码比源编码相对较低的方差通常对学习有利，并且在多个案例和数据集上得到了验证和实验结果的支持，可以在 ImageNet 线性探针上实现最新的精度，并在下游传输学习方面取得了有竞争力的结果。
self-supervisedvisual representation learningasymmetric networksvariance-oriented designssiamese representation learning
发现论文，激发创造
  • 探索简单的同孪表征学习

    本文通过研究，展示出使用 Siamese 网络进行图像无监督表示学习的含义，并阐述了在该情况下级联网络的基本角色，并提出了一个新的基于停止梯度的理论，通过实验证明了其正确性。

    Nov, 2020

  • 掩蔽连体卷积网络

    本文研究掩蔽 Siamese 网络在卷积神经网络下的问题，并提出多个经验设计来逐渐解决这些问题。该方法在低样本图像分类上表现有竞争力，并在目标检测基准测试中优于以前的方法。

    Jun, 2022

  • 多尺度对比孪生网络用于自监督图表示学习

    本文提出了一种用于学习节点表征的自监督方法，通过改进 Siamese 自蒸馏方法和多尺度对比度学习，构建局部和全局两种视图，并采用交叉网络和交换视角两个目标，最大化不同视图和网络的节点表征之间的一致性，该方法在五个真实数据集上实验，不仅取得了新的最优结果，而且优于一些半监督方法。

    May, 2021

  • 自监督孪生自编码器

    本文提出了一种新的自监督方法 SidAE，将 Siamese 结构和去噪自编码器相结合进行无监督预训练，证明其在多个数据集、设定和场景下优于两个自监督对照组，其中关键包括仅有少量标记数据的情况。

    Apr, 2023

  • 一种考虑解剖学的孪生网络：利用语义不对称性在 X 光图像中实现精准骨盆骨折检测

    本文提出一种新的骨盆前突破检测方法，基于对称性分析、空间转换层和 Siamese 网络，通过对像素信息进行深度学习优化，成功提高了诊断准确率。

    Jul, 2020

  • 学习同源脑结构正常不对称表示

    通过异常检测和表征学习，使用孪生架构将大脑结构的左右半球分割映射到正常非对称嵌入空间中，以量化未见过的样本对中心的嵌入距离，为研究正常大脑非对称性和神经变性疾病的诊断提出了一种新颖的方法。

    Jun, 2023

  • 基于 Siamese 网络的深度学习人脸识别方法

    通过使用对比网络的方法，在没有标记的人脸图像的情况下，实现了接近监督基准的性能。

    Dec, 2023

  • EnSiam: 带有集成表示的自监督学习

    本文提出了一种名为 EnSiam 的方法，基于教师 - 学生框架和集成学习思想，使用多个表示来改进对比学习，并提供稳定的伪标签，以提供更好的性能。实验证明，在大多数情况下，EnSiam 能够胜过以往最先进的方法，包括在 ImageNet 上的实验，表明 EnSiam 能够学习到高质量的表示。

    May, 2023

  • 使用软标签的孪生网络在筛查乳腺 X 射线照片上进行无监督异常检测和裁剪预训练

    通过对比侧面乳房 X 射线摄影图像来训练神经网络，以实现全面无监督的方式区分异常病变和背景组织，从而实现乳房补丁分类任务中的卓越性能。

    Jan, 2024

  • NASiam：使用神经架构搜索技术对孪生网络进行高效表示学习

    文章介绍了一种名为 NASiam 的新方法，利用不同 iable NAS 技术改进了基于孪生网络的对比学习框架 (如 SimCLR、SimSiam 和 MoCo) 内的多层感知器投影和预测器 (编码器 / 预测器对) 结构，而保留了之前基线的简单性，提高了 ResNet 骨干卷积模型的效率，性能稳定，可应用于大规模图像分类数据集，且成本较低。

    Jan, 2023