ICLRFeb, 2023

SupSiam：分子构象学习的非对比辅助损失

PDF
TL;DR本研究探讨孪生网络用于学习与分子构象相关的嵌入式样本，并发现一种非对比式辅助任务可辅助监督学习和增加流形平滑度。我们在多项药物活性预测任务中展示了此属性，并提出将流形平滑度扩展到概率和回归设置。我们针对表征陷落进行了分析，发现任务加权、潜在维数和正则化等因素都有显著影响。我们期望提供的协议能帮助开发出可靠的 E3NNs 用于分子构象的小数据药物发现计划。
发现论文，激发创造
  • 连锁原型对比学习

    本研究提出了一种简单而有效的对比学习框架来解决 Contrastive Self-supervised Learning (CSL) 中样本不足问题，将同一个输入的不同视角拉近，不同输入的视角推远，提高了视觉表征的质量，并在 ImageNet-1K 数据集上表现出了超越完全监督训练版本的性能。

    Aug, 2022

  • 非对比性孪生表示学习中的崩溃理解

    通过对 SimSiam 两个非对比损失方法进行实证分析，研究发现 SimSiam 对数据集规模和模型大小非常敏感，并提出用崩溃度量来衡量降维崩溃的程度，进而预测下游任务性能。同时，采用持续学习模式作为规范器可以预防模型的崩溃，并提出一种持续和多轮训练的混合方式，该方式能够在 ImageNet 上使用 ResNet-18 显著提高线性探针精度。

    Sep, 2022

  • 探索简单的同孪表征学习

    本文通过研究，展示出使用 Siamese 网络进行图像无监督表示学习的含义，并阐述了在该情况下级联网络的基本角色，并提出了一个新的基于停止梯度的理论，通过实验证明了其正确性。

    Nov, 2020

  • 句子表示的配对监督对比学习

    本文提出了一种基于实例区分的方法 PairSupCon，旨在通过高级分类概念编码在语义蕴含和矛盾理解之间建立联系。该方法在各种下游任务中均取得了极好的效果，超过了先前的最先进方法。

    Sep, 2021

  • 多相似性对比学习

    基于多个相似性度量的新型多相似性对比损失（MSCon）提供了在不同相似关系下学习可推广嵌入的方法，通过自动学习对应相似性的对比权重，降低不确定任务的影响，从而在内部和外部领域中优于最先进的基准模型。

    Jul, 2023

  • 对比自监督学习和非对比自监督学习恢复全局和局部谱嵌入方法

    本文提出了一种基于谱流形学的统一框架，以解决自监督学习方法的局限性并提供有意义的表示学习方法，通过将 VICReg，SimCLR 和 BarlowTwins 等自监督学习方法与谱方法相对应，得到了闭合形式的最佳表示以及线性区间内的网络最佳参数，并揭示了对训练中使用的成对关系以及下游任务性能的影响，以及对于两种谱嵌入方法之间的第一种理论桥梁的暗示。

    May, 2022

  • SimSiam 如何在无负样本的情况下避免崩溃？自监督对比学习的统一理解

    本研究通过对最近提出的简约 Siamese (SimSiam) 方法的研究，使用矢量分解技术分析了 $l_2$-normalized 表示向量的梯度，提供了负样本和 SimSiam 避免崩溃的统一视角.

    Mar, 2022

  • 多尺度对比孪生网络用于自监督图表示学习

    本文提出了一种用于学习节点表征的自监督方法，通过改进 Siamese 自蒸馏方法和多尺度对比度学习，构建局部和全局两种视图，并采用交叉网络和交换视角两个目标，最大化不同视图和网络的节点表征之间的一致性，该方法在五个真实数据集上实验，不仅取得了新的最优结果，而且优于一些半监督方法。

    May, 2021

  • Sy-CON: 对称对比损失用于连续自监督表示学习

    引入了一种新型通用损失函数 Symmetric Contrastive (Sy-CON) loss 用于有效地连续自监督学习 (CSSL).

    Jun, 2023

  • 通过本地一致性增强的孪生网络与互补损失用于二视图对应关系学习

    在近期两视图对应关系学习的研究中，我们从两个方面改进了现有框架。首先，我们提出了局部特征共识 (LFC) 插件块来增强现有模型的特征。其次，我们将现有模型扩展为具备相互损失的孪生网络，充分利用互相投影的监督信息，极大提高了匹配性能，而不引入额外的模型参数。基于 MSA-Net，我们实现了这两个改进，并在基准数据集上取得了最先进的性能。

    Aug, 2023