自监督集合表示学习用于无监督元学习
我们提出了一种使用合成数据集来训练半监督学习模型的方法，该方法通过使用基于生成式基础模型训练的合成数据集来替代真实的未标记数据集，并证明了在极少标记数据集的情况下，合成样本比真实未标记数据更有效地提升性能。
Sep, 2023
该论文提出了一种两阶段的学习方法，通过最大化特征嵌入的熵来创造一个最佳输出流形，并通过自我监督的双胞胎约束流形，最小化特征嵌入的熵来提高深度神经网络在少样本学习任务中的表示能力。
Jun, 2020
通过分析梯度公式，我们对基于非参数实例区分的单分支自监督学习方法进行了改进，提出了一种新的自蒸馏损失以减小实例区分中的更新问题，并且在训练开销和性能方面与不同方法进行了系统比较，在不同规模的数据和不同骨干网络下，我们的方法在大大降低开销的同时，比各种基准方法表现更好，尤其在有限数量的数据和小型模型的情况下效果显著。
Apr, 2024
本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。
May, 2023
本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。
Oct, 2021
该研究发现对于对比自监督 (SLL) 来说，那些与其他示例具有最相似增强的样例在学习表示方面贡献最大。此外，研究还表明，对正在进行的任务性能不会产生负面影响的情况下，可以安全地排除 CIFA100 和 STL10 分别的 20% 和 40% 示例。
Feb, 2023
通过一次性无监督元学习方法，利用增强样本作为查询集来学习训练样本的潜在表示，并通过温度缩放的交叉熵损失在元学习的内循环中防止过拟合。该方法是模型无关的，能够提高任何元学习模型的准确性，并通过在初始化和快速调适阶段采用目标有监督元学习的方式，在 Omniglot 和 mini-Imagenet 数据集上展示了该方法的性能。此外，具备该初始化的元学习模型可以在较少的训练样本下达到令人满意的准确性。
Oct, 2023