使用不需要数据增强的图对比学习方法 iGCL 进行表征学习，其中设计了不变 - 可区分性损失（ID 损失）来学习不变和可区分的表征，并且实验结果表明 iGCL 在不同类型的数据集上优于其他基准模型，具有很好的泛化性和鲁棒性。

Oct, 2022

提出了一种新的基于等变性的对比学习（ECL）框架 CLeVER，兼容各种主流对比学习方法和模型框架的任意复杂的增强策略，并通过从数据中提取和整合等变信息，提高了基线模型在后续任务中的训练效率和鲁棒性。

Jun, 2024

本论文通过信息论的方法，对机器学习中不变表示的准确性和不变性之间的最优权衡进行了分析，并提出了一种几何特征，可以限定或精确刻画分类和回归任务的准确性和不变性之间的 Pareto 最优边界。

Dec, 2020

本论文探讨了基于对比学习的图像表示学习方法，提出了一种最大化互信息的下界的目标函数，并在实验中发现选择难度更大的负样本以及视角可以提高算法性能。通过比较多种学习方法，研究结果表明，基于互信息的目标函数可以使得算法在分类、边界框检测、实例分割和关键点检测等任务上获得更好的表现。

May, 2020

使用统计和信息理论的已建立原则，我们展示了深度神经网络中对无关因素的不变性等同于学习表示的信息最小性，而叠加层和在训练期间注入噪声自然偏向于学习不变表示。我们进一步分解了训练过程中使用的交叉熵损失，强调了内在的过拟合项。我们提出通过两种等效方式来限制这样的项的正则化损失：一种是使用 Kullbach-Leibler 项，它与 PAC-Bayes 视角相关；另一种是使用权重中的信息作为学习模型复杂度的度量，从而为权重提供了一种新的信息瓶颈。最后，我们展示出在神经网络中学习到的表示组件的不变性和独立性在权重中的信息上限和下限是有界的，因此在训练过程中自动优化。该理论使我们能够量化和预测使用我们的正则化损失时随机标签下欠拟合和过拟合之间的尖锐相变，我们通过实验证实了这一点，并阐明了损失函数的几何形状、学习表示的不变性属性和泛化误差之间的关系。

Jun, 2017

Mutual Contrastive Learning (MCL) is a powerful method for improving feature representations for visual recognition tasks through the mutual interaction and transfer of contrastive distributions among a cohort of networks, achieved through the use of Interactive Contrastive Learning (ICL) to aggregate cross-network embedding information.

Apr, 2021

本文提出了一种自我监督的增量对比学习框架 (ICL)，采用增量信息 NCE 损失函数和深度强化学习率 (meta-optimization with LRL)，从而避免了必须重训练的缺点，并在不同领域的广泛实验中取得了 16.7 倍的训练加速和 16.8 倍快速收敛的竞争性结果。

Jan, 2023

本研究通过对伪标签的维护、采样策略和决策边界的设计进行了综合实证研究，提出了一种统一的通用框架，支持无监督内部和跨图片不变性学习的集成。通过精心设计的比较和分析，我们揭示了多个有价值的观测结果，并展示了最终模型 InterCLR 在多个标准基准测试中对内部图像不变性学习方法的稳定改进。我们希望这项工作能为制定有效的无监督跨图片不变性学习提供有用的经验。

Aug, 2020

发展了一种方法来获得无分布预测区域，以描述不同环境下数据的分布差异，应用于机器学习中的无变异风险最小化（IRM）模型，基于加权遵从得分构造自适应遵从区间，并证明其条件平均值在某些条件下，通过模拟实验和实际案例的应用证明方法的有效性。

May, 2023

本文提出了一种名为 IRCL 的伪排练式学习方法，其中通过将类不变表示与条件生成模型分离并与类特定表示共同使用，以学习顺序任务。该方法证明了在两个著名的连续学习基准上都比基于正则化和基于伪排练的方法更好，并成功地解决了灾难性遗忘问题。

Jan, 2021