数据选择是大规模视觉 - 语言模型预训练（例如 CLIP）中的一个核心问题，本文提出了两种新方法：一种是利用 negCLIPLoss 作为质量测量的 CLIP 损失启发式方法，另一种是使用 NormSim 度量预训练数据和目标数据之间的相似性，这两种方法的结合将当前最佳方法 DFN 和 HYPE 的平均性能提高了 0.9％，达到了新的最佳水平。

May, 2024

在本研究中，我们提出了一种名为 TT-DNA 的测试时分布学习适配器，通过在测试期间直接建模来自支持集的视觉特征的高斯分布，将其与原始的 CLIP 预测进行残差连接，得到最终预测。我们在人类对象交互的视觉推理方面的广泛实验结果表明，我们提出的 TT-DNA 方法在性能上明显优于现有的最先进方法。

Mar, 2024

该研究通过分析对比学习（CL）揭示了其对采样偏差具有内在的容忍度，并借助分布鲁棒优化（DRO）的视角填补了现有理论无法解释这一现象的研究空白，得出几个关键见解：（1）CL 实质上是在负采样分布上进行 DRO，从而在各种潜在分布中实现鲁棒性，并表现出对采样偏差的鲁棒性；（2）温度 τ 的设计不仅仅是启发式的，而且起到拉格朗日系数的作用，调节潜在分布集合的大小；（3）DRO 和互信息之间建立了理论联系，从而为 “InfoNCE 作为互信息的估计” 提供了新的证据，并提出了一种新的基于 φ- 散度的广义互信息估计方法。我们还确定了 CL 的潜在缺点，包括过度保守和对异常值的敏感性，并引入了一种新颖的调整的 InfoNCE 损失（ADNCE）来减轻这些问题。它改进了潜在分布，提高了性能并加快了收敛速度。在图像、句子和图等多个领域进行了大量实验证实了该方法的有效性。代码可在 https://github.com/junkangwu/ADNCE 上获取。

Oct, 2023

本研究介绍了一个新的实例归一化方法，通过实例内置偏差计算，实现了跨模态检索中每个实例平等检索与准确表示，提高了文本和视频检索的性能，并在多个数据集上实现了最新的多模态检索指标。

Nov, 2022

本文提出了解决自监督对比学习中的批处理大小等参数问题的一种简单有效的基准方法（DCL），并对其进行了在多种基准测试中的复现和实时检验，最终实现了较少受亚优化超参数影响且性能不错的对比学习方法。

Oct, 2021

本文提出 CLIP-benchmark，对 CLIP 及其变种进行评估、分析和基准测试，并发现了数据、监督和模型架构三个关键因素对性能的影响及应用更恰当的监督可以有效提高 CLIP 性能。

Mar, 2022

对比度表示学习已经成为异常检测的一种杰出方法，本文通过探索对比特征的 l2 - 范数及其在超出分布检测中的应用，提出了一种简单的基于对比学习的方法，通过在对比层空间对正常样本进行抵制，来将超出分布的数据纳入模型中。我们的方法可以灵活地作为异常暴露（OE）方法应用，其中超出分布的数据是随机图像的大集合，或者作为完全自监督学习方法应用，其中超出分布的数据是通过应用分布变换自动生成的。我们的方法能够灵活地处理那些对比度学习基于异常检测方法普遍表现不佳的数据集，例如航空影像或显微镜影像。此外，通过对比度学习学习到的高质量特征在 OE 场景中始终提高性能，即使可用的超出分布数据集不够多样化。通过大量实验证明了我们所提方法在各种场景下的优越性，包括单一模态和多模态设置，以及各种图像数据集。

Dec, 2023

本文中介绍了一种新的图像对比学习方法，该方法采用有条件的负采样策略来优化互信息估计，与传统的噪声对比估计相比，该方法在多个标准数据集上都获得了 2-5% 的准确度提升，并且在物体检测、实例分割、关键点检测等下游任务中也获得了更好的性能表现。

Oct, 2020

本文提出了一种新的知识蒸馏方法，基于转移来自教师到学生的通道均值和方差等特征统计信息，以及新的适应性实例归一化损失，以提高模型压缩效果。

Mar, 2020

通过实验研究，我们发现对比训练语言 - 图像模型的鲁棒性提高的主要因素是训练分布的多样性，而其他因素对鲁棒性几乎没有贡献。除了我们的实验结果，我们还介绍了 ImageNet-Captions，这是带有来自 Flickr 的原始文本注释的 ImageNet 版本，以进一步进行语言 - 图像训练的受控实验。

May, 2022