零样本模型在预训练时遗传了一些问题，其中一个特别有害的问题是由于不平衡的网络规模预训练数据导致的标签分布不匹配。我们引入了一种简单且轻量级的方法，通过最优传输来调整预训练模型的预测结果，在广泛的零样本图像和文本分类任务中实验证实了我们的方法能够在准确率上提高 4.8% 和 15.9% 的平均值，并在 21 个数据集中的 17 个中击败了类似 Prior Matching 的基线方法。

Apr, 2024

本研究提出一种基于 CLIP 和 text-prompt learning 的零样本分割方法，通过最优传输匹配多个文本提示和冻结的图像嵌入来提高分割性能，并且通过深度局部特征对齐进一步优化。经过大量实验证明，该方法在所选数据集上取得了与之前最先进方法相媲美的表现。

Jan, 2023

本文提出了 OPTICAL：优化传输蒸馏用于低资源跨语种信息检索，该方法利用优化传输问题将知识从双语数据中分离出来，只需要少量数据就可以在低资源语种上显著提高效果。

Jan, 2023

通过交叉模态对比学习以及软图像 - 文本对齐等方法，改进了 CLIP 模型，在处理带有噪声的数据集时能更加高效地学习出具有鲁棒性的表示。经过对 14 个基准数据集的广泛评估，该方法在多种设置下表现均优于 CLIP，并且没有增加计算成本。此外，该方法还在自然分布偏移的鲁棒性测试中表现更好。

Apr, 2022

本文介绍了一种新的方法 OTMatch，通过使用最优输运损失函数，利用类别之间的语义关系，提高半监督学习的性能。与现有最先进的方法 FreeMatch 相比，在 CIFAR-10、STL-10 和 ImageNet 数据集上分别实现了 3.18%、3.46% 和 1.28% 的错误率降低，证明了我们方法在半监督学习中利用语义关系提升学习性能的有效性和优越性。

Oct, 2023

利用图像特征为基础的 L2 蒸馏损失，我们训练出的学生模型在四个特定领域数据集上实现了与在 DataCompXL 上训练的 ViT-B/32 教师模型相当的零样本性能，同时参数减少了高达 92%。

Apr, 2024

基于轨迹匹配的多模态数据集提炼方法在视觉语言数据集上表现出显著的改进，可通过只用 100 个训练对（数量减少一个数量级）几乎使图像到文本的检索准确率翻倍。

Aug, 2023

该研究提出了一种模型，即使没有针对该对象的训练数据，也能在图像中识别对象，并从无监督的大型文本语料库中获取对未知类别的必要知识，在语言中的分布式信息可以被视为理解物体外观的语义基础。

Jan, 2013

最近的视觉语言模型通过将对比方法与生成方法相结合，在下游推理任务（如零样本图像分类）上取得了最先进的效果。然而，图像分类模型的一个持续问题是它们在未知分布下的泛化能力。我们提出了图像 - 字幕编码（ICE）方法，通过直接在评估时仅强制图像条件和字幕条件的预测一致性来引导模型预测到正确的类别。我们展示了该方法可以与其他最先进方法轻松结合，平均提高 0.5％的一流未知分布准确率，在具有挑战性的数据集上高达 3％。

Feb, 2024

这篇论文研究了在 CLIP 等视觉语言模型的快速发展文献中被完全忽视的跨导式零样本和少样本 CLIP 分类挑战，其中推断是在一批未标记的查询样本上进行的，而不是独立处理每个实例。通过构建信息性的视觉文本概率特征，本文提出了一个基于最小化问题的分类优化目标，使用 Dirichlet 分布来建模每个类的数据概率分布。我们采用一种新颖的块主导次优化算法来解决这个最小化问题，该算法同时估计分布参数和类别分配。对 11 个数据集进行的大量数值实验证明了我们批处理推断方法的益处和功效。在测试批次包含 75 个样本的零样本任务中，我们的方法在 ImageNet 准确性方面相对于 CLIP 的零样本性能提高了近 20%。此外，在少样本设置中，我们超过了现有的最先进方法。代码可在此链接获得：this https URL

Apr, 2024