方差对齐得分：一种简单但难以超越的多模态对比学习数据选择方法

Feb, 2024

方差对齐得分：一种简单但难以超越的多模态对比学习数据选择方法

Variance Alignment Score: A Simple But Tough-to-Beat Data Selection Method for Multimodal Contrastive Learning

Yiping Wang, Yifang Chen, Wendan Yan, Kevin Jamieson, Simon Shaolei Du

TL;DR通过提出一种简单而理论上有根据的指标 Variance Alignment Score (VAS)，本研究解决了大规模视觉语言模型预训练中数据选择的核心问题，并设计了一种最大化 VAS 的新数据选择方法，实验证明 VAS 和 CLIP 分数的联合应用在嘈杂数据集 DataComp 上的 38 个评估集中平均提升了 1.3％，在高质量数据集 CC12M 上提升了 2.5％，此外，本研究还表明视觉特征在计算 VAS 时优于文本，并且相关的经典实验设计方法在这种情况下可能失败。

Abstract

In recent years, data selection has emerged as a core issue for large-scale visual-language model pretraining, especially on noisy web-curated datasets. One widely adopted strategy assigns quality scores such as

data selection visual-language model pretraining variance alignment score clip similarity experimental design methods

发现论文，激发创造

视觉 - 文本交叉对齐：在视觉 - 语言模型中优化相似度评分

使用预训练的视觉 - 语言模型对查询图像和细致的文本描述进行对齐可以显著增强零样本性能，因此我们提出了一种加权视觉 - 文本交叉对齐（WCA）方法，该方法通过局部视觉提示技术确定查询图像中的局部视觉区域，并通过创建基于预训练视觉 - 语言模型的相似性矩阵将这些局部视觉区域与细致的描述进行对齐，然后根据此矩阵中的加权相似度开发了一个评分函数来确定查询图像与每个类别的对齐情况，实验证明我们的方法显著提高了零样本性能，结果甚至可以与少样本学习方法相媲美。

Jun, 2024

评估文本到视觉生成与图像到文本生成

通过引入 VQAScore 和 GenAI-Bench，本研究在评估生成式人工智能方面取得了重要进展，并证明了 VQAScore 与传统评估指标相比在复杂文本生成方面的可靠性和性能优势。

Apr, 2024

多模态对比学习的 CLIPLoss 和基于范数的数据选择方法

数据选择是大规模视觉 - 语言模型预训练（例如 CLIP）中的一个核心问题，本文提出了两种新方法：一种是利用 negCLIPLoss 作为质量测量的 CLIP 损失启发式方法，另一种是使用 NormSim 度量预训练数据和目标数据之间的相似性，这两种方法的结合将当前最佳方法 DFN 和 HYPE 的平均性能提高了 0.9％，达到了新的最佳水平。

May, 2024

SIEVE: 利用图像字幕模型进行多模态数据集修剪

使用图像 - 文本模型预训练的数据集来对模型进行裁剪是一种成功的方法，但它存在一些限制。为解决这些问题，我们提出了一种名为 SIEVE 的方法，它使用由经过预训练的图像 - 文本模型生成的合成标题来评估图像 - 文本对的一致性，并在大规模和中等规模的数据集上取得了最先进的性能。

Oct, 2023

ScoreCL：基于分数匹配函数的自适应对比学习增强

本文提出了一种基于 score-matching 函数的自监督对比学习方法 ScoreCL，通过自适应加权每对数据，改善了现有方法的性能，并在 CIFAR-10、CIFAR-100 和 ImageNet-100 上领先了多种方法，证明了其普适性。

Jun, 2023

ArcSin: 自适应范围余弦相似性注入噪声以支持以语言为驱动的视觉任务

通过应用论文中提出的新方法 - ArcSin，实现了在学习语言和推理与视觉任务之间进行模态转换，提高了视觉问题回答，图像字幕生成和视觉蕴含的性能。

Feb, 2024

CrossScore: 走向多视角图像评估和打分

介绍一种新型的交叉参考图像质量评估方法，利用神经网络和独特的数据采集流水线以及 NVW 优化，实现了不需要真实参考图像的准确图像质量评估。

Apr, 2024

演化感知的方差 (EVA) 核心集选择用于医学图像分类

在资源有限的环境中，如远程医疗设施和移动设备中，管理高维海量医学图像数据并从中进行可靠的医学分析是一项关键挑战。本文提出了一种名为 Evolution-aware VAriance（EVA）的新型核心集选择策略，通过双窗口方法捕捉模型训练的演进过程，通过方差度量更精确地反映样本重要性的波动。对医学图像数据集进行了大量实验证明了我们策略在以往最佳方法，尤其是在高压缩率下的有效性。EVA 在仅使用 10% 的训练数据时达到了 98.27% 的准确率，相比之下完整的训练集为 97.20%。与随机选择相比，没有一种基准方法可以在 5% 的选择率下超过其，而 EVA 则比随机选择高出 5.61%，展示了其在高效的医学图像分析方面的潜力。

Jun, 2024

应用变分信息瓶颈和对比学习减少情感分析中的伪相关性

本文提出了一个名为 CVIB 的新型对比变分信息瓶颈框架，用于减少深度模型在输入特征和输出标签之间的虚假关联问题，并通过在原始网络和自剪枝网络之间使用对比学习来同时优化这两个网络。实验表明，该方法在整体预测性能、鲁棒性和泛化性等方面均优于强竞争对手。

Mar, 2023

划分、评估与改进：基于迭代 VQA 反馈的文本到图像对齐的评估和改进

通过分解式对齐评估和改进文本到图像的对齐效果，并使用 Decompositional-Alignment-Score 和 VQA 模型来测量不同断言的对齐度。实验结果表明，这种对齐度指标与人类评分高度相关，并且断言级别的对齐度评分可用于逐步提高最终图像输出中不同断言的表达。人类用户研究表明，该方法在整体文本到图像对齐准确性方面超过了之前的最先进方法 8.7%。

Jul, 2023