本文介绍了一种解决 2024 年 NICE 的 Topic 1 零射击图像字幕挑战的方法，通过检索增强和字幕评分方法有效地增强图像字幕，利用图像字幕模型生成的高质量字幕作为训练数据，利用基于手工模板的大规模视觉 - 语言预训练模型（OFA）执行图像字幕任务，并将字幕级策略与检索增强策略相结合，以生成更高质量、更匹配和语义丰富的字幕。基于这种方法，在排行榜上排名第一，在所有其他指标上都取得了第一名的成绩。

Apr, 2024

通过使用 Concadia 数据集来更新 CLIP 模型，使用参数高效微调和基于因果可解释性的损失目标，以区分描述和标题，并获得盲人和弱视人群的判断，同时保持转移能力和可解释性结构。

Jun, 2024

通过学习图像分类的一系列提示信息，我们证明了与仅仅依赖一个可训练提示相比，学习多样和可能更短的上下文能够在推理时间不增加额外成本的情况下显著和一致地提高结果，在 11 个不同基准测试中显示了我们方法的能力。

Jul, 2023

自然语言和图片联合训练的 CLIP 模型可用于基于图像的字幕的评估过程中，而无需参考词，CLIPScore 作为一种新的无参考评估指标可以实现与人类判断的最高相关性。

Apr, 2021

我们在新的零样本图像字幕挑战中提出了解决方案，通过使用 Laion-5B 数据集进行数据级别和 OFA 模型进行模型级别的图像字幕任务，结合对齐图像文本对的对比学习和相似性桶策略，以及检索增强策略构建内容丰富的模板，最终在排行榜上取得了第一名的成绩。

Oct, 2023

本文提出了一种利用 CLIP 模型进行半监督图像标注的方法，包括图像编码器、映射网络和语言模型，通过对比生成的标题和实际标题，并使用未标记的图像进行二次训练，得到了与完整数据集训练的业界最先进模型相比可比的性能，且标题更加独特、信息量更大，并且符合人类的偏好。

Jun, 2023

本研究提出使用基于大规模图像 - 文本对训练的多模态编码器 CLIP 计算多模态相似度并将其用作奖励函数来产生更加具有描述性和独特性的标题，同时证明使用 CLIP 奖励相较于传统奖励模板对于改善生成模型具有优势，并介绍了一种简单的 CLIP 文本编码器微调策略以提高语法。

May, 2022

提出了基于对比学习的图像标注评估指标 PAC-S，使用生成的图像和文本进一步统一了对比视觉 - 语义空间的学习，实验中表现最好，超过了 CIDEr、SPICE 和 CLIP-Score 等其他指标。

Mar, 2023

NICE 项目是挑战计算机视觉社区发展准确性和公平性都达到最新水平的强大图像字幕模型，通过测试使用一个包含多个领域的大量可视化概念的新评估数据集，没有提供特定的训练数据，要求适应在训练过程中没有见过的新型图像描述。该报告包括 NICE 数据集、评价方法、挑战结果和前列参赛作品的技术细节，预期挑战的结果将促进 AI 模型在各种视觉语言任务上的改进。

Sep, 2023

本研究关注于通过改善数据质量和数据多样性，特别强调了视觉概念与标题的整合，提出了一种用于 web 爬取数据集训练的新方法 VeCLIP，通过综合评估数据效率和模型性能，证明了 VeCLIP 在改善图片 - 文本对齐和整体模型性能方面的显著优势。

Oct, 2023