使用 PixLore 方法，通过在商用 GPU 上细调 BLIP-2 模型，利用 LoRa 方法，基于来自先进计算机视觉模型和 ChatGPT 的精心组装的数据集训练，解决了图像理解的复杂性问题，并证明了以较小规模模型的集合体可以在绝大部分评估中超越 GPT-4 和 Google Bard 等现有领先模型。

Dec, 2023

通过探索不同的混合策略，我们发现合成字幕能够增加网络爬取数据点的效用，并且在 38 个任务中，对于 ImageNet 表现比 DataComp 基准提高 2%， 平均值提高 4%。此外，我们发现使用合成字幕进行多模态训练时，标准图像字幕基准的性能并不可靠，还对 1.28B 图像 - 文本对的大规模分析提供了对合成文本的局限性和随着训练数据数量增加图像筛选的重要性的见解。

Jul, 2023

通过观察实际用户的需求，作者介绍了第一个适合盲人用户需求的图像说明数据集，检验数据集特征并比较其和其他数据集的不同，同时研究最新的图像说明算法在如此数据集中的挑战。

Feb, 2020

通过 Reddit 收集了超过 1200 万个图像和文本对，构建了一个大规模的数据集，帮助机器学习模型学习生成富有多样性的图像描述并学习转换到许多下游任务，而无需使用复杂的筛选流程来保持数据质量。

Nov, 2021

该研究创建了一个新的数据集 TextCaps，涉及 28k 张图片和 145k 个标题，用于挑战计算机视觉模型识别图像中的文本，与视觉环境进行关联，并决定要复制或释义文本的哪个部分。研究表明，这个新的数据集提供了许多前所未有的技术挑战。

Mar, 2020

通过在大规模语言模型中生成详细描述的长标题，我们提出了一种动态采样子标题的方法，以在对比学习框架中构建多个正向对并使用分组损失进行自监督训练，实验证明该方法在多种下游任务上具有明显优势。

Mar, 2024

理解视觉场景的语义是计算机视觉中的基本挑战之一。我们提出了 StableSemantics 数据集，其中包括 22.4 万个人工筛选的提示、处理过的自然语言字幕、超过 200 万个合成图像和 1000 万个对应于单个名词短语的注意力地图。我们研究了生成图像的语义分布，检查了图像中对象的分布，并在我们的数据上对字幕和开放词汇分割方法进行了基准测试。我们期望我们提出的数据集能促进视觉语义理解的进展，为开发更复杂和有效的视觉模型奠定基础。

Jun, 2024

通过松弛 Conceptual Captions 3M (CC3M) [Sharma et al. 2018] 数据收集流程，我们引入了 Conceptual 12M（CC12M）数据集，并通过针对长尾视觉识别的多个下游任务基准测试其有效性，结果表明增加预训练数据规模会使视觉和语言任务更加有效。

Feb, 2021

Sora 带来了文本到视频扩散模型的新时代，它在视频生成和潜在应用方面取得了重大进展；本文介绍了 VidProM，这是第一个由真实用户提供的包含 167 万个文本到视频提示的大规模数据集，并探讨了与之相关的研究领域和新的研究方向。

Mar, 2024

该研究介绍了一个新的数据集 MemeCap 及可视化模型综合能力的实验，验证了 VL 模型在理解 meme 中的视觉隐喻方面存在的问题。

May, 2023