有关大规模视觉语言数据集的筛选方法在数据集大小和质量之间进行权衡，而即使是可用的最高质量的筛选标题也远远不足以捕捉图像中丰富的视觉细节。

Dec, 2023

本文介绍了一项任务，即自动生成文本来描述两个相似图像之间的差异。我们通过众包获取了一组新的数据集，并提出了一种模型，该模型使用隐变量来根据像素聚类将不同的像素与输出句子对齐，以捕捉视觉显著性并实现语言和视觉的对准。

Aug, 2018

本论文介绍了一种文本视觉背景数据集，用于改进现代图像描述系统，通过融合与场景相关的文本信息，提高图像描述的准确性及语义关联性。

Jan, 2023

该研究提出了一种新的描述条件（DesCo）学习范式，利用大型语言模型作为常识知识引擎并设计了上下文敏感查询来改善模型的描述能力，从而在零样本检测环境下，超越了先前的最先进模型，以提高物体识别的准确性。

Jun, 2023

本文介绍了一种 Learning-to-Compare 模型，该模型能够理解两个图像之间的语义结构并学习描述每个图像，从而有效地进行图像比较和生成描述。使用该模型可以在 Birds-to-Words 数据集上实现比基准模型更好的性能，且同时在自动评估和人类评估中表现良好。

Feb, 2021

通过结合现有的多模态大语言模型（MLLMs）与多个视觉专家模型，我们提出了一种名为图像文本化（IT）的创新框架，以最大程度地将视觉信息转化为文本，自动生成高质量的图像描述。我们还提出了几个综合评估基准来验证我们框架所创建的图像描述的质量，显示经过 IT 精选描述训练的 LLaVA-7B 模型在生成更丰富的图像描述方面的能力得到了提高。

Jun, 2024

本文提出了一种基于自监督学习的图像差异描述任务的建模框架，并通过对比学习策略来提高视觉与语言的相关性，同时使用数据扩展方法利用多余的监督信息来拓宽有限的数据集，实验表明这种方法有效。

Feb, 2022

我们提出了一种新的度量标准 —— 图像标题具体性，用于在多模态学习中评估无图像参考的标题文本的具体性和相关性，该方法利用强基模型衡量多模态表示中的视觉 - 语义信息损失，我们证明这与人类对单词和句子级文本具体性的评估强相关，同时我们展示出使用图像标题具体性进行筛选可以在资源受限环境中选择最高质量的样本，以进行高效训练。

Mar, 2024

本文提出了扭曲文档图像数据集（DDI-100），该数据集是基于 7000 张真实唯一的文档页面的合成数据集，包含超过 100000 个增强图像，标注信息包括文本和邮戳掩模、文本和字符边界框等，验证结果表明该数据集在文档分析等多种领域有很好的实用价值。

Dec, 2019

为了定量衡量 T2I 模型在学习和合成新型视觉概念的能力，该论文提出了一个大规模数据集 ConceptBed 和一个新的评估指标 Concept Confidence Deviation (CCD)，作者评估了对象、属性、样式及四种组合性维度，研究发现概念学习和保持组合性之间存在权衡。

Jun, 2023