自动樱桃挑选者：从语言驱动的高质量生成数据中学习

Jun, 2024

自动樱桃挑选者：从语言驱动的高质量生成数据中学习

Auto Cherry-Picker: Learning from High-quality Generative Data Driven by Language

Yicheng Chen, Xiangtai Li, Yining Li, Yanhong Zeng, Jianzong Wu...

TL;DR通过使用扩增感知和多模态训练的高质量多模态训练样例，Auto Cherry-Picker（ACP）框架能够生成高质量的图像布局并改善现有模型性能，其中使用了扩散模型、语言模型、评价指标等关键技术。

Abstract

diffusion-based models have shown great potential in generating high-quality images with various layouts, which can benefit downstream perception tasks. However, a fully automatic layout generation driven only by

diffusion-based models layout generation multi-modal training language models evaluation metrics

发现论文，激发创造

通过 LLMs-AIGCs 协作进行系统性视觉适应的交互式数据合成

该文章介绍了一种基于 LLM 模型的 ChatGenImage 新模型，用于数据扩充和标注，以及探索 LLMs 与 AIGC 模型的互补优势，以实现更可控的图像生成，并首次尝试将它们合作用于自动数据增强，并呈现了令人惊叹的结果。

May, 2023

GrowCLIP: 面向大规模对比式语言图像预训练的数据感知自动模型扩展

通过提出 GrowCLIP，一种基于数据驱动的自动模型增长算法，用于连续图像 - 文本对作为输入的对比性语言 - 图像预训练，本文研究了交叉语义先训练、仍在不断增长的数据、共享编码器、不同维度的增长效果，并使用带动量的参数继承来解决局部最小值问题。在 9 个下游任务的零样本图像分类中，相比现有方法，GrowCLIP 的平均准确率提高了 2.3%；至于零样本图像检索，在 Flickr30K 数据集上，GrowCLIP 的 top-1 图像到文本召回率提高了 1.2%。

Aug, 2023

面向视觉文本呈现设计的组合感知图形布局生成对抗网络

本文提出了一种基于图像元素的深度生成模型 CGL-GAN，并设计了域对齐模块 DAM 来缩小训练和测试输入之间的差距，进而生成符合美感直觉的高质量图形布局。

Apr, 2022

正向增量对比学习在图像和视频字幕评估中的应用

提出了基于对比学习的图像标注评估指标 PAC-S，使用生成的图像和文本进一步统一了对比视觉 - 语义空间的学习，实验中表现最好，超过了 CIDEr、SPICE 和 CLIP-Score 等其他指标。

Mar, 2023

LayoutPrompter: 唤醒大型语言模型的设计能力

条件图形布局生成的研究，通过上下文学习以增强数据效率和通用性，提出了基于大型语言模型的 LayoutPrompter 方法。在各种布局生成任务上的实验证明了 LayoutPrompter 方法在低数据情景下的优越性能。

Nov, 2023

CLAIR: 使用大型语言模型评估图像标题

CLAIR 是一种新颖方法，利用大型语言模型（LLMs）的零 - shot 语言建模能力来评估候选图像标题，与现有方法相比，CLAIR 在与人类判断相符的标题质量方面表现出更强的相关性，能够清晰解读结果与其分配的分数背后的推理过程。

Oct, 2023

从图像中生成自动描述：模型、数据集和评估措施综述

本文综述了计算机视觉和自然语言处理社区最近对于从自然图像中自动生成描述的兴趣，系统分类了现有的方法并进行了详细回顾，讨论了它们的优缺点，总结了基准图像数据集和评估措施，并展望了未来的发展方向。

Jan, 2016

盲人视觉 - 语言一致性引导的多模态提示学习用于 AI 生成图像质量评估

提出了一种基于视觉 - 语言一致性指导的多模态提示学习方法，称为 CLIP-AGIQA，用于盲目的 AI 生成图像质量评估，该方法在两个公共 AGIQA 数据集上的实验结果表明其优于现有的质量评估模型。

Jun, 2024

深度交互的跨模态提示学习

本文提出了一种基于 CLIP 的深度交互式跨模态提示学习（DCP）方法，可实现视觉和语言之间的灵活相互作用，通过良好连接的多头注意力模块逐步强且稳定地交换各自的表示，并在 11 个图像分类数据集上进行综合少样本学习实验和域自适应能力分析，实验结果显示 DCP 表现出了超凡的少样本泛化性能和具有吸引力的域适应能力。

May, 2023

ALIP: 自适应语言图像预训练与合成字幕

通过生成综合信息的合成字幕并动态调整样本权重，自适应对比损失有效降低噪音数据的影响并增强预训练数据效率，Adaptive Language-Image Pre-training (ALIP) 在不同规模模型和预训练数据集上进行了实验验证，并在多个下游任务中取得了最先进的性能，包括零样本图像 - 文本检索和线性探测。

Aug, 2023