ECLIPSE：一个用于图像生成的资源高效的文本到图像先验模型

Dec, 2023

ECLIPSE：一个用于图像生成的资源高效的文本到图像先验模型

ECLIPSE: A Resource-Efficient Text-to-Image Prior for Image Generations

Maitreya Patel, Changhoon Kim, Sheng Cheng, Chitta Baral, Yezhou Yang

TL;DRECLIPSE 是一种新颖的对比学习方法，利用预训练的视觉 - 语言模型（如 CLIP）将知识蒸馏到先验模型中，以优化资源配置并在受限环境中超越基线的文本 - 图像转换先验模型。

Abstract

Text-to-image (T2I) diffusion models, notably the unclip models (e.g., DALL-E-2), achieve state-of-the-art (SOTA) performance on various compositional T2I benchmarks, at the cost of significant computational resources. The unCLIP stack comprises T2I prior and diffusion image decoder. T

text-to-image diffusion models unclip models eclipse contrastive learning method resource-limited setting

发现论文，激发创造

$λ$-ECLIPSE: 利用 CLIP 潜在空间通过多概念个性化的文本到图像扩散模型

通过引入 lambda-ECLIPSE，我们提出了资源效率更高的单一、多主题和边缘引导的个性化文本到图像生成模型，解决了传统方法中对扩散模型潜空间依赖性的限制。

Feb, 2024

使用 CLIP 潜变量的分层文本条件图像生成

提出一个两阶段模型，先用 prior 生成 CLIP 图像嵌入，再由 decoder 在图像嵌入的条件下生成图像。实验表明该模型可以提高图像的多样性，并在完美保留语义和风格前提下变化非必要的细节。利用扩散模型作为 decoder, 同时使用自回归和扩散模型作为 prior，发现后者更加高效且产生的样本更优。

Apr, 2022

RECLIP: 使用小尺寸图片训练的资源高效 CLIP

本文介绍了一种名为 RECLIP 的方法，其最小化了用于 Contrastive Language Image Pretraining 的计算资源，实现了高效的语言监督预训练。该方法利用小图像高效地学习大规模语言监督，并在最后使用高分辨率数据进行微调，以降低训练资源要求，并展示了与现有方法相比极具竞争力的指标表现。

Apr, 2023

CLIP 模型暗中是一种图像到提示的转换器

本文提出的方法，可以将图片转化为文本提示，从而解决了基于文本提示生成图片时难以整合隐含信息的问题。此方法可以简单灵活地处理各种任务，如图像变化和图像编辑。

May, 2023

民主化对比语言 - 图像预训练：一个数据、模型和监督的 CLIP 基准

本文提出 CLIP-benchmark，对 CLIP 及其变种进行评估、分析和基准测试，并发现了数据、监督和模型架构三个关键因素对性能的影响及应用更恰当的监督可以有效提高 CLIP 性能。

Mar, 2022

CLIP 模型是一个高效的在线终身学习者

在线终身学习 (OLL) 研究了从连续和非恒定数据流中学习的挑战。通过对视觉 - 语言模型 (如 Contrastive Language-Image Pretraining，CLIP) 进行参数高效调整 (PET) 的在线终身学习方法显示了对图像和文本之间的对称性的重要性，并且引入了 Symmetric Image-Text (SIT) 调整策略。通过梯度分析的实验证明了 SIT 的有效性，此外还评估了终身学习对 CLIP 的泛化能力的影响，并发现调整图像编码器对终身学习有益，而调整文本编码器有助于零样本学习。

May, 2024

通过自己鉴别的编码器加速对比性语言 - 图像预训练

利用 ECLIPSE 框架，在统一的文本嵌入空间内解决图像与文本不匹配问题，并在加速推理速度的同时，优于其他方法的性能表现。

Dec, 2023

探索 Contrastive 语言 - 图像预训练的视觉可解释性

本文提出了一种名为 ECLIP 的改进版 Contrastive Language-Image Pre-training 模型，通过 Masked Max Pooling 方法解决了原模型存在的 semantic shift 问题，在目标检测和可解释性等方面有着较大的提升。

Sep, 2022

Jina CLIP：你的 CLIP 模型也是你的文本检索器

通过多任务对比训练方法，我们提出了一种新颖的 jina-clip-v1 模型训练方法，以在文本 - 图像和文本 - 文本检索任务上实现了最先进的性能。

May, 2024

无处不在的监管：一种数据高效的对比语言图像预训练范式

本文提出一种用于 Contrastive Language-Image Pre-training (CLIP) 的新的训练方法，Data efficient CLIP (DeCLIP)，通过充分利用图像 - 文本对之间的广泛监督来更有效地学习通用视觉特征，在使用较少数据的情况下实现 60.4% 的零样本 top1 准确率，并在转化到下游任务时优于常规 CLIP 模型。

Oct, 2021