text-image alignment | BriefGPT

关键词text-image alignment

搜索结果 - 7

非对齐万事通：或在多模态模型中将任何文本对齐到任何图像
通过共享嵌入空间，新兴的多模态模型展示了空前的零样本能力。然而，如果不同的模态存在错位，共享嵌入空间可能会带来新的弱点。本文通过最小程度地修改图像来匹配给定文本的嵌入，展示了使用最近开发的有效基于梯度的过程，证明了我们能够通过不可察觉的对抗
PDF3 days ago
EvalAlign: 通过监督微调人工注释的多模态大模型的精确定位评估文本到图像模型
本文提出了 EvalAlign，这是一种准确性、稳定性和细粒度特性突出的评估指标，通过利用在大规模数据集上进行预训练的多模式大型语言模型（MLLMs）的能力，通过开发集中在图像忠实度和文本 - 图像对齐的两个关键维度的评估协议以及详细的、细
PDF10 days ago
CVPR基于扩散的文本到图像生成的可扩展性研究
通过对缩放去噪网络骨干和训练集的广泛割离实验，本研究探讨了扩大规模的扩散式文本到图像（T2I）模型的特性，发现在模型扩展方面，跨向量关注的位置和数量对现有 UNet 设计的性能具有差异性，增加 Transformer 模块对于提高文本和图像
PDF3 months ago
仲裁者可参与：通过模型反演进行条件生成的替代方法
通过优化传统的采样过程，基于视觉语言模型的训练无生成模型可以实现更好的文本 - 图像对齐。结合 Score Distillation Sampling 模块，我们的方法可以生成高质量的图像。
PDF4 months ago
你所看到的就是你所读到的？—— 改进文本 - 图像对齐评估
本文研究了文本和对应图像是否语义对齐这一问题，提出了使用人类判断和自动化方法来确定文本 - 图像对齐的方式，本文改进了以前的方法，并提出了一种新的方法，它可以定位图像和给定文本的特定不对齐部分，并将其应用于自动重新排列生成的文本到图像的候选
PDFa year ago
Imagen Editor 和 EditBench：推进和评估文本引导的图像修补
本文提出了一种基于文本指导的图像编辑系统 Imagen Editor，通过利用对象检测器提出文本提示的修复遮罩并使用高分辨率图像来处理细节来实现忠实于输入文本且与输入图像一致的编辑，并提出一个名为 EditBench 的系统化基准来评估编辑
PDF2 years ago
EMNLP跨媒体关键词预测：一个统一的框架，配备多模态多头注意力和图像措辞
本文研究了使用多模态多头自注意力机制和图像文字化技术，提高社交媒体帖子中关键词预测的效果，并在 Twitter 上的大规模数据集中获得了优异的表现。
PDF4 years ago