Jun, 2023

通过联合创作绘画和交互解释 CLIP

PDF
TL;DR本文分析了一个视觉档案，其中互动机器人艺术装置根据观众讲述的梦境生成图像，通过 CLIPdraw 深度学习模型解释和转换。结果表明四个概念分组描述和解释了 CLIP 生成的结果：清晰的概念，文本转图像，不确定和混乱以及翻译问题。最终，文章认为所提出的分组支持对神经模型的更好理解。
clipdrawdeep learningdream interpretationconcept representationartificial intelligence
发现论文，激发创造
  • CLIP-CLOP: CLIP 引导的拼贴和拼贴照片

    通过艺术家所提供图像拼贴和提示信息，设计了一个基于梯度的生成算法来生成高分辨率的图像拼贴，并提供了一个开源工具供创作者使用。

    May, 2022

  • 通过语言 - 图像编码器探索文本到图像合成

    本论文提出 CLIPDraw 算法，它利用自然语言输入来生成新的绘画。CLIPDraw 不需要任何训练，而是使用预训练的 CLIP 语言 - 图像编码器作为优化相似度的指标，通过矢量笔划生成图像，从而呈现出更简洁的形状。该算法与其他优化方法的综合比较以及其可靠的多样化风格的生成能力被强调，并且其代码可供实验使用。

    Jun, 2021

  • 基于 CLIP 的图像到文本转换提升多模态理解能力

    将输入图像转化为相应的文字解释是计算机视觉和自然语言处理领域中一个关键而复杂的过程，本文提出了一种创新的集成方法，利用对比式语言图像预训练模型的能力。

    Jan, 2024

  • 揭秘故障现象：对 CLIP 图像编码错误进行深入研究

    我们的研究旨在揭示 CLIP 模型在图像理解方面存在的问题和盲点，通过对比 CLIP 与人类图像理解的共性与差异，我们发现 CLIP 在图像解释上存在与人类感知相比的显著差异，包括行动与静止的混淆、无法识别图像中的运动方向或物体位置、产生类似水的特征的幻觉，以及对地理环境的错误归因等 14 个系统性问题。通过解决这些限制，我们为开发更准确细致的图像嵌入模型奠定了基础，推动了人工智能的发展。

    Jun, 2024

  • 增强图像检索：基于 CLIP 模型的照片搜索的全面研究

    CLIP 模型是基于文本查询的图像检索的重要进展，通过在大规模数据集上进行训练获得显著的泛化能力，实现了图像和文本的跨模态理解，促进了自然语言理解和计算机视觉的无缝集成，为多媒体应用中的信息检索提供了强大的工具。

    Jan, 2024

  • 利用基于 CLIP 的多模态方法进行艺术品分类与检索

    在艺术作品领域中，我们通过对艺术品图像进行多模式图像预训练，并使用最新的 CLIP 模型，在 NoisyArt 数据集上进行了详尽的实验，取得了令人印象深刻的（零样本）分类效果和良好的艺术品之间及描述与艺术品之间的效果。

    Sep, 2023

  • 在 CLIP 中区分视觉和文本概念

    本篇论文探讨了 CLIP 网络上单词图片和自然图片表征的纠缠度，发现其图像编码器可以将单词图片与描述相符的自然图片匹配，但同时处理字母的过程是与含义处理分离的，使用者还提出了一种有效的侧重隔离或排除拼写能力的表征子空间的方法，并对其在检索任务和生成图片方面进行了验证。

    Jun, 2022

  • CLIP 也可以理解文本：通过提示进行短语理解

    本篇研究发现，使用自然语言的方式来训练 Contrastive Language-Image Pretraining (CLIP) 的文本编码器，能够更好地实现短语的理解，甚至能够在正确的提示下，显著优于流行的语言模型，有效地提升实体聚类和扩展任务的效果。

    Oct, 2022

  • 构想 MedCLIP：医学视觉语言模型的可解释性深入探究

    分析多模态模型的解释性性能以及提出克服这些方法的缺点的简单方法，并提供对医学领域中解释性的新观点，该评估方法具有普适性。

    Mar, 2024

  • 解码抽象艺术中的情感：CLIP 在识别颜色 - 情感关联中的认知合理性

    本研究调查了预训练的多模态模型 CLIP 在识别抽象视觉艺术所引发的情感方面的认知合理性。我们使用包含带有情感标签和人类注释员提供的文本证明的图像的数据集进行研究。我们对证明进行语言分析，对图像和证明进行零 - shot 情感分类，并应用基于相似度的情感预测，研究颜色 - 情感交互作用。在识别抽象图像和证明的情感方面，CLIP 的准确度相对较低，但高于基准水平，这表明 CLIP 以一种与人类认知过程不太一致的方式解码情感复杂性。此外，我们还探究了图像和证明中的颜色 - 情感交互作用。预期的颜色 - 情感联系（例如，红色与愤怒有关）在图像和通过人类和 CLIP 注释的文本中得到了确认，后者展示出更强的交互作用。我们的结果凸显了连接图像特征和情感时人类处理与机器处理之间的差异。

    May, 2024