May, 2024

解码抽象艺术中的情感：CLIP 在识别颜色 - 情感关联中的认知合理性

PDF
TL;DR本研究调查了预训练的多模态模型 CLIP 在识别抽象视觉艺术所引发的情感方面的认知合理性。我们使用包含带有情感标签和人类注释员提供的文本证明的图像的数据集进行研究。我们对证明进行语言分析，对图像和证明进行零 - shot 情感分类，并应用基于相似度的情感预测，研究颜色 - 情感交互作用。在识别抽象图像和证明的情感方面，CLIP 的准确度相对较低，但高于基准水平，这表明 CLIP 以一种与人类认知过程不太一致的方式解码情感复杂性。此外，我们还探究了图像和证明中的颜色 - 情感交互作用。预期的颜色 - 情感联系（例如，红色与愤怒有关）在图像和通过人类和 CLIP 注释的文本中得到了确认，后者展示出更强的交互作用。我们的结果凸显了连接图像特征和情感时人类处理与机器处理之间的差异。
multimodal modelclipemotion recognitioncolor-emotion associationsdisparity
发现论文，激发创造
  • 从语言和非语言沟通中学习情感表达

    EmotionCLIP 通过使用非筛选数据从语言和非语言交流中提取视觉情感表示来进行预训练，从而解决了情感理解中数据稀缺的问题，并通过情感引导的对比学习提供了口头和非口头情感线索。结果表明，EmotionCLIP 在各种基准测试中优于现有有监督的视觉情感识别方法并且可以与许多多模态方法竞争。

    May, 2023

  • 探索 CLIP 用于评估图像外观和感觉

    本文介绍了如何利用 CLIP 模型中的丰富视觉语言先验，以零样本方式评估图像的质量感受和抽象感知，实验结果表明 CLIP 具有很好的泛化能力。

    Jul, 2022

  • 利用基于 CLIP 的多模态方法进行艺术品分类与检索

    在艺术作品领域中，我们通过对艺术品图像进行多模式图像预训练，并使用最新的 CLIP 模型，在 NoisyArt 数据集上进行了详尽的实验，取得了令人印象深刻的（零样本）分类效果和良好的艺术品之间及描述与艺术品之间的效果。

    Sep, 2023

  • 通过联合创作绘画和交互解释 CLIP

    本文分析了一个视觉档案，其中互动机器人艺术装置根据观众讲述的梦境生成图像，通过 CLIPdraw 深度学习模型解释和转换。结果表明四个概念分组描述和解释了 CLIP 生成的结果：清晰的概念，文本转图像，不确定和混乱以及翻译问题。最终，文章认为所提出的分组支持对神经模型的更好理解。

    Jun, 2023

  • 关于使用视觉语言模型进行视觉情感分析的研究：针对 CLIP 的一项研究

    本研究在探索如何利用 CLIP 嵌入空间进行视觉情感分析，通过在 WEBEmo 基准测试上训练 CLIP-E 模型和进行交叉数据集评估，发现 CLIP-E 方法在细粒度分类和一些未经训练数据集上的泛化能力均优于现有模型，这引发了关于设计新基准和评估视觉情感分析的问题，并讨论了是否应该继续设计专门的深度学习模型或者更好地利用 CLIP 等大型视觉 - 语言模型的知识来解决这一任务。

    Oct, 2023

  • 关于 CLIP 在组合逻辑推理中的潜力

    本文探讨使用 OpenAI 的 CLIP 进行逻辑连贯的基于视觉的推理的可能性。为此，我们明确了术语，并对 CLIP 潜在空间中嵌入的几何分析进行了配置，以使系统在逻辑上连贯。我们的主要结论是，通常配置的 CLIP 无法执行这种推理。

    Aug, 2023

  • 增强图像检索：基于 CLIP 模型的照片搜索的全面研究

    CLIP 模型是基于文本查询的图像检索的重要进展，通过在大规模数据集上进行训练获得显著的泛化能力，实现了图像和文本的跨模态理解，促进了自然语言理解和计算机视觉的无缝集成，为多媒体应用中的信息检索提供了强大的工具。

    Jan, 2024

  • 艺术中的颜色 - 情绪关联：模糊方法

    通过模糊集合的方法，本研究介绍了一种新颖的方法来分类艺术中的情感。我们使用模糊方法来对情感进行分类，因为它与人类判断的不精确和主观的特性相契合。通过提取与特定情感相关联的模糊主导颜色，将这些颜色转化为扑朔领域，得到基于颜色 - 情感关联的知识库。研究结果显示了特定情感与颜色之间的强烈关联，例如，感激之情与绿色、棕色和橙色强相关。该研究为艺术领域中颜色 - 情感关联的理论理解作出了贡献，并为市场营销、设计和心理学等各种实际应用提供了有价值的见解。

    Nov, 2023

  • CLIP 是否绑定概念？探索大型图像模型的组合能力

    本文探讨了 CLIP 在合成知识下图像描述的能力，提出了五种计算模型并设计出新的训练算法 CoSI，在属性 - 对象标记任务和空间关系任务中测试了 CLIP 的表现，结果表明虽然 CLIP 在属性 - 对象标记任务中表现良好且能够推广至新的未知属性 - 对象组合，但其无法可靠地绑定特性，对于对象之间的关系无法可靠地学习。

    Dec, 2022

  • 语义组合提升视觉 - 语言对比学习

    通过引入语义组合样本，我们通过一个简单的技术（称为 CLIP-C），显著改善了零样本图像分类和跨模态检索的能力，而不需要额外的计算开销或模型参数增加。

    Jul, 2024