Jul, 2024

面向符号学人工智能的计算视觉与视觉符号学之间的桥梁：用于大规模人脸图像档案的计算观察

HTML
PDF
TL;DR社交网络已经创造了一个数字世界，在这个世界中，人脸和身体形象的认知、情感和实用价值正在发生变化。本研究提出了FRESCO（通过计算观察在电子社会中的面部表现）框架，用于在社交媒体平台上探索图像的社会文化影响，在三个层面上进行图像分析，验证了框架的可靠性和实用性，并介绍了FRESCO评分作为图像内容相似性的可靠度量。
发现论文，激发创造
  • 注释阴影，亮点和面部：人类参与数字艺术史的贡献

    本文研究表明，虽然自动计算技术在数字艺术史中能够揭示新的见解，但人类注释的补充方法更容易发现难以自动检测的细节，人类注释可供数字艺术史研究参考和补充。本研究的注释任务未来还有很大的潜力扩展到数字技术之外的绘画领域。

    Sep, 2018

  • ArtEmis: 艺术视觉语言的情感化

    论文提供了一个大型情感分析数据集(ArtEmis)，用于分析视觉艺术作品与情感体验之间的关联，旨在通过机器学习模型提供情感影响和语言解释之间的详细理解。通过调查人类对于81,000幅维基百科艺术作品的情感归属权和解释等信息，对与视觉作品产生情感联系的数据信号进行了精细的建模，进而提出了能够清晰表达视觉刺激的情感并解释其语义和抽象内容的系统。

    Jan, 2021

  • 不仅是生成艺术：稳定扩散用于艺术分析中内容-风格解缠

    GOYA 是一种基于生成模型的绘画内容与风格分离的艺术分析方法，实验表明其可以更好地获取艺术作品的语义概念与视觉外观信息。

    Apr, 2023

  • AI的表征机制：南亚文本图像模型的社区中心研究

    本文通过对南亚背景下文图模型文化局限性的探究以及社区居民的反馈调查，阐述了人工智能生成模型在视野、文化理解等方面的失败以及推荐了责任开发的途径。

    May, 2023

  • 预测美观，好感与美学质量：一项对视觉美学研究中图像数据库的比较分析

    通过对12个不同美学评分数据集的比较，本文发现不同数据集中的美学评分可预测性存在显著差异，并发现照片和绘画的美学评价具有一致性，但这些差异也在一定程度上对单一数据集的研究结果具有普适性的假设提出了质疑。

    Jul, 2023

  • 看见无形: 对静态图像中的自动高层次视觉理解的调查

    计算机视觉领域的研究论文针对抽象社会概念检测问题，通过对高层视觉理解和计算机视觉任务的研究和聚类，提供了对抽象概念识别的系统回顾。

    Aug, 2023

  • 印象：理解视觉符号学和美学冲击

    通过独特的图像语义学数据集Impressions，研究图像的符号学以及特定的视觉特征和设计选择如何引发特定的情感、思考和信念，证明了对图像印象的影响力超出了形式美学的描述，而是涉及其作为传达行为的成功，其中风格为意义形成做出的贡献与主题内容一样重要。通过Fine-tuning和少样本适应，对现有的多模态图像字幕和条件生成模型进行训练，可以模拟出对图像的合理人类反应，从而有效地模拟图像的印象和美学评价。

    Oct, 2023

  • 构建中国文化的镜头：用于理解中国谐音绘画艺术的多模态数据集

    通过发布《谜语艺术数据集》，本文旨在促进大型视觉-语言模型（VLM）的发展，以更好地理解和解释具有文化特定内容的艺术，特别是扎根于中国传统文化的艺术。

    Jun, 2024

  • 超越美学：文本到图像模型中的跨文化能力

    我们引入了一个以文化意识和文化多样性为关键维度对T2I模型进行评估的框架，并使用结构化知识库和大语言模型相结合的方法构建了一个大规模文化艺术品数据集，以便评估文化能力，同时我们还引入了文化多样性作为一种全新的T2I模型评估组成部分，通过质量加权的Vendi分数揭示了现有模型在不同国家的文化意识方面存在显著差距，为全球范围内文化需求提供了有价值的洞察，并能够促进更好地满足全球人口需求的T2I模型的发展。

    Jul, 2024

  • 数据集规模和社会一致性调节视觉语言AI中的面部印象偏见

    本研究解决了多模态AI模型中面部印象偏见的问题，探讨了数据集规模对该偏见的影响。通过分析43个CLIP视觉语言模型，发现模型在面部印象偏见方面的表现与社会偏见的共享程度密切相关，尤其是在大型数据集上，模型能够复现更精细的社会偏见。这一发现提示在使用预训练模型进行科学研究时，需考虑数据集的策划问题。

    Aug, 2024