我们介绍了一项新的视觉 - 语言（VL）任务，描述视频中的隐喻，并提出了一个低资源视频隐喻字幕系统（GIT-LLaVA），该系统在所提出的任务上获得了与现有技术相媲美的性能。

Jun, 2024

本研究提出了 “形象化语言图像识别” 数据集，探讨了视觉和语言模型理解多模态形象化语言的难点，并借助基准任务和基线模型初步研究了这一问题。结果表明，所有的模型在多模态形象化语言理解上都不如人类。该数据集和基准任务将促进模型更好地理解形象化语言。

Mar, 2023

本研究提出一种使用大型语言模型（LLM）与扩散模型的人工智能协作框架，旨在从语言隐喻中生成视觉隐喻，以便于传达含蓄含义并进行陈述。经过插图师的评估证明，这种协作模型的前景看好。

May, 2023

本研究旨在基于概念隐喻理论通过控制生成过程并使用两种方法 (词汇级和序列生成模型) 生成有意义的隐喻表达。经过自动化和人工评估，实验结果表明，无监督的 CM-Lex 模型与最新的深度学习隐喻生成系统具有竞争力；而 CM-BART 优于其他所有模型。

Jun, 2021

本研究提出了一种基于视觉概念 - 元概念学习器（VCML）的概念和元概念共同学习的方法，利用视觉表征为预测概念间关系提供基础，并通过学习元概念来弥补数据缺失、误差等问题。实验验证了该方法的有效性。

Feb, 2020

计算机视觉领域的研究论文针对抽象社会概念检测问题，通过对高层视觉理解和计算机视觉任务的研究和聚类，提供了对抽象概念识别的系统回顾。

Aug, 2023

本研究旨在探讨如何自动计算多模态训练数据中的单词与主题的视觉具体性以此来预测机器学习算法学习文本与视觉关系能力的高低。研究发现具体概念确实比抽象概念更容易学习，且不同数据集中视觉具体性与算法表现之间的关系是有所不同的，建议在多模态研究中使用视觉具体性评分以便更好地探索概念。

Apr, 2018

我们的研究比较了四种流行的视觉语言模型在识别文化特定的图像信息并创建准确且具有文化敏感性的图像标题方面的性能，并提出了一个新的评估指标，即文化意识分数（CAS）。我们还提供了一个带有真实标签的数据集 MOSAIC-1.5k，其中包含了具有文化背景和上下文的图像，以及一个带有分配的文化意识分数的数据集，可用于未被看到的数据。创建具有文化适应性的图像标题对于科学研究非常有价值，对许多实际应用也有益处。我们希望通过向公众提供数据集和文化意识分数，促进全球范围内对于尊重和庆祝全球多样性的文化敏感性 AI 系统的更深入融合以及更多相关领域的进一步研究的发展。

May, 2024

MetaReVision 是一个检索增强元学习模型，用于解决基于视觉感知的构成概念学习问题。该模型由检索模块和元学习模块组成，通过从已检索的基本概念中学习来支持元训练视觉 - 语言模型，以识别构成概念。MetaReVision 通过元学习从构建的检索集中学习出一种通用的构成表示，可以快速更新以识别新的构成概念。实验结果表明，MetaReVision 在构成学习过程中胜过其他竞争基准，并且检索模块在此过程中起重要作用。

Nov, 2023

本文对语言图像理解中人工智能评估的进展和局限进行了综述，并提出了解决方案。

Apr, 2019