本文使用变分自动编码器来实现以视觉为基础的想象，并提出了新的训练目标和推理网络，并提出了可衡量视觉想象的分别代表正确性，覆盖率和组合性的评价指标，最后通过将方法应用于两种数据集进行详细比较。

May, 2017

本文提出了一种叫做 G-SWM 的生成结构化世界模型，它通过整合前一些模型的关键特征，并通过实现两种关键的新能力（多模态不确定性和情境感知），实现了多功能世界建模，并在时间生成能力上表现出色，达到了前所未有的性能。

Oct, 2020

通过测试训练数据分配策略、信道大小、词汇量大小及计算最大句子长度等几个方面，探究了词组合性和一般化能力在视觉谈判游戏中的具体应用情况。结果表明，采用适当的信道大小和适当的训练策略，可以提高视觉任务中的语言组合性及语言生成的一般化能力。

Dec, 2020

本文旨在通过提供一百万级的、人工合成的图像数据集 SyViC 和相应的数据生成代码，以及细调模型的策略，探讨如何提高视觉语言模型对非物体类词汇等方面（即超越名词的视觉语言概念）的理解和组合推理能力，从而在保持零样本准确度的前提下，极大提高模型的性能。通过在 ARO 和 VL-Checklist 等基准测试上的广泛实验和削减，我们证明了用人工合成数据进行训练可以在不牺牲零样本能力的情况下大幅提升其 VLC 理解能力（如在 ARO 上提高 9.9％，VL-Checklist 上提高 4.3％）。

Mar, 2023

提出了一个全面的综合基准，其中包括四个功能领域，即感知、基础、推理和行动，共计 11 个任务，并提供了一个通用编码器 - 解码器框架来评估任意的视觉表示。通过使用该基准，我们发现 Transformer-based 视觉骨干通常优于基于 CNN 的，而具有视觉语言预训练的视觉表示比那些仅有视觉预训练的视觉表示在视觉任务上表现更好。这为促进建立面向通用视觉系统的研究提供了一个全面的评估标准。

Nov, 2022

通过模拟人类认知过程，我们提出了一种新的自动化的视觉概念评估方法（ViCE），用于评估生成 / 编辑的图像与相应提示 / 说明之间的一致性，并为图像评分。虽然这种模拟人类在图像评估过程中的新假设正处于初步评估阶段，但结果令人鼓舞，并为一种新形式的自动评估打开了大门，这将在图像生成或图像目标编辑任务变得越来越复杂时产生重要影响。

Jul, 2023

介绍了 BEHAVIOR Vision Suite（BVS），它是一套用于生成全面定制的合成数据以系统评估计算机视觉模型的工具和资源，并且支持在场景、对象和摄像机级别进行可调参数的任意变化，以执行可控实验。

May, 2024

将图像序列转化为可解释的视觉前缀，结合预训练语言模型和规划，利用问题 - 答案对作为蓝图计划选择显著的视觉概念，并确定它们如何组织成故事，生成更连贯、有趣和自然的故事。

Oct, 2023

SCO-VIST 框架使用图表示形式，结合语义和基于发生的边权重，通过 Floyd-Warshall 算法生成视觉叙事。在多个指标上，该框架在视觉根植性、连贯性、多样性和人性上优于其他模型，经过自动和人工评估。

Feb, 2024

研究了一种生成序列图像以可视化故事的任务，提出了改进方法包括双路学习框架、复制 - 转换机制和基于 MART 的 transformer 模型，并提供了相应的评价指标和对这些指标的直观检验。

May, 2021