本文提出了 iNLG，这是一种使用机器生成的图像来指导语言模型进行开放式文本生成的方法。实验和分析证明 iNLG 在打开式文本生成任务（包括文本完成、故事生成和概念到文本的生成）中的有效性，包括少量数据和全部数据情况。无论是自动计量还是人类评价，都验证了我们 iNLG 所生成的文本片段的连贯性和信息量，同时也显示出轻微的退化。

Oct, 2022

本文提出一种基于视觉想象的神经机器翻译方法 ImagiT，仅需要源语言句子即可生成目标翻译，并证明该方法较传统文本翻译方法表现更好，揭示想象过程在修复缺失信息时的重要性。

Sep, 2020

该论文提出一种名为 LIVE 的方法，利用预训练语言模型和图像生成模型相结合，使得模型可以像人一样通过想象场景帮助写作，该方法通过融合层实现了图像和文本的结合，并使用 CLIP 来确定文本能否调起想象力，实验表明该方法的有效性。

May, 2023

该论文提出了一种基于想象力的交叉模态编码器（iACE）来解决自然语言理解任务，从而实现视觉想象力，通过从强大的生成和预训练视觉 - 语言模型传输外部知识来扩大模型的学习能力。实验表明，iACE 在自然语言理解中具有很高的效率，在低资源情况下的极端和正常的一些试验中表现的相当出色。

Apr, 2022

通过模拟人类认知过程，我们提出了一种新的自动化的视觉概念评估方法（ViCE），用于评估生成 / 编辑的图像与相应提示 / 说明之间的一致性，并为图像评分。虽然这种模拟人类在图像评估过程中的新假设正处于初步评估阶段，但结果令人鼓舞，并为一种新形式的自动评估打开了大门，这将在图像生成或图像目标编辑任务变得越来越复杂时产生重要影响。

Jul, 2023

本文使用变分自动编码器来实现以视觉为基础的想象，并提出了新的训练目标和推理网络，并提出了可衡量视觉想象的分别代表正确性，覆盖率和组合性的评价指标，最后通过将方法应用于两种数据集进行详细比较。

May, 2017

本研究介绍了一种基于语言的图像生成方法，可以根据单词嵌入语义内容生成自然图像，并且采用两个映射函数实现，该方法在几个用户研究中证明其产生的图像可以捕捉编码在单词嵌入中的概念的一般视觉特性，例如颜色或典型环境，足以区分对象的一般类别。

Jun, 2015

提出了一种基于想象力的知识增强框架（IAG）和适用于问题回答的想象力丰富上下文方法（IMcQA），通过模拟人类补偿知识缺陷的能力，实现了在回答问题时仅依靠想象而不依赖外部资源。在三个数据集上的实验结果表明，IMcQA 在开放领域和封闭书籍设置中，以及分布内性能和分布外推广方面都具有显著优势。

Mar, 2024

介绍了一种基于图像反演的方法 --IMAge-Guided model INvErsion（IMAGINE），通过匹配经过训练的分类器中的多层特征表示和外部鉴别器的对抗训练，来从单一训练样本生成高质量和多样化的图像，实现了在维持语义特性约束的同时生成逼真图像，并且可以让用户直观地控制生成过程。经过大量实验证明，在对象、场景和纹理这三个不同的图像域中，IMAGINE 都比现有的基于 GAN 或基于反演的方法表现更好。

Apr, 2021

该研究提出了 Imaginet 模型，该模型可以从耦合文本和视觉输入中学习语言表达的视觉基础表示，采用多任务目标，并从视觉场景描述中获取单词的含义表达，并学习有效地利用语义解释多词短语的顺序结构。

Jun, 2015