本文提出了 iNLG，这是一种使用机器生成的图像来指导语言模型进行开放式文本生成的方法。实验和分析证明 iNLG 在打开式文本生成任务（包括文本完成、故事生成和概念到文本的生成）中的有效性，包括少量数据和全部数据情况。无论是自动计量还是人类评价，都验证了我们 iNLG 所生成的文本片段的连贯性和信息量，同时也显示出轻微的退化。

Oct, 2022

本文提出一种基于视觉想象的神经机器翻译方法 ImagiT，仅需要源语言句子即可生成目标翻译，并证明该方法较传统文本翻译方法表现更好，揭示想象过程在修复缺失信息时的重要性。

Sep, 2020

本研究提出了一个名为 MAGIC 的无需训练的框架，它能够将视觉控制插入文本生成过程中，并使 LM 在零样本情况下执行多模态任务，如图像字幕生成。在零样本图像字幕生成方面，MAGIC 在几乎 27 倍的解码加速度下，极大地超越了现有的最先进方法。

May, 2022

使用 Vision-Language Models 和 HTML 生成结构化问题的图像化表示，并使用相同的 Vision-Language Model 回答问题。该方法在数学任务和推理任务中提高了性能。

Jan, 2024

本文提出了一种基于想象力的自然语言生成自动评估度量 ——ImaginE，通过与先进的文本到图像生成工具 StableDiffusion 结合，自动生成文本碎片的图像并使用情境嵌入计算想象力相似性，在多个文本生成任务实验中表现出引入多模信息到语言生成评估中的巨大潜力，并在基于参考和无参考评估方案中，提高了自动评估度量与人类相似度判断之间的相关性。

Jun, 2021

该论文提出了一种基于想象力的交叉模态编码器（iACE）来解决自然语言理解任务，从而实现视觉想象力，通过从强大的生成和预训练视觉 - 语言模型传输外部知识来扩大模型的学习能力。实验表明，iACE 在自然语言理解中具有很高的效率，在低资源情况下的极端和正常的一些试验中表现的相当出色。

Apr, 2022

本文提出了一种新的视觉增强微调方法，名为 VAWI, 该方法能够将视觉语义注入到不同 PLMs 或自然语言处理任务中，通过使用视觉饥饿字词的固定 CLIP 文本编码器来产生视觉增强表示，引入了视觉语义，实验结果表明该方法能够改善 BERT、RoBERTa、BART 和 T5 的性能，并显著优于其他竞争基线。

Dec, 2022

提出了一种名为 VaLM 的预训练框架，对语言建模进行视觉增强，通过图像检索模块检索相应图像，使用视觉知识融合层使多模态语言建模可以参考文本和图像的视觉知识，并在需要的情况下获取相关联的图片，通过对各种视觉知识密集型的常识推理任务的评估，展示了 VaLM 在推理对象的常识，包括颜色、大小和形状方面的性能优于强语言和视觉语言基线。

May, 2022

提出了一种基于想象力的知识增强框架（IAG）和适用于问题回答的想象力丰富上下文方法（IMcQA），通过模拟人类补偿知识缺陷的能力，实现了在回答问题时仅依靠想象而不依赖外部资源。在三个数据集上的实验结果表明，IMcQA 在开放领域和封闭书籍设置中，以及分布内性能和分布外推广方面都具有显著优势。

Mar, 2024

通过利用两种互补的 “想象力”（检索已有图像和通过文本到图像生成合成不存在的图像），我们开发了一种新颖的方法 Z-LaVI，为语言模型赋予了视觉想象能力，从而解决了大规模预训练语言模型的报告偏差问题，提高了跨多个语言任务的零 - shot 性能。

Oct, 2022