Jun, 2023

ZeroGen:多模态离线控制的零样本文本生成

TL;DR提出了一种零样本可控多模态文本生成模型 ZeroGen,将文本和图像联合在解码过程中加权相加,通过动态权重机制调节交叉模态权重来实现多模态控制。模型在三个下游任务中的表现超越了同类模型,表现出良好的可控性和潜力。