Nov, 2024
JanusFlow:调和自回归与修正流以实现统一的多模态理解与生成
JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified
Multimodal Understanding and Generation
TL;DR本研究针对图像理解与生成任务中的模型整合问题,提出了JanusFlow框架,结合了自回归语言模型与修正流。研究发现,修正流可以在大型语言模型框架内简单训练,从而实现高效统一的多模态处理,实验结果显示JanusFlow在标准基准上表现优于现有的统一模型。