Mar, 2025

将文本与图像对齐的扩散模型比你想象的要简单

TL;DR本研究针对文本与图像表示之间的对齐问题,提出了一种新的视角,即通过对比学习来优化表示对齐。我们引入了一种轻量级的对比微调策略SoftREPA,通过使用软文本标记,显著提高了文本与图像的语义一致性,并在生成任务中验证了其有效性。