Mar, 2023
SoftCLIP: 更柔和的跨模态对齐增强了 CLIP
SoftCLIP: Softer Cross-modal Alignment Makes CLIP Stronger
Yuting Gao, Jinfeng Liu, Zihan Xu, Tong Wu, Wei Liu...
TL;DR本篇论文提出了一种新的方法 SoftCLIP,它通过引入软化的目标来实现交叉模态对齐,并利用模内的自相似性指导实现许多对许多的关系,从而解决了高质量图像 - 文本配对数据的获取问题,成果表现良好。