BriefGPT.xyz
Nov, 2023
使用科学论文数据训练CLIP模型
Training CLIP models on Data from Scientific Papers
HTML
PDF
Calvin Metzger
TL;DR
通过使用科学论文的文本-图像数据，该研究探索在特定领域内加入具有更高质量的有限数量数据是否能够提高CLIP模型的整体性能。小规模实验结果显示模型性能有中等程度的提升，表明使用该研究所考虑的数据来源来训练大规模CLIP模型是一个有价值的研究方向。
Abstract
contrastive language-image pretraining
(CLIP) models are able to capture the
semantic relationship
of images and texts and have enabled a wide range of applications, from image retrieval to classification. These
→