cross-modal association | BriefGPT

关键词cross-modal association

搜索结果 - 4

文本到图像的跨模态自适应双重关联
本文提出了 CADA：交叉模态自适应双向关联机制，通过文本到图像和图像到文本的双向关联来实现文本到图像的人物再识别，实验证明了该双向关联机制的优越性。
PDF7 months ago
ACLBERT-style 和 CLIP-style 文本编码器的差异
本文分析了 BERT-style 和 CLIP-style 文本编码器之间的差异，发现尽管对于通用文本理解任务，CLIP-style 文本编码器表现不如 BERT-style 文本编码器，但它们具备跨模态联想的独特能力，更类似于人类的感官。
PDFa year ago
PLIP: 人物表示学习的语言图像预训练
该研究提出了一种新的预训练框架用于人物表征学习，名为 PLIP，其中包括三个预文本任务：图像着色、属性预测和视觉 - 语言匹配，在一个新的大规模人物数据集 SYNTH-PEDES 上对其进行了评估并取得了优于先前方法的效果。
PDFa year ago
ContIG：医学成像与基因组学的自监督多模态对比学习
该论文提出了一种自监督学习算法，名为 ContIG，可从未标记的医学图像和遗传数据中学习，通过对图像和遗传数据之间的交叉模态关联进行学习，该算法在多个基准测试任务中表现良好，在了解了有关模型学习的有趣关系后，还开展了基因组广泛联想研究。
PDF3 years ago