关键词multi-modal contrastive learning
搜索结果 - 6
- IJCAI多模态对比学习与交互信息性估计提升抗原表位和抗体表位预测
通过使用抗体和抗原的序列和结构数据，本文提出了一种名为 MIPE 的多模态对比学习和相互信息估计的抗原表位和抗体表位预测方法，MIPE 通过最大化每个模态中与结合和非结合残基的表示并同时对齐单模态表示以获得有效的模态表示；为了利用空间交互信 - ICLR在线临床时间序列多模态对比学习
利用先进的自监督多模式对比学习技术， 注重临床笔记和时间序列，我们引入了一种损失函数：多模式邻域对比损失 (MM-NCL)，展示了我们方法在线预测任务中出色的线性验证和零样本表现。
- CLIPose: 预训练视觉语言知识下的类别级物体姿态估计
通过利用不同模态的丰富语义知识，以及多模态对齐和增强的方式，CLIPose 提出了一种新颖的 6D 姿态框架，以更好地实现对目标类别信息的学习和姿态估计，并在两个主流基准数据集上取得了最先进的性能。
- 多模态对比学习的泛化性
本文通过建立多模态对称矩阵分解和对称矩阵分解的内在联系，证明了多模态对比学习在图像下游任务中的泛化保证，并通过统一模型表明多模态对比学习隐含地通过文本对生成了伪正对，从而具有更多的语义一致和多样性正对，可显著提高基于自我监督的对比学习在图像 - ICLR使用语言诊断和修复视觉模型
我们提出利用多模态嵌入空间的自然语言特点，在不需要视觉数据的情况下诊断视觉分类器，发现高错误数据片段、标识有影响力的属性并进一步纠正不良模型行为
- CVPR面向人类中心感知的多模态通用预训练
本文提出 Human-Centric Multi-Modal Contrastive Learning 框架，通过密集内部样本对比学习和稀疏结构感知对比学习目标，实现多视角数据有效特征表示，为数据高效下游任务转移提供了通用的预训练模型。