cross-modal correlation | BriefGPT

关键词cross-modal correlation

搜索结果 - 7

泛化的跨模态深部伪造检测的显式相关性学习
通过建模内在跨模态相关性的相关学习任务，并引入跨模态深伪造数据集，我们提出了一种可以增强不同生成场景的深伪造检测方法，实验证明其在不同类型的深伪造数据集上表现优于现有方法。
PDF2 months ago
ICML可证明的低质量多模态数据动态融合
本研究提供了一种新的质量感知多模态融合方法，旨在从概率推理的角度解决跨模态相关性和交互性的挑战，并在多个基准测试中验证了其分类准确性和模型鲁棒性的提升。
PDFa year ago
CVPR音频到视觉潜在对齐的声音转视觉场景生成
本文提出了一种通过声音生成场景图像的方法，采用了深度学习等技术，结合声音定位和跨模态信息对齐来提高图像生成质量，并在相关数据集上得到了较好结果。
PDFa year ago
视觉表征学习的多模态对比训练
通过同时利用内部数据属性和跨模态关联的语义信息，开发了一种学习视觉表示形式的方法，其中包括多种类型的对比损失，从而提高了学习到的视觉表示的质量。该方法在 COCO 数据集上进行训练，可以被用于图像分类、目标检测、实例分割等下游任务，并在 I
PDF3 years ago
WenLan：大规模多模态预训练桥接视觉和语言
本文介绍了作者团队领导的 “文兰” 项目的主要研究方向，即通过两个塔的 BriVL 预训练模型和跨模态对比学习框架的先进算法，隐式地建模跨模态关联，从而更成功地实现大规模多模态预训练。同时，他们还建立了一个大规模的中文多源图像文本语料库，称
PDF3 years ago
基于类别的深度 CCA 用于多模态数据中的细粒度场所发现
本文介绍了利用深度学习模型进行场地发现的方法，通过不同模态数据之间的跨模态关联实现精确和组群场地搜索。
PDF6 years ago
高效多模态检索的组合相关量化
本文提出了一种新的复合相关量化（CCQ）模型，通过最大化相关性的映射，将不同模态嵌入到连续的同构空间中，并同时学习复合量化器，将同构潜在特征转换为紧凑的二进制码，以实现高效的相似性检索。实验证明，CCQ 模型优于现有的哈希方法，可用于单模态
PDF9 years ago