cross-modal information | BriefGPT

关键词cross-modal information

搜索结果 - 6

基于对比学习的跨模态信息导向网络用于点云配准
利用跨模态信息建议的网络 (CMIGNet) 实现精确和稳健的点云配准，通过投影图像和交叉模态特征融合，采用两种对比学习策略，并提出了一个遮罩预测模块以识别点云中的关键点，实验证明我们的网络具有优越的配准性能。
PDF8 months ago
CVPR双重对比损失的多模态摘要生成：Align and Attend
介绍了一种基于 transformer 的模型：Align and Attend Multimodal Summarization (A2Summ)，可以处理不同模态的输入。作者提出了两种新的对比损失函数来建模不同样本间的相互关系和内部关系
PDFa year ago
多模态帮助单模态：利用多模态模型进行跨模态少样本学习
通过跨模态训练，结合视觉和语言信息，利用少量的训练样本和类名，建立了一个更好的狗狗分类器，并构建了第一个音视频少样本学习基准。
PDFa year ago
SIGIR选择、替换、搜索：一种新的用于知识增强视觉问答的基准测试
该研究针对现有数据集中存在的限制，建立了一个新的基于结构模式的跨模态问答数据集和挑战，同时提出了一个基于神经网络的透明的 OKVQA 系统 S3，该系统在新数据集上实现了比较好的表现。
PDF3 years ago
自适应交叉模态少样本学习
本文提出了一种机制，可以根据待学习的新图像类别自适应地从视觉和语义两方面结合信息，通过一系列实验表明，这种自适应组合可以在所有基准和 few-shot 情景上大幅优于当前单模态学习方法和模态对齐方法，特别是在少样本的情况下。
PDF5 years ago
交叉学习：跨模态自监督
本文介绍了一种利用两种不同形式的信息进行自监督表示学习的方法。我们使用视频数据进行我们的方法，得到良好的性能，并证明我们的特征表示可以转移至其他任务。
PDF6 years ago