cross-modality learning | BriefGPT

关键词cross-modality learning

搜索结果 - 5

CISum: 学习跨模态交互以增强多模态概述的语义覆盖范围
提出多任务交叉模态学习框架（CISum）以通过学习多模态文章中的跨模态交互来改善多模态语义覆盖。将图像转换为视觉描述，与文本内容相关联，进而与文本内容融合以生成文本摘要，选取最相关的图像作为视觉摘要。设计自动多模态语义覆盖评估指标并在实验证
PDFa year ago
AAAI多模态摘要的层次交叉语义关联学习模型
本文提出了一种基于层次交叉模态语义相关性学习模型（HCSCL）的多模态文本摘要方法来处理含异构内容的文本新闻报道。该模型通过采用图网络编码内部相关性和层次融合框架学习文本和图像之间的内部和层次相关性，同时使用含图像注释和目标标签的数据集提供
PDF3 years ago
IJCAITCIC: 图像描述中的主题概念跨语言与视觉学习
本文提出了一种将主题概念引入图像字幕生成的框架，使用记忆向量和 Transformer with Theme Nodes (TTN) 处理主题概念并进行图像和文本表示的重构，通过两种表示学习方法实现跨模态学习，实验结果表明该方法比其他最先进
PDF3 years ago
可学习流形对齐（LeMA）：一种半监督跨模态学习框架用于土地覆盖和土地利用分类
本文提出了一种称为可学习流形对齐（LeMA）的新型半监督交叉模态学习框架，通过学习一种联合图结构来捕获数据分布，从而实现更准确的决策边界，以解决遥感图像分类中使用大量谱变化模糊的多光谱数据所带来的挑战。
PDF5 years ago
CVPR学习跨模态深度表示以实现鲁棒的行人检测
本文介绍了一种新的行人检测方法，基于跨模态学习框架、深度卷积神经网络等技术，可在恶劣光照条件下实现行人检测，并在公开数据集上表现出优异的性能。
PDF7 years ago