cross-modality fusion | BriefGPT

关键词cross-modality fusion

搜索结果 - 7

空间语义循环挖掘用于指代图像分割
本研究提出了 Spatial Semantic Recurrent Mining (S extsuperscript {2} RM) 方法，用于实现高质量的跨模态融合，包括分布语言特征、空间语义递归协同解析和解析语义平衡，并结合 Cross
PDF2 months ago
融合短吻鳄的跨模态物体检测
本文研究通过对改进的 Mamba 与门控机制在隐藏状态空间中关联交叉模态特征，设计了一个融合 Mamba 块（FMB）来将交叉模态特征映射到隐藏状态空间进行交互，从而降低交叉模态特征的差异性并增强融合特征的表征一致性；通过在公共数据集上进行
PDF3 months ago
高效多尺度多模态瓶颈变压器用于音视频分类
本文介绍了一种多尺度多模态转换器（MMT），利用层次化表示学习，进一步使用音频 - 视频对比损失和同模态对比损失来实现多模态融合，提高动作识别准确率。
PDF6 months ago
基于 RGB-Event 融合的可变光照下的交通物体检测增强
针对传统基于帧的摄像机由于动态范围受限而导致的信息丢失，我们引入了生物启发式事件摄像机，并提出了一种新颖的结构感知融合网络（SFNet），通过跨模态融合从事件流中提取清晰和完整的物体结构，以补偿图像中的信息丢失，从而使网络能够获得对光照鲁棒
PDF8 months ago
CVPR使用表示编码书进行多模态对齐
该研究论文提出了一种基于聚类表示学习的多模态信号对齐方法，使用字典聚类编码将图像和文本编码到一个共同的编码空间中，并采用师生蒸馏的方法进一步优化学习过程，在多种视觉语言基准测试中取得了最新的最佳结果。
PDF2 years ago
CVPR视角引导下的点云补全
本文提出了一种基于视角引导的点云补全解决方案，通过从额外单视图图像中获取缺失的关键全局结构信息，利用依次执行有效跨模态和跨层次融合的框架，相比于现有解决方案在视角引导点云完形填空任务上取得了显著优越的结果。
PDF3 years ago
ACL通过参考生成的段落标题来提高视觉问答能力
提出了一种视觉和文本问题回答（VTQA）模型，该模型使用自动生成的段落式标题来丰富图像的信息以帮助正确回答视觉问题，并使用交叉融合和基于强化学习的编码器解码器模型实现跨模态融合。模型在 Visual Genome 数据集上进行训练，显著提高
PDF5 years ago