multi-modal fusion | BriefGPT

关键词multi-modal fusion

搜索结果 - 61

MDA: 可解释的多模态融合模型与缺失模态和内在噪音
提出了一种新的多模态融合框架，通过引入模态域注意力（MDA）实现对每种模态权重的自适应调整，旨在促进多模态信息的融合，同时允许包含缺失的模态或本质噪声，从而增强多模态数据的表示。通过观察模态融合过程，提供了准确性变化和 MDA 权重的可视化
PDF17 days ago
耦合脉百加倍：耦合状态空间模型增强的多模态融合
多模态融合的核心在于利用不同模态所固有的互补信息，然而现有的融合方法对于捕捉模态之间的复杂内部和相互关联动态缺乏充分准备，而最近在至关重要的状态空间模型 (SSM) 方面取得的进展，尤其是 Mamba 模型，成为有希望的竞争者，本文提出了耦
PDFa month ago
多模融合深度学习模型在疾病识别中的应用
本文介绍了一种创新的多模态融合深度学习方法，以克服传统单模态识别技术的缺点，包括信息不完整和诊断准确性有限。通过应用先进的深度学习模型（包括卷积神经网络（CNN），循环神经网络（RNN）和变换器）从基于图像、时间和结构化数据源提取高级特征。
PDFa month ago
Swin Transformer 的自监督跨模态预训练
通过增强 Swin Transformer，我们的模型 SwinFUSE (Swin 多模态融合的无监督增强) 在医学影像领域从不同的影像模态中学习，提升了下游性能，并展现出了对领域变化的适应性以及显著的泛化能力。
PDFa month ago
CVPRLaPA：医学视觉问答的潜在提示辅助模型
给出一个概述只需一句简短的中文描述是：本研究提出了 LaPA 模型，用于医学视觉问答。通过设计潜在提示生成模块、多模态融合块、和先验知识融合模块，利用潜在提示从单模态和多模态特征提取临床相关信息，并结合图像 - 语言跨模态信息预测最终答案。
PDF2 months ago
MM-Gaussian：基于高斯函数的三维多模态融合在无界场景中的定位和重建
在无界场景中进行定位和制图的 MM-Gaussian 多模态融合系统利用 LiDAR 和相机提供的几何结构信息解决了仅依靠视觉解决方案时遇到的深度不准确性问题，并利用 3D 高斯点云实现逼真的渲染效果。
PDF3 months ago
一种可解释的跨注意力多模态 MRI 融合框架用于精神分裂症诊断
我们提出了一种名为 CAMF 的新型 Cross-Attentive Multi-modal Fusion 框架，能够捕捉 fMRI 和 sMRI 之间的内部和互间关系，优化多模态数据表示。通过在两个广泛的多模态脑成像数据集上的评估，CAM
PDF3 months ago
AVT2-DWF: 基于音视频融合和动态加权策略的深假检测方法
本文提出了 AVT2-DWF，通过音视频双重变换和动态权重融合，增强了单一伪造模态和多模态融合下的伪造检测能力，在 DeepfakeTIMIT，FakeAVCeleb 和 DFDC 数据集上取得了最先进的性能。
PDF3 months ago
CVPR双向传播网络用于深度补全
通过双边传播网络（BP-Net）和多模态融合与深度精炼的多尺度框架，我们的方法在室内和室外场景上表现出色，在 NYUv2 数据集上实现了 SOTA，并在 KITTI 深度完成基准上排名第一。
PDF3 months ago
混合视觉证据下的少样本关系抽取
多模态表示学习在少样本关系抽取上的应用
PDF4 months ago
场景先验滤波在深度图超分辨率中的应用
场景先验滤波网络（SPFNet）：多模态融合、超分辨率、图像引导滤波、场景先验
PDF4 months ago
计算与参数高效的多模态融合 transformer 用于示意语音识别
Cued Speech (CS) 是一种纯视觉编码方法，用于辅助听障人士通过将读唇和手势组合以使口语可见。通过提出一种名为 Economical Cued Speech Fusion Transformer（EcoCued）的计算和参数高效
PDF5 months ago
MF-AED-AEC: 利用多模态融合、ASR 错误检测和 ASR 错误修正进行语音情感识别
本文介绍了一种引入 ASR 错误检测和修正的辅助任务来增强 ASR 文本的语义连贯性，并进一步提出了一种新颖的多模态融合方法，名为 MF-AED-AEC。实验结果表明，MF-AED-AEC 在性能上显著优于基线模型 4.1%。
PDF5 months ago
EvPlug: 事件与图像融合的即插即用模块学习
该论文提出了 EvPlug，一种能够将事件相机与图像相结合的方法，在不需要像素级对齐的情况下，通过学习融合模块的方式，使得 RGB 模型在高动态范围和快速运动场景下具备鲁棒性和高时序分辨率推理能力，从而在物体检测、语义分割和 3D 手姿估计
PDF6 months ago
基于对比学习的光谱知识蒸馏在语义分割中的多模态和缺失模态场景下的应用
通过使用多光谱信息来提高语义分割模型的性能对于低光和恶劣环境至关重要。提出了一种名为 CSK-Net 的新型多模态融合方法，它利用对比学习为光学（EO）和红外（IR）图像的语义分割提供了基于光谱知识蒸馏的融合技术。该方法不仅在多模态任务上超
PDF7 months ago
通过目标提示和视觉连贯性实现通用关联图像分割
提出了一种新的参考图像分割方法，通过增加明确关键提示和多模态融合聚合模块，提高了其泛化能力和处理未见过的场景的能力。
PDF7 months ago
具有潜在接触的挑战交叉场景中的相机 - LiDAR 融合用于地点识别
本文介绍了一种新颖的三通道场所描述符，由图像、点云和融合分支组成，利用相机与激光雷达之间的相关性进行信息交互和融合，从而实现在具有透视变化、季节变化和场景变换等挑战性环境中进行地点识别。在 KITTI、NCLT、USVInland 和校园数
PDF9 months ago
重新审视现实世界自主驾驶的多模态三维语义分割
CPGNet-LCF 是一个新的多模态融合框架，通过继承 CPGNet 的易于部署和实时能力来解决合并 LiDAR 和相机之间弱校准的挑战，在训练过程中引入一种新颖的弱校准知识蒸馏策略以提高其对弱校准的鲁棒性，实现了在 nuScenes 和
PDF9 months ago
视频银行：融合和解耦增强跨模态生成
该研究提出了一种名为 Video-Teller 的视频语言基础模型，通过多模态融合和细粒度模态对齐来显著增强视频到文本生成任务。实验结果表明，该模型在准确理解视频和生成连贯且精确的语言描述方面取得了显著效果。
PDF9 months ago
SkipcrossNets：适应性跳跃交叉融合用于道路检测
该研究提出了一种名为 SkipcrossNets 的新型融合架构，可以自适应地结合激光雷达点云和相机图像，增强了特征传递和多模态特征融合，通过应用于 KITTI 和 A2D2 数据集向证明了 skip-cross 融合的优势，实现了在 KI
PDF10 months ago