multi-modal fusion | BriefGPT

关键词multi-modal fusion

搜索结果 - 63

多模式视频章节生成
该研究介绍了一个名为 Chapter-Gen 的数据集，用于视频章节自动生成，提出了一个特定于视频章节生成任务的有效基线，并开发了 skip sliding window 机制来定位潜在章节并汇总本地特征，实验结果表明这种新框架具有优越性。
PDF2 years ago
对齐、推理和学习：利用知识增强医疗视觉语言预训练
本文提出了一种系统和有效的方法来增强医学视觉和语言预训练 (Med-VLP)，通过结构化医学领域专家知识从三个方面做到了这一点，并构建了一个医学视觉和语言基准来评估此方法的有效性。
PDF2 years ago
CVPRMSMDFusion: 多尺度深度种子融合 LiDAR 和摄像头进行 3D 物体检测
基于激光雷达和摄像头信息的融合对于实现自动驾驶系统中的准确可靠的三维物体检测至关重要。在该文中，提出了一种新颖的框架，其中利用了深度信息和激光雷达与摄像头之间的交互，实现更全面的多模态融合特征，并在 nuScenes 测试基准中取得了最新的
PDF2 years ago
DetMatch：联合二维与三维半监督目标检测中两位教师优于一位
本文提出了一个灵活的框架 DetMatch，用于 2D 和 3D 模态的联合半监督学习，通过识别两个传感器检测到的对象，生成更干净、更健壮的伪标签，进一步利用 RGB 图像的更丰富的语义来矫正不正确的 3D 类别预测。该方法在 KITTI
PDF2 years ago
自动驾驶感知的多模态传感器融合技术综述
本文针对自动驾驶感知任务中存在的多模态融合问题进行文献综述，分析超过 50 篇包括 LiDAR 和相机在内的感知传感器解决目标检测和语义分割任务的方法，并提出一种更合理的分类方法。
PDF2 years ago
基于多任务相关学习的多模态融合框架在癌症预测中的应用
基于 ResNet-152 和 SGCN, 结合多模态多任务相关学习 (MultiCoFusion) 的多模态融合框架可用于肿瘤的生存分析和癌症等级分类，基于 The Cancer Genome Atlas (TCGA) 的实验结果表明，M
PDF2 years ago
AAAI带自监督学习的多模态感知注意力网络用于音视说话者追踪
本文提出了一种利用声音和视觉模态进行讲话者跟踪的多模态感知跟踪器（MPT），其中包括使用基于空时全局相干字段（stGCF）的声学地图进行异构信号融合，引入多模态感知注意力网络来导出可靠性和效益的知觉权重，以及使用跨模态自我监督学习方法模拟不
PDF3 years ago
CONQUER: 视频语料库时刻检索的上下文查询感知排序
本文提出一种名为 CONQUER 的模型，通过融合多模态视频内容、进行双向注意力以及完全利用查询上下文等方式实现视频检索任务的精确定位和排序。通过实验发现，将视频和查询在线上联合表示可以更好地捕捉多模态信号来提升检索效果。
PDF3 years ago
PR-GCN: 一种带有点细化的深度图卷积网络，用于六维姿态估计
本研究提出了一种图卷积网络和点细化相结合的深度学习方法，并分别引入了 “Point Refinement Network（PRN）” 和 “Multi-Modal Fusion Graph Convolutional Network（MMF
PDF3 years ago
TriTransNet: 基于三元组变换器嵌入网络的 RGB-D 显著目标检测
本文介绍了利用 TriTransNet 实现 RGB-D 显著物体检测的方法，采用了 U-Net 框架、连续的卷积和池化操作生成多级特征，并引入了三个 Transformer 编码器来增强特征的贡献，通过所设计的多种特征处理模块和方法进行
PDF3 years ago
编码器融合网络和协同关注嵌入用于参照图像分割
本论文提出了一种图像分割方法，即采用编码器融合网络（EFN）将视觉编码器转换为多模态特征学习网络，利用语言逐步优化多模态特征；在 EFN 中嵌入了协同注意机制，使得多模态特征的平行更新更具协同性，同时提出了边界增强模块（BEM）来增强网络对
PDF3 years ago
基于注意力层次多模态融合的高分辨率深度图像成像
本文提出了一种基于注意力机制多模态融合的层次结构深度图超分辨率网络，可以有效地从低分辨率深度图和高分辨率 RGB 图像中提取并组合有价值的特征以实现超分辨率重建。
PDF3 years ago
MAFF-Net：使用多模式自适应特征融合过滤 3D 车辆检测的误报
本文提出了一种基于多模态融合的三维车辆检测方法，使用图像信息有效降低了假阳性，具有快速检测速度；通过基于通道注意力机制的多模态自适应特征融合模块，实现了对不同模态特征的自适应调节和融合技术的适应性，实验结果表明该方法能够过滤掉更多的假阳性，
PDF4 years ago
使用多邻域图卷积的 2D-3D 几何融合网络用于 RGB-D 室内场景分类
提出了一种 2D-3D 融合策略，将 3D 几何特征和 2D 纹理特征相结合，实现场景分类任务中的多模态融合，并通过多领域图卷积和最近体素池化等策略提高性能。实验结果表明，该方法在 RGB-D 室内场景分类任务中优于当前的技术水平。
PDF4 years ago
CLOCs: 用于 3D 物体检测的相机 - LiDAR 物体候选融合
该研究提出了一种新的相机 - 激光雷达物体候选（CLOCs）融合网络，可以显著提高单模态检测器的性能，通过将 2D 和 3D 检测器的相互一致性与几何和语义一致性相结合，产生更准确的最终 2D 和 3D 检测结果，并在 KITTI 目标检
PDF4 years ago
面向传感器 - 视觉动作识别的语义感知自适应知识蒸馏
本文提出了一种名为 SAKDN 的新型框架，利用多个可穿戴传感器的知识在视觉传感器中增强动作识别，通过将可穿戴传感器的一维时间序列信号经过转换后进行多模态知识蒸馏和自适应融合，利用图形引导抑制映射损失，提高动作识别的效果。实验结果证实了本文
PDF4 years ago
视觉和触觉的三维形状重建
本文研究 3D 形状重建中视觉和触觉信息的多模式融合问题，并提出了一种基于图表的方法，该方法有助于提高重建质量，并且通过一个机器人手与 3D 物体的交互生成了一个仿真数据集。结果表明，利用视觉与触觉信号可以显著改善基准单一模态的重建表现，本
PDF4 years ago
当 CNN 遇到随机 RNN: 多层次 RGB-D 物体和场景识别分析
本文提出了一个使用 RGB-D 图像进行对象和场景识别的新方法，使用深度神经网络取代手工特征提取器，并利用卷积神经网络提取的视觉特征和递归神经网络高效转换为高级别特征，通过软投票方法进行多模态融合来实现一致的分类结果，实验结果表明该方法在对
PDF4 years ago
CASIA-SURF CeFA: 多模态跨种族人脸反欺骗基准
本文介绍了最大的跨民族人脸反欺骗数据集 CeFA，其中包含三种民族，三种模式，1607 个受试者和 2D 加 3D 攻击类型。作者还提出了一种新的多模态融合方法和部分共享融合策略来缓解人脸反欺骗系统的族群偏见，并在多个数据集上取得了最好的反
PDF4 years ago
ICCV任务导向接地的动态注意力网络
本文提出了一种新的动态注意力网络架构，用于文本和视觉表示的高效多模态融合，从而实现自然语言指令下机器人对环境的理解和控制，模型通过 LSTM 实现动态关注，基于任务的接地和增强学习控制中取得了良好效果。
PDF5 years ago