multimodal fusion network | BriefGPT

关键词multimodal fusion network

搜索结果 - 7

使用语言对任意 3D 物体进行分割
本文介绍了一种基于语言指令的语义和几何感知的视觉语言学习框架，通过直接从 3D 点云生成语义相关的掩码，从而在 ScanNetv2、ScanNet200 和 Replica 基准测试中明显优于现有方法，且结果接近全监督对照组，尽管训练数据中
PDF3 months ago
多模态行动质量评估
通过提出一种渐进自适应多模态融合网络（PAMFN），该网络利用视觉信息和音频信息相结合以提高动作质量评估的准确性。研究表明，音频是一种有效的补充信息，尤其对于带有背景音乐的体育项目，如花样滑冰和韵律体操。PAMFN 由三个专注于各自信息的分
PDF5 months ago
TelME：基于教师引导的对话情感识别的多模融合网络
通过教师引导的多模融合网络（TelME），本文提出了一种在对话系统中实现情绪识别的方法，通过跨模态知识蒸馏来提高非语言模态在情绪识别中的功效，并使用学生网络支持教师实现多模态特征的结合。在 ERC 的多说话人对话数据集 MELD 中，Tel
PDF6 months ago
AAAI利用极化材料线索进行鲁棒汽车检测
通过利用三色线性偏振作为额外提示，作者提出了一种新的基于学习的车辆检测方法，该方法可以解决车辆检测算法在光照 / 天气条件和车辆密度变化大的场景中的稳定性和准确性问题，通过多模态融合网络动态集成颜色和偏振特征，能够探索所有学习样本中车辆的固
PDF6 months ago
基于 CLIP 模型的细粒度文本和图像引导的点云补全
本文提出了一种新颖的多模态融合网络用于点云补全，该网络可以同时融合视觉和文本信息，有效预测不完整形状的语义和几何特征，并通过多阶段特征融合策略将文本和视觉特征渐进地融入骨干网络，同时借助精细化的文本描述进一步探索点云补全的有效性，通过广泛的
PDFa year ago
基于多粒度信息融合的社交媒体多模态假新闻检测
文章介绍了一种用于检测假新闻的多粒度多模态融合网络模型，并将模型性能与现有方法进行了比较。
PDFa year ago
CoRe-Sleep：一种多模态融合框架，适用于对非完美模态具有鲁棒性的时间序列
本文提出了 CoRe-Sleep，一种多模态融合网络，专注于改善不完美数据上的信号分析鲁棒性。训练 CoRe-Sleep 可以处理多模态信息，允许在不完整数据上训练。使用单个模型在 SHHS-1 上进行测试时，CoRe-Sleep 显示出多
PDFa year ago