multi-modality fusion | BriefGPT

关键词multi-modality fusion

搜索结果 - 5

MolFusion: 分子表示的多模态融合学习 -- 基于多粒度视图
人工智能通过编码药物分子来预测药物特性，帮助快速筛选候选药物。利用不同来源的分子表示，如 SMILES 和分子图，可以提供互补信息进行分子编码。我们提出了一种多粒度融合方法 MolFusion，该方法利用分子级和原子级编码实现不同分子表示之
PDF10 days ago
LVIC: 提取视觉信息作为线索的多模态分割
多模态融合在自动驾驶的三维感知中被证明是一种有效的方法。然而，目前大多数用于 LiDAR 语义分割的多模态融合方法具有复杂的融合机制。点绘制是一种直接将 LiDAR 点与视觉信息绑定的简单方法，但是之前的点绘制类方法存在相机和 LiDAR
PDF4 months ago
FULLER: 统一的多模态多任务三维感知通过多级梯度校准
多模态融合与多任务学习在三维自动驾驶场景中变得流行，然而，将现有框架扩展到多模态多任务学习领域仍然是无效的甚至有害的，由于恶名昭彰的模态偏差和任务冲突。本研究提出了一个新颖而简单的多层梯度校准学习框架，通过任务和模态之间的优化在任务和模态之
PDFa year ago
ACLMIR-GAN：用对抗网络提炼用于音视频语音识别的帧层次模态不变表示
本文提出了一种基于对抗网络的方法（MIR-GAN），旨在跨模态学习共享的表征，以减轻后续的多模态融合过程，并在公共基准 LRS3 和 LRS2 上得到了比现有技术更好的表现。
PDFa year ago
零样本多模式艺术家控制的三维物体集检索和探索
通过多模式输入，如 2D 草图、图片和文本从高质量的 3D 资产检索解决通常需要高度专业化技能才能手工设计和生成对象和其他资产模型的问题。
PDF2 years ago