multi-modal perception | BriefGPT

关键词multi-modal perception

搜索结果 - 11

CVPR通过剧本进行零样本长片视频理解
MM-Screenplayer 是一种先进的视频理解系统，具备多模态感知能力，可以将任何视频转换为文本剧本表示形式。与以往的故事叙述方法不同，我们将视频内容以场景为基本单位进行组织，而不仅仅是视觉连续的镜头。此外，我们开发了一种 “回溯”
PDF7 days ago
序列到序列多模态语音修复
该研究提出了一种新颖的序列到序列模型，通过编码器 - 解码器架构的方式利用视觉信息来修复音频信号，证明了多模态方法在语音修复中的有效性。
PDFa month ago
CORP：面向校园路边感知任务的多模态数据集
该论文介绍了第一个面向校园场景的多模态道路感知任务的公共基准数据集 CORP，该数据集拥有多维信息的标注，旨在提供校园和其他居民区域内的多模态感知挑战。
PDF3 months ago
实现可传递的多模态感知表示学习自主性：NeRF-Supervised 遮蔽自动编码器
该论文提出了一种统一的自监督预训练框架，通过在神经辐射场 (NeRF) 中进行掩蔽多模态重建，实现可传输的多模态感知表示学习。实验证明，通过该方法学习到的表示对于多样化的三维感知下游任务（包括三维物体检测和 BEV 地图分割）具有良好的可迁
PDF7 months ago
BM2CP：利用激光雷达和相机模态进行高效的协作感知
使用 LiDAR 和相机实现高效多模态感知的协作感知范式 BM2CP，可以解决多代理间传感器缺失的特殊情况，且在模拟和真实自动驾驶场景中通过较低的通信量超越了现有方法。
PDF8 months ago
RH20T: 用于一次学习多样技能的机器人数据集
本研究旨在解锁机器人实现多模感知的能力，以通过单次模仿学习技术普及各种真实世界技能，通过收集千万级别的真实世界接触式机器人操作记录构建的开源数据集提高任务和动作规划的性能。
PDFa year ago
Learn-to-Race Challenge 2022: 自主赛车中的安全学习和跨领域泛化基准测试
本文介绍了 L2R 2.0 自动驾驶比赛基准测试，通过多模态感知的强化学习方法在复杂的赛道环境中测试模型的安全、性能和泛化能力。
PDF2 years ago
ICML带迭代注意力的通用感知器
本文介绍了 Perceiver 模型，它利用了不对关系进行假设的 Transformer，同时还能在处理非常大的输入时进行规模扩展，通过迭代地将输入压缩到一个紧凑的潜在瓶颈中，并且在图像、点云、音频、视频和视频 + 音频等多个模态的分类任务
PDF3 years ago
FISHING Net：在网格中推断语义热力图的未来
本文介绍了一种利用多模态传感器数据进行多模态感知和预测的方法，采用一种自上而下的语义网格表示形式，对不同模态的传感器数据进行统一的表达，使得预测和融合更加简单可行。
PDF4 years ago
适用于透明和反光物体抓取的多模态迁移学习
通过多模态感知的学习提高透明和有光泽物体的抓取性能，无需真实试验。
PDF4 years ago
自主驾驶的深度多模态物体检测和语义分割：数据集、方法和挑战
本文介绍了最近在深度学习领域取得的自主驾驶感知技术。对于实现强大而准确的场景理解，自动驾驶车辆通常配备多种传感器 (例如相机、激光雷达、雷达)，并且可以将多种感知模式融合以利用它们的互补性。然而，网络架构设计方面缺乏通用指导方针，关于 “何
PDF5 years ago