通过使用 LiDAR 传感器进行 3D 环境感知，本文提出了一种基于神经隐式表示和可优化特征网格的学习方法，通过优化非度量单调隐式场，实现了高质量的密集 3D 建图。

Mar, 2024

在本文中，我们提出了一种多模态图像融合（MMIF）框架，旨在解决多个可见光图像与红外图像的焦点区域不同的融合问题。通过引入半稀疏平滑滤波器对图像进行分解为结构和纹理成分，并提出了一种新的多尺度操作器对纹理成分进行融合。同时，我们考虑结构成分中能量信息的分布，以实现场景亮度的有效捕捉和合理的对比度维持。实验结果表明，该算法在视觉感知和数量化评估方面均优于现有的方法。

Nov, 2023

本研究介绍了一种对步态进行识别的新型模态敏感网络 LiCAF，采用了不对称且交叉模态的渠道注意力和交叉模态的时域建模，通过 LiDAR - 相机融合获得的鲁棒步态表示，在 SUSTech1K 数据集上取得了最先进的性能水平（Rank-1 为 93.9%，Rank-5 为 98.8%），证明了其有效性。

Jun, 2024

本文提出了一种名为 GeoMIM 的多相机视觉转换器，通过预训练 - 微调的方法将 LiDAR BEV 模型的知识传递给 GeoMIM，以改善多视图基于相机的三维检测，并在 nuscenes 基准测试中取得了最新的表现。

Mar, 2023

提出了一种用于图像融合和分割的多交互特征学习架构，名为 SegMiF，利用双任务相关性促进两个任务的性能表现。

Aug, 2023

基于神经场的实时单目建图框架与密集 SLAM 相结合，利用多分辨率网格编码和有符号距离函数表征进行神经场的高效构建，并通过环路闭合和深度先验进行全局一致性和精度增强，从而优于现有方法，在保持实时性能的同时提高了准确度和地图完整性。

Oct, 2023

利用多模态数据的几何和语义特征，通过三个步骤来完成多模态 3D 语义分割任务。经过我们的研究，MSeg3D 在 nuScenes、Waymo 和 SemanticKITTI 数据集上取得了最先进的结果。

Mar, 2023

使用来自热像和视觉的信息进行失配图像合成和融合（MISFIT-V）是一种新型的双重无监督深度学习方法，利用生成对抗网络（GAN）和交叉注意机制从每个模态中捕获最相关的特征。实验结果表明，与现有的视觉 - 热像融合方法相比，MISFIT-V 在失配和光照 / 热环境条件较差的情况下具有增强的鲁棒性。

Sep, 2023

提出 MMF-Track，一种多模态多级融合跟踪器，利用点云的几何和图像纹理特征跟踪 3D 目标，在 KITTI 上实现了最先进的性能表现，并在 NuScenes 上具有竞争力。

May, 2023

多模态合成数据生成对于自动驾驶、机器人、增强 / 虚拟现实和零售等领域至关重要。我们提出了一种新颖的方法 GenMM，通过插入时间和几何一致的 3D 对象来联合编辑 RGB 视频和 LiDAR 扫描。我们的方法使用参考图像和三维边界框将新对象无缝地插入和融入目标视频。我们使用基于扩散的视频修复模型修复与三维框一致的 2D 感兴趣区域。然后，我们使用最先进的语义分割和单目深度估计技术计算对象的语义边界并估计其表面深度。随后，我们使用基于几何的优化算法恢复对象表面的 3D 形状，确保其准确适应三维边界框。最后，与新对象表面相交的 LiDAR 光线被更新以反映与其几何形状一致的深度。我们的实验证明了 GenMM 在视频和 LiDAR 模态中插入各种 3D 对象的有效性。

Jun, 2024