我们提出了一种具有交叉模态知识蒸馏的双向融合网络（CMDFusion），通过 2D 到 3D 融合和 3D 到 2D 融合显式和隐式增强了 3D 特征，并通过从 2D 网络到 3D 网络的蒸馏传递 2D 知识，使得 3D 网络能够根据 3D LIDAR 输入生成 2D 信息，无需在推理过程中使用 RGB 图像。我们的 CMDFusion 在 SemanticKITTI 和 nuScenes 数据集上表现出了最佳性能。

Jul, 2023

提出一种双向投影网络（BPNet），它包括 2D 和 3D 子网络，通过双向投影模块允许这两个视觉领域之间的互动，实现更好的场景识别。该算法在 2D 和 3D 语义分割方面，取得了 ScanNetV2 基准的最佳性能。

Mar, 2021

通过局部到全局的融合网络与双向结构对齐，本研究解决了视觉 - LiDAR 融合中由于两种模态之间内在数据结构不一致性而带来的挑战，取得了在 KITTI 里程计和 FlyingThings3D 场景流数据集上超过单模态和多模态方法的最新成果。

Mar, 2024

本文提出了一种统一且高效的跨模态引导编码器，通过分离 - 聚合门技术，不仅可以有效地校准 RGB 特征响应，而且可以通过多个阶段和交替聚合两个重新校准的表示来提取准确的深度信息，同时引入双向多步传播策略来提高 RGB-D 语义分割性能.

Jul, 2020

提出了一种新颖的双向互补激光雷达 - 摄像头融合框架 BiCo-Fusion，可以实现鲁棒的语义感知和空间感知的 3D 目标检测。

Jun, 2024

本文提出了使用双向流嵌入层的新型场景流估计体系结构，它学习了前向和后向方向的特征，增强了估算性能。实验结果表明，在 FlyingThings3D 和 KITTI 基准测试中，该体系结构表现非常优异，与其他方法相比具有明显的优势，并且通过代码已经得到验证。

Jul, 2022

本文提出了一种几何感知的立体 - LiDAR 融合网络，通过在三维空间中统一传入稀疏而准确的点云系作为指导进行对应，借鉴 2D 图像领域的语义和 3D 领域的几何关系辅助于点云的特征提取，进而成功的融合了两种不同的输入方式并回归出一个长距离深度图。 该网络可用于 KITTI 和 Virtual-KITTI 数据集的立体 - LiDAR 融合任务中，取得了最先进的性能表现。

Mar, 2021

本文中，我们提出了一种改进的两阶段 3D 目标检测框架 CT3D，其中利用高质量的区域提议网络和基于通道的 Transformer 架构来同时执行提议感知嵌入和通道方式的上下文聚合，以获取更准确的目标预测，具有优秀的性能和可伸缩性，尤其是在 KITTI 测试 3D 检测基准中，众车类别的 AP 为 81.77％，优于现有最先进的 3D 检测器。

Aug, 2021

我们提出了一种基于时间 LiDAR 点云的迟到提早循环特征融合方案，用于 3D 物体检测。我们的主要动机是将物体感知的潜在嵌入融合到 3D 物体检测器的早期阶段。这种特征融合策略使模型能够更好地捕捉具有挑战性的物体的形状和姿态，相比直接从原始点学习。我们的方法以循环的方式进行迟到提早特征融合。这是通过在时间上校准和对齐的稀疏柱状令牌上施加基于窗口的注意力块来实现的。利用俯视图前景柱状分割，我们将模型需要融合到当前帧中的稀疏历史特征数量减少了 10 倍。我们还提出了一种随机长度的 FrameDrop 训练技术，它在推断时可以依据可变帧长度来改进性能而无需重新训练。我们在广泛采用的 Waymo Open Dataset 上评估了我们的方法，并证明在 3D 物体检测方面相对于基线模型有所改进，特别是对于挑战性的大物体类别。

Sep, 2023

通过跨模态幻觉实现稳健的点云三维物体检测的新框架，结合空间和特征的多次对齐以实现骨干网络的细化和幻觉生成，提出了空间对齐和特征对齐的步骤以处理几何差异和感知模态间的属性差距，通过单模态数据进行推断阶段的输入，实现更好的困难检测和高效率的检测。在 View-of-Delft (VoD) 数据集上的广泛实验表明，该方法在雷达和 LiDAR 物体检测上优于最先进的方法，同时保持了竞争性的运行效率。

Sep, 2023