本文提出了以 SCOPE 为基础的协同感知框架，通过聚合不同道路代理的时空感知特征，以连续的方式显著提高自主车辆的感知性能。实验结果展示了我们方法的优越性和所提出组件的必要性。

Jul, 2023

通过神经科学的启发，我们开发了信息论层次感知（ITHP）模型，它利用了信息瓶颈的概念。与大多数在神经网络中相同并一致地纳入所有模态的传统融合模型不同，我们的模型将一个主要模态设计为信息路径中的侦测器，以蒸馏信息流。我们提出的感知模型专注于通过在潜在状态与输入模态状态之间最小化互信息，以及在潜在状态与其余模态状态之间最大化互信息来构建一种有效且紧凑的信息流。该方法导致紧凑的潜在状态表示，保留相关信息并最小化冗余，从而大大提高了多模态表示学习的性能。在 MUStARD、CMU-MOSI 和 CMU-MOSEI 数据集上的实验评估表明，我们的模型在多模态学习场景中一贯蒸馏关键信息，优于最先进的基准模型。在 CMU-MOSI 数据集上，ITHP 在多模态情感二分类任务的所有评估指标（二元准确率、F1 分数、平均绝对误差和皮尔逊相关性）上均超过了人类水平的性能。

Apr, 2024

通过信息融合和处理各种来源或方式的信息对于获取综合准确的现实世界感知至关重要。我们从神经科学中获得灵感，开发了基于信息瓶颈概念的信息论层次感知（ITHP）模型。与大多数旨在将所有模态作为输入的传统融合模型不同，我们的模型将主模态定为输入，而其余模态则充当信息传递途径中的探测器。我们的感知模型专注于构建有效且紧凑的信息流，通过在潜变量状态与输入模态状态之间最小化互信息并在潜变量状态与其余模态状态之间最大化互信息之间取得平衡。这种方法导致紧凑的潜变量表示，保留相关信息并尽量减少冗余，从而显著提高了下游任务的性能。对 MUStARD 和 CMU-MOSI 数据集的实验评估表明，我们的模型在多模态学习场景中持续提炼关键信息，优于业界最先进的基准。

Sep, 2023

本文提出一种基于协同语义推理（CSI）的框架，通过人机视觉交互设计，实现人与算法的可视化协同，揭示深度学习模型的推理过程，从而使用户能够理解和控制模型的部分推理过程，其应用于文档摘要系统的案例研究表明了其可行性。

Jul, 2019

通过提出一个面向任务的无线通信框架，本文旨在共同优化通信方案和合作感知（Collaborative Perception, CP）过程，以解决实现 CP 所面临的关键挑战。研究提出了适应性压缩和强健融合方法，目的是在无线通信限制下提取和利用最有价值的语义信息；同时还提出了一种面向任务的分布式调度算法，以在动态环境中识别最佳合作者。通过在连接自动驾驶场景中进行案例研究来验证所提出的框架，并确定了几个未来研究方向。

Jun, 2024

本文针对视频语义分割问题，探究利用对比损失增强时空相关性，以及多数据集训练对模型的影响，并将两种模型的输出进行聚合，最终在 VSPW 数据集上达到了 65.95% mIoU 的性能，在 CVPR 2023 的 VSPW 挑战上取得了第一名。

Jun, 2023

通过将历史线索整合到当前 BEV 地图中，TempCoBEV 能够在协作感知中改进 BEV 地图分割的质量和可靠性。在 OPV2V 数据集上进行的广泛实验表明，TempCoBEV 在预测当前和未来的 BEV 地图分割方面比非时态模型表现更好，特别是在涉及通信故障的情景中，其整合历史线索到当前 BEV 地图的能力使预测结果在最佳通信条件下提高 2%，在通信故障下提高 19%。

Jan, 2024

使用 LiDAR 和相机实现高效多模态感知的协作感知范式 BM2CP，可以解决多代理间传感器缺失的特殊情况，且在模拟和真实自动驾驶场景中通过较低的通信量超越了现有方法。

Oct, 2023

本文章提出了一种基于感知信息的多传感器融合策略（PMF），用于自动驾驶等应用中的 3D LiDAR 语义分割，通过两个模态的外观和空间深度信息进行感知信息融合并且提出了感知相关的损失函数用于衡量两种模式之间的差异性，实验结果证明了该方法的优越性。

Jun, 2021

本文研究了高速移动车联网环境中的语义通信，重点关注车对车和车对基础设施通信之间的频谱共享。我们提出了一种基于深度强化学习软演员 - 评论家算法的语义感知频谱共享算法（SSS），通过优化 V2V 和 V2I 频谱共享的决策来提高语义信息的传输效率和成功率。实验结果表明，SSS 算法在 HSSE 和 SRS 方面的性能优于其他基线算法。

Jun, 2024