本文提出了一种基于知识蒸馏的新的长期轨迹预测方法 Di-Long，使用教师网络生成短期预测轨迹并对学生网络进行规范化，从而实现对高时间区间内长期轨迹预测问题的解决，实验证明，该方法对长时预测有益，并在 Intersection Drone Dataset (inD) 和 Stanford Drone Dataset (SDD) 上实现了最优表现。

May, 2023

本篇论文利用分层知识蒸馏框架，将基于高清地图的预测模型的知识迁移到不需要高清地图的预测模型中，提高了自主驾驶的轨迹预测准确性。

Jun, 2023

本文提出了一种新的知识蒸馏方案，Filter-KD，通过观察模型的学习路径来解释现有的标签平滑和知识蒸馏方法，并发现模型可以通过 “锯齿形” 学习路径自发地改善 “糟糕” 的标签，从而提高下游分类性能。

Mar, 2022

我们提出了一种名为 TKD 的新框架，利用深度神经网络基于的模型所选择的视频帧（瞬间的感知）来蒸馏轻量级模型中的时间知识，通过进行两个新的步骤：1）基于 LSTM 的关键帧选择方法；2）新的教师束缚损失设计。使用不同的目标检测方法，在多个数据集上进行了全面的经验评估，包括 Youtube-Objects 和 Hollywood 场景数据集。我们的结果显示，与其他现代对象识别方法相比，我们在动态场景的帧上的目标检测准确度 - 速度平衡方面有着一致的提高。

Mar, 2019

本文提出了一种通过知识蒸馏实现基于点云进行三维物体检测的方法，该方法通过两阶段的训练流程，使得在测试时基于低质量数据的模型性能得到提升。

Sep, 2020

提出了一种基于不确定性感知的交通预测框架，通过结合交通流理论和图神经网络的模型设计，在单次模型训练中能够量化不同来源的不确定性，并利用预测集的估计不确定性来筛选出足够包含信息内容的数据集。实证研究结果表明，从 2018 年到 2021 年，白天超过 80% 的交通数据可以被删除，而剩余 20% 的样本对于训练模型具有相同的预测能力，从而证明了该方法在评估大型交通数据集的实际信息内容方面的价值。

Oct, 2023

研究了自主驾驶这一实际机器人应用中行为预测模型的两种坐标系代表，Agent-centric 和 Scene-centric。它们各有优劣，但是应用知识蒸馏技术缩小了它们之间的表现差距，并实现了在多方面都表现良好的场景中心模型。

Jun, 2022

使用时空图神经网络 (ST-GNN) 对实时交通数据建模，通过知识蒸馏 (KD) 提高 ST-GNN 在实时交通预测中的执行效率，使用剪枝算法和联合优化实现网络架构搜索和精调，评估结果表明，即使保留网络参数的仅 3％，我们的方法仍能使学生网络接近教师网络的准确性。

Jan, 2024

通过知识蒸馏，从少量的帧中获取来自教师探测器的长期记忆，以平衡鸟瞰图 3D 目标检测中的精确性和效率，并通过生成器产生用于重建学生特征的新特征。在学生模型中输入完整帧时还探索了时间关系知识。在 nuScenes 基准测试上验证了该方法的有效性，并取得了 + 1.6 mAP 和 + 1.1 NDS 的改进，压缩时间知识后大约提高了 6 FPS 的速度，并实现了最准确的速度估计。

Jan, 2024

通过将模型集成和精简技术相结合，本研究提出了一种改善受限计算预算下动作预测系统的方法，实验证明模型集成并将其精简成小型学生模型，能够以较低的计算成本保持高性能，从而提高对于具有限计算预算的机器人系统的预测模型精度。

Apr, 2024