Apr, 2024

集合蒸馏技术扩展动作预测模型

PDF
TL;DR通过将模型集成和精简技术相结合，本研究提出了一种改善受限计算预算下动作预测系统的方法，实验证明模型集成并将其精简成小型学生模型，能够以较低的计算成本保持高性能，从而提高对于具有限计算预算的机器人系统的预测模型精度。
motion forecastinglimited compute budgetsensemble modelsdistillationimproving accuracy
发现论文，激发创造
  • 集成分布蒸馏的通用框架

    通过构建神经网络集成，可以更好地进行预测和不确定性估计，并将不确定性分解为数据不确定性和模型不确定性。本文提出了一种保持神经网络集成分解性质的蒸馏框架，其预测性能与标准蒸馏相当。

    Feb, 2020

  • 结构化预测的集成蒸馏：校准、准确、快速 - 选择三项

    研究了集成蒸馏作为一个通用框架，以产生良好校准的结构化预测模型，同时避免在推断时集成蒸馏的代价，本文对其在两个任务上进行了验证：命名实体识别和机器翻译。我们发现，在这两个任务中，集成蒸馏产生的模型保留了集成的性能和校准优势，而且只需要在测试时使用单个模型。

    Oct, 2020

  • 行为预测模型中坐标框架差距的缩小：为高效准确基于场景的运动预测而进行的蒸馏

    研究了自主驾驶这一实际机器人应用中行为预测模型的两种坐标系代表，Agent-centric 和 Scene-centric。它们各有优劣，但是应用知识蒸馏技术缩小了它们之间的表现差距，并实现了在多方面都表现良好的场景中心模型。

    Jun, 2022

  • 在线蒸馏实现的大规模分布式神经网络训练

    本文介绍了一种相对简单易用的基于在线蒸馏的神经网络训练优化方法，该方法使得我们能够在使用大规模数据集时提升模型精度并提高训练速度，同时在成本较低的情况下显著提高模型的预测可复现性。

    Apr, 2018

  • 从集成学习中学习时，多样性非常重要

    通过对集成方法进行扰动，可以增加模型多样性并提升性能。

    Oct, 2021

  • 迈向端到端自动驾驶运动规划器压缩的便携性

    本文提出 PlanKD，这是第一个专门用于压缩端到端运动规划器的知识蒸馏框架，通过信息瓶颈策略和安全感知的逐点蒸馏模块，可以显著提升较小规模规划器的性能并减少参考时间。

    Mar, 2024

  • EnsembleNet：多头模型的端到端优化

    本研究通过提出更为简单有效的对应蒸馏架构，将单一深度神经网络转化为最优性能且规模更小的多头模型，提高机器学习模型的性能并实现端到端优化。

    May, 2019

  • 自我分布蒸馏：高效的不确定性估计

    本研究提出了一种新颖的训练方法 S2D，它可以有效地训练出一个单一模型以估算不确定性，也可以构建这些模型的集合并应用分层集成蒸馏方法，结果显示 S2D 模型优于标准模型和 Monte-Carlo Dropout，甚至连标准深度集成都能被 S2D 集成和新型蒸馏模型超越。另外还进行了 LSUN、Tiny ImageNet 和 SVHN 的外分布检测实验。

    Mar, 2022

  • 组合分布蒸馏

    该论文提出了一种名为 EnD^2 的新方法，它使用 Prior Networks 对模型的输出分布进行建模，并使单个模型保留了集成模型减少计算成本和提高分类性能的同时，还能保留集合多样性的信息，用于估计不确定性。该方法不仅可适用于人工数据集，还取得了在 CIFAR-10、CIFAR-100 和 TinyImageNet 数据集上优于其他方法的成果。

    Apr, 2019

  • 神经网络知识蒸馏

    通过将一个 ensemble 中的知识压缩成单个模型的方法，我们可以显著提高基于 MNIST 数据集的模型性能并将这种方法应用于商业系统的声学模型，同时我们还提出了一种由专家模型和完整模型组成的新型 ensemble。

    Mar, 2015