Sep, 2023

您可以拥有您的集成并运行它 -- 深度集成随时间传播

PDF
TL;DR这篇论文介绍了一种名为 Deep Ensembles Spread Over Time (DESOT) 的方法，该方法将深度集成模型应用于序列数据，通过对数据点的序列进行预测融合来实现预测和不确定性估计的性能优势，在无需额外计算成本的情况下获得了深度集成模型的好处，并在自动驾驶和交通标志分类等领域的实验中取得了良好的表现。
deep ensemblesuncertainty estimationautonomous drivingsequential datatraffic sign classification
发现论文，激发创造
  • 众志成城：使用集成模型的逐轮一致性来抵御过拟合

    通过理论分析和经验验证，在深度神经网络中，过拟合发生时，分类器之间的差异性增加。受此结果的指导，我们提出了一种新的基于集成的预测方法，以对抗过拟合。该方法通过选择训练过程中最一致的预测结果来确定最终预测，有效消除了过拟合对模型泛化性能的不利影响，甚至在性能上超过了早停止方法。这种易于实现、可与任何训练方案和架构集成的方法，不需要额外的先验知识，因此是克服过拟合问题的实用和有用工具。

    Oct, 2023

  • 深度集成的效果如何，但它们是否必要？

    通过研究和实验证明，相比于单个深层神经网络，神经网络集成在识别度、不确定性量化和对数据集迁移的鲁棒性方面并没有显著提高，二者都能实现类似的性能和效益。

    Feb, 2022

  • 集合蒸馏技术扩展动作预测模型

    通过将模型集成和精简技术相结合，本研究提出了一种改善受限计算预算下动作预测系统的方法，实验证明模型集成并将其精简成小型学生模型，能够以较低的计算成本保持高性能，从而提高对于具有限计算预算的机器人系统的预测模型精度。

    Apr, 2024

  • 深度集成：一种损失景观的视角

    通过研究深度神经网络的损失函数平面的同构性，我们证明了深度集合优于贝叶斯神经网络在提高准确度和对数据集变化的鲁棒性方面，并发现随机初始化的权重可以探索不同的函数空间而产生更多样的结果。

    Dec, 2019

  • 时间序列分类的深度神经网络集成

    本文介绍如何在时序分类任务中使用神经网络集成算法，实现与当前最先进的基于非深度学习算法的分类器媲美的性能，并且首次达到了比 COTE 分类器更好的表现。

    Mar, 2019

  • 可靠的不确定性与便宜的神经网络集成：工业零件分类的案例研究

    本研究比较了单一神经网络、深度集合和三种高效神经网络集合的性能，结果表明批量集合是一种性价比高且与深度集合相比在不确定性和准确性方面表现更好的替代方案。

    Mar, 2024

  • 利用深层集成技术在感应不确定性下进行行人轨迹预测

    提出了一种能够同时考虑感知不确定性和预测不确定性的端到端估计器 —— 基于编解码器的深度合奏网络，比较了该模型与其他近似贝叶斯推断方法。实验表明，该方法可以更准确地进行鲁棒的未来状态预测。

    May, 2023

  • 深度集成多样性用于外部分布检测的可用性

    深度学习中用深度集成方法提升神经网络的鲁棒性能，在大规模图片数据集中使用互信息指标 (OOD）的检测效果比单一模型的熵指标要劣 30-40%，使用集成多个分类器的检测得分对 Deep Ensemble OOD 检测性能有着更好的提升表现 。

    Jul, 2022

  • 深度集合方法用于 6D 物体姿态估计的不确定性量化

    提出一种用于深度集成的多阶段 6D 物体姿势估计方法的不确定性量化方法，使用 SurfEmb 进行实现，并提出一种用于回归任务的新型不确定性校准分数评估估计的质量。

    Mar, 2024

  • 半监督学习的时间集成

    本文提出了一种用于在小部分标记的情况下训练深度神经网络的简单高效方法，采用自我模拟方案的集成预测来提高标签的未知性，从而使得在两个标准半监督学习基准测试中加快速度并实现更好的性能。

    Oct, 2016