Nov, 2015

为何多个网络头胜过单独一个：训练深度神经网络的多样集成

PDF
TL;DR本研究探讨了如何最佳地建立卷积神经网络的组合，比较了多种资源共享和差异性鼓励的策略，其中提出了 TreeNets 算法，最后通过端到端的训练以统一的损失函数获得比传统算法更高的准确率。
convolutional neural networksensemblingtreenetsensemble-awarediversity-encouraging
发现论文，激发创造
  • MotherNets: 快速深度集成学习

    该研究提出 MotherNets 来解决深度神经网络集成中的训练成本和模型多样性问题，并在减少训练成本和提高模型精度方面取得了新的 Pareto 前沿。

    Sep, 2018

  • 深度集成的效果如何，但它们是否必要？

    通过研究和实验证明，相比于单个深层神经网络，神经网络集成在识别度、不确定性量化和对数据集迁移的鲁棒性方面并没有显著提高，二者都能实现类似的性能和效益。

    Feb, 2022

  • EnsembleNet：多头模型的端到端优化

    本研究通过提出更为简单有效的对应蒸馏架构，将单一深度神经网络转化为最优性能且规模更小的多头模型，提高机器学习模型的性能并实现端到端优化。

    May, 2019

  • 神经网络集合中的多样性和泛化

    本文研究了集成技术在机器学习中的广泛应用，特别是在神经网络中多样性的确切角色、如何衡量它以及它如何促进神经网络集成算法的研究。在三种常用的损失函数和两种常用的模型组合策略的基础上，通过神经网络集成进行了实证验证。

    Oct, 2021

  • 超参数集合用于稳健性和不确定度量化

    通过设计对权重和超参数的模型集成来改进模型的性能，并提出了一种超参数深度集成和超批集成方法，能够在计算和存储成本方面比传统的集成方法更加高效，应用于 MLP、Lenet、ResNet 20 和 Wide ResNet 28-10 网络结构，达到了超越深度集成和批量集成的最佳性能表现。

    Jun, 2020

  • 快照集成: 1 次训练，多个模型

    本文提出了一种名为 ' 快照集成 ' 的新技术，可以实现在不增加训练成本的情况下，通过在一个单一的神经网络中收敛到几个局部极小值并保存模型参数的方法，同时通过循环学习率表达式，获得重复快速收敛的能力，实验结果表明，这种方法可有效地降低误差率并与传统的网络集成方法相比较优秀。

    Apr, 2017

  • 低数据迁移学习的深度集成

    本文探讨了从预训练模型中创建集成模型的不同方法，并提出了一种有效的算法来识别下游数据集的预训练模型子集。在 19 项下游任务中（视觉任务适应基准），即使从超过 2000 个预训练模型中进行选择，其实现了具有较低推理预算的最先进性能，并且在 ImageNet 变体上对分布转移具有更好的鲁棒性。

    Oct, 2020

  • FAIR-Ensemble: 深度集成自然产生公平性

    通过分析异质性模型，我们探究了不同培训集合的神经网络集成对子群体表现的影响。发现使用同质集成，即使所有单独模型使用相同的训练集，架构和设计选择，仍然可以获得令人信服和有力的最坏 k 值和少数群体的表现提升。我们的研究证明，简单的神经网络集成可以是减轻不同 DNN 分类器的不同影响的有效工具，从而遏制算法伤害。

    Mar, 2023

  • 深度卷积神经网络的集成方法在图像分类中的相对性能

    该研究通过探究多种集成方法，包括超级学习器等，运用人工神经网络在图像识别任务中进行设计多个实验，并进一步研究了神经网络的过度自信现象及其对集成方法的影响，并在所有实验中发现超级学习器是表现最佳的集成方法。

    Apr, 2017

  • 探索用于提升集成强健性的模型学习异质性

    通过形式分析和实证评估，本文展示了异构深度集成模型可以通过高集成多样性有效地利用模型学习的异质性以提高集成的鲁棒性。

    Oct, 2023