本研究探讨了如何最佳地建立卷积神经网络的组合,比较了多种资源共享和差异性鼓励的策略,其中提出了TreeNets算法,最后通过端到端的训练以统一的损失函数获得比传统算法更高的准确率。
Nov, 2015
该研究提出MotherNets来解决深度神经网络集成中的训练成本和模型多样性问题,并在减少训练成本和提高模型精度方面取得了新的 Pareto 前沿。
Sep, 2018
本文提出两种构建神经网络集合的方法,使用不同的体系结构,以细化预测结果并利用架构变化作为集合的差异性的来源,并在多个分类任务和现代架构搜索空间方面表现优于深度集成。
Jun, 2020
使用随机梯度下降法训练神经网络时,通过加权平均一部分训练好的参数,可以获得更好的结果,而这种方法不会增加计算成本,可在CIFAR-10/100,ImageNet和其他测试集上得到验证。
Jul, 2020
本文探讨了从预训练模型中创建集成模型的不同方法,并提出了一种有效的算法来识别下游数据集的预训练模型子集。在19项下游任务中(视觉任务适应基准),即使从超过2000个预训练模型中进行选择,其实现了具有较低推理预算的最先进性能,并且在ImageNet变体上对分布转移具有更好的鲁棒性。
Oct, 2020
本文研究了集成技术在机器学习中的广泛应用,特别是在神经网络中多样性的确切角色、如何衡量它以及它如何促进神经网络集成算法的研究。在三种常用的损失函数和两种常用的模型组合策略的基础上,通过神经网络集成进行了实证验证。
Oct, 2021
本论文提出了一种集成多样性理论,阐明了多样性的本质及对各种监督学习场景的影响,揭示了多样性是集合偏差方差分解中的一个隐含维度,同时提供了一种自动识别可使偏差方差多样性分解成立的组合规则的方法。在此基础上,实验进一步说明了我们可以用该框架来理解当前流行的集成方法。
Jan, 2023
通过使用多个独立的子网络组成的集成模型来提高模型性能和可靠性,并通过新的损失函数鼓励模型之间的多样性,在保持计算效率的同时,有效地改善模型的不确定性估计。在计算机视觉、自然语言处理和基因组数据等多个领域的广泛实验中,我们的方法在预测可靠性方面取得了显著改善。
Aug, 2023
本研究通过重新审视集成学习中的误差分解方法,将其应用于神经网络作为基础学习器的集成学习算法的开发,利用最新的理论框架和方法,设计了21种新的集成算法,并证明了其中大部分方法在多样化数据集上具有优越的预测性能。
Feb, 2024
本文解决了权重集成模型的功能多样性对其性能的影响这一研究空白,提出了两种新颖的权重集成方法,探索不同模型的功能多样性如何影响集成效果。研究发现,功能多样性的提升显著增强了权重集成的性能,同时指出多样性并非提高准确度的唯一因素。
Sep, 2024