本文阐述了集成学习的一些基本概念,研究了如何优化集成学习的多样性来对抗敌对攻击,并提供了一些算法来学习如何生成高精度的集成预测。
Aug, 2019
本论文提出了一种集成多样性理论,阐明了多样性的本质及对各种监督学习场景的影响,揭示了多样性是集合偏差方差分解中的一个隐含维度,同时提供了一种自动识别可使偏差方差多样性分解成立的组合规则的方法。在此基础上,实验进一步说明了我们可以用该框架来理解当前流行的集成方法。
Jan, 2023
本文通过介绍新的多样性度量方法介绍了一种新的模型集成方法,该方法特别适用于数据限制和协变量转移,可显著提高模型的多样性和泛化性能。
Nov, 2019
我们的工作调查了集成学习和损失尖锐度最小化相结合是否能增加泛化能力,并提出了 DASH 算法,该算法在深度集成中促进多样性和扁平性,理论和实证证据表明集成的可泛化性得到了改进。
Mar, 2024
本文提出了基于多样性损失函数的神经网络集成方法,以适应多模态数据的建模,并证明了其在数据分布变化和识别未知数据方面的显著性能提升。
Mar, 2020
通过研究深度神经网络的损失函数平面的同构性,我们证明了深度集合优于贝叶斯神经网络在提高准确度和对数据集变化的鲁棒性方面,并发现随机初始化的权重可以探索不同的函数空间而产生更多样的结果。
Dec, 2019
本研究探讨了如何最佳地建立卷积神经网络的组合,比较了多种资源共享和差异性鼓励的策略,其中提出了 TreeNets 算法,最后通过端到端的训练以统一的损失函数获得比传统算法更高的准确率。
Nov, 2015
通过研究和实验证明,相比于单个深层神经网络,神经网络集成在识别度、不确定性量化和对数据集迁移的鲁棒性方面并没有显著提高,二者都能实现类似的性能和效益。
Feb, 2022
本文研究了利用多样的专业 CNNs 集成对黑盒对抗实例检测的影响,并加强白盒对抗攻击的生成,证明了不同专业集成的多样性如何减轻黑盒和白盒对抗示例的风险,并通过 MNIST 和 CIFAR-10 等实验证明了使用该集成可以检测大部分已知的黑盒对抗实例,从而显著降低敌人的风险率,但会在一定程度上增加干净样本的风险率。此外,相对于普通 CNN 和普通 CNN 集成,我们展示了集成生成白盒攻击的成功率显著下降,突显了集成中多样性对于开发更健壮模型的有益作用。
May, 2020
通过形式分析和实证评估,本文展示了异构深度集成模型可以通过高集成多样性有效地利用模型学习的异质性以提高集成的鲁棒性。
Oct, 2023