探索用于提升集成强健性的模型学习异质性
该研究分析和提供了证明鲁棒性的集成机器学习模型，其中多样化的梯度和大置信度边界被证明是实现可证书鲁棒模型的必要和充分条件。他们提出了基于多模型平滑策略的有界模型平滑度分析，并证明了集成模型在温和条件下可以始终比单一基础模型实现更高的可证书鲁棒性。他们提出了轻量级多样性正则化的训练用于训练证明的鲁棒集成机器学习模型，不仅比现有的单一模型和集成模型实现了更高的可证书的鲁棒性，还在 MNIST，CIFAR-10 和 ImageNet 数据集上实现了最先进的 L2 - 鲁棒性。
Jul, 2021
本文阐述了集成学习的一些基本概念，研究了如何优化集成学习的多样性来对抗敌对攻击，并提供了一些算法来学习如何生成高精度的集成预测。
Aug, 2019
本文研究了利用多样的专业 CNNs 集成对黑盒对抗实例检测的影响，并加强白盒对抗攻击的生成，证明了不同专业集成的多样性如何减轻黑盒和白盒对抗示例的风险，并通过 MNIST 和 CIFAR-10 等实验证明了使用该集成可以检测大部分已知的黑盒对抗实例，从而显著降低敌人的风险率，但会在一定程度上增加干净样本的风险率。此外，相对于普通 CNN 和普通 CNN 集成，我们展示了集成生成白盒攻击的成功率显著下降，突显了集成中多样性对于开发更健壮模型的有益作用。
May, 2020
本文提出了一种算法，通过优化加权基本模型，对深度模型群集的认证稳健性进行增强，实验结果证明了该算法可以形成比 naive 平均所有可用模型更为稳健的群集，并且通常具有更好的准确性。
Oct, 2019
我们提出了一个训练免费的集成框架 DEEPEN，通过平均不同大型语言模型输出的概率分布来解决现有方法中的词汇差异问题，并在涉及主观考试、推理和知识问答的六个流行基准测试中获得了一致的改进效果。
Apr, 2024
通过分析异质性模型，我们探究了不同培训集合的神经网络集成对子群体表现的影响。发现使用同质集成，即使所有单独模型使用相同的训练集，架构和设计选择，仍然可以获得令人信服和有力的最坏 k 值和少数群体的表现提升。我们的研究证明，简单的神经网络集成可以是减轻不同 DNN 分类器的不同影响的有效工具，从而遏制算法伤害。
Mar, 2023
本文研究了集成技术在机器学习中的广泛应用，特别是在神经网络中多样性的确切角色、如何衡量它以及它如何促进神经网络集成算法的研究。在三种常用的损失函数和两种常用的模型组合策略的基础上，通过神经网络集成进行了实证验证。
Oct, 2021