ICLROct, 2019

通过深度模型集成增强可证明的鲁棒性

PDF
TL;DR本文提出了一种算法，通过优化加权基本模型，对深度模型群集的认证稳健性进行增强，实验结果证明了该算法可以形成比 naive 平均所有可用模型更为稳健的群集，并且通常具有更好的准确性。
certified robustnessdeep model ensembleoptimization problemclassification marginmnist
发现论文，激发创造
  • 集成模型及其可证明鲁棒性

    该研究分析和提供了证明鲁棒性的集成机器学习模型，其中多样化的梯度和大置信度边界被证明是实现可证书鲁棒模型的必要和充分条件。他们提出了基于多模型平滑策略的有界模型平滑度分析，并证明了集成模型在温和条件下可以始终比单一基础模型实现更高的可证书鲁棒性。他们提出了轻量级多样性正则化的训练用于训练证明的鲁棒集成机器学习模型，不仅比现有的单一模型和集成模型实现了更高的可证书的鲁棒性，还在 MNIST，CIFAR-10 和 ImageNet 数据集上实现了最先进的 L2 - 鲁棒性。

    Jul, 2021

  • 探索用于提升集成强健性的模型学习异质性

    通过形式分析和实证评估，本文展示了异构深度集成模型可以通过高集成多样性有效地利用模型学习的异质性以提高集成的鲁棒性。

    Oct, 2023

  • 通过边界提升构建强大的集成模型

    该论文介绍了一种通过 margin-boosting 来学习最大 margin 的神经网络集成防御方法，并提出了一种 margin-maximizing cross-entropy (MCE) 损失函数，实验证明用 MCE 代替标准的 cross-entropy 损失函数在对抗训练上能显著提高性能。

    Jun, 2022

  • 超参数集合用于稳健性和不确定度量化

    通过设计对权重和超参数的模型集成来改进模型的性能，并提出了一种超参数深度集成和超批集成方法，能够在计算和存储成本方面比传统的集成方法更加高效，应用于 MLP、Lenet、ResNet 20 和 Wide ResNet 28-10 网络结构，达到了超越深度集成和批量集成的最佳性能表现。

    Jun, 2020

  • 深度学习图像分类中基于置信度集成的评估

    使用了 Conf-Ensemble 技术来提高机器学习模型的性能，通过对 ImageNet 数据集的图像分类实验，发现 Conf-Ensemble 在复杂的多标签分类任务中并未能如预期一样实现优化结果，也说明了大数据难以被利用的非平凡性。

    Mar, 2023

  • 增强式生成模型

    本文提出了一种新的无监督 boosting 方法来创建生成模型的集成，进一步允许集成包括区分真实数据和模拟生成数据的判别模型。作者证明了这种方法在一定条件下能将新模型集成进来以提升适合度，并在基准数据集上对密度估计、分类和样本生成的广泛生成模型应用中展示了黑盒 boosting 算法的有效性。

    Feb, 2017

  • 数量大于强度：通过对抗训练的集合优化鲁棒性和计算效率

    通过对对抗样本的数据增广训练神经网络模型，以提高模型的抗干扰性，并发现通过将小型模型构成的集成模型一起进行对抗训练相比使用单个大模型的训练更有效。而重点在于对整个集成模型的对抗训练，而不是只对每个模型进行对抗训练。

    Nov, 2018

  • 使用集成网络和噪声层实现鲁棒深度学习

    本篇论文提出了一种深度学习方法，可以在图像分类类型的网络中保护并提高其鲁棒性，同时实现了准确性和鲁棒性的平衡，通过实验验证了该方法的有效性和鲁棒性保障。

    Jul, 2020

  • 在对抗性环境下重新审视集成：提高自然精度

    为了提高深度学习模型在实际应用中对小型对抗扰动的抵抗力和非恶意输入的准确性，我们考虑了一些集成方法，关键洞见在于训练模型以抵御小型攻击的模型在集成时可以承受更大的攻击，并且可以通过这个概念来优化自然准确性。我们考虑了两种方案，一种是从几个随机初始化的强韧模型中组合预测，另一种则是将强韧模型和标准模型的特征进行融合。

    Feb, 2020

  • 带有集合共识的鲁棒训练

    研究通过一种名为 Learning with Ensemble Consensus (LEC) 的新训练方法解决了深度神经网络在存在标签噪声时过拟合的问题，该方法通过对众多神经网络的一定扰动下的结果进行共识，剔除出噪声样本，其中一个提出的 LEC，即 LTEC 在 MNIST，CIFAR-10，和 CIFAR-100 数据集上表现出更高的分类准确率，且效率较高。

    Oct, 2019