ICMLJun, 2022

通过边界提升构建强大的集成模型

PDF
TL;DR该论文介绍了一种通过 margin-boosting 来学习最大 margin 的神经网络集成防御方法，并提出了一种 margin-maximizing cross-entropy (MCE) 损失函数，实验证明用 MCE 代替标准的 cross-entropy 损失函数在对抗训练上能显著提高性能。
发现论文，激发创造
  • 通过深度模型集成增强可证明的鲁棒性

    本文提出了一种算法，通过优化加权基本模型，对深度模型群集的认证稳健性进行增强，实验结果证明了该算法可以形成比 naive 平均所有可用模型更为稳健的群集，并且通常具有更好的准确性。

    Oct, 2019

  • 数量大于强度：通过对抗训练的集合优化鲁棒性和计算效率

    通过对对抗样本的数据增广训练神经网络模型，以提高模型的抗干扰性，并发现通过将小型模型构成的集成模型一起进行对抗训练相比使用单个大模型的训练更有效。而重点在于对整个集成模型的对抗训练，而不是只对每个模型进行对抗训练。

    Nov, 2018

  • 一个多分类提升框架，实现快速和可证明的对抗鲁棒性

    本文提出了一种多类别增强框架来确保对抗鲁棒性，通过将鲁棒性要求加入损失函数并使用被对抗性破坏的输入进行随机梯度下降步骤，证明在弱训练预测器的情况下可以实现鲁棒性，实验证明对抗鲁棒的多类别增强不仅优于最先进的方法，而且训练所需时间极少。

    Mar, 2021

  • 集成模型及其可证明鲁棒性

    该研究分析和提供了证明鲁棒性的集成机器学习模型，其中多样化的梯度和大置信度边界被证明是实现可证书鲁棒模型的必要和充分条件。他们提出了基于多模型平滑策略的有界模型平滑度分析，并证明了集成模型在温和条件下可以始终比单一基础模型实现更高的可证书鲁棒性。他们提出了轻量级多样性正则化的训练用于训练证明的鲁棒集成机器学习模型，不仅比现有的单一模型和集成模型实现了更高的可证书的鲁棒性，还在 MNIST，CIFAR-10 和 ImageNet 数据集上实现了最先进的 L2 - 鲁棒性。

    Jul, 2021

  • 在对抗性环境下重新审视集成：提高自然精度

    为了提高深度学习模型在实际应用中对小型对抗扰动的抵抗力和非恶意输入的准确性，我们考虑了一些集成方法，关键洞见在于训练模型以抵御小型攻击的模型在集成时可以承受更大的攻击，并且可以通过这个概念来优化自然准确性。我们考虑了两种方案，一种是从几个随机初始化的强韧模型中组合预测，另一种则是将强韧模型和标准模型的特征进行融合。

    Feb, 2020

  • 关于对抗鲁棒性的重新思考：Softmax 交叉熵损失

    该研究探讨了在保证标准准确率的前提下提高对抗性鲁棒性的方法，介绍了 Max-Mahalanobis 中心损失函数，强制在特征空间中诱导高密度区域，以使学习到的特征点更加紧凑和有序，从而提高对抗性防御水平。

    May, 2019

  • 自信的多选学习

    本研究提出一种针对深度神经网络的新型集成学习方法，名为自信多选学习（CMCL），通过解决其过度自信的问题来提高模型的性能，CMCL 比独立集成方法在图像分类和前景 - 背景分割等任务中提高了显著的准确率。

    Jun, 2017

  • 约束优化模型集成

    通过多调整技术和组合模型来改进多维输出预测的下游优化问题，提出了两个高效收敛的算法，并在实验中对其性能和行为进行了探索。

    May, 2024

  • 深度神经网络对抗扰动的防御方法：集成学习

    采用集成方法作为防御策略可增强神经网络在 MNIST 和 CIFAR-10 数据集中对于对抗扰动的鲁棒性。

    Sep, 2017

  • 使用 Loss 集合扩展神经网络的文本分类模型

    本文提出了一种基于集成技术的神经网络扩展，该神经网络具有集成损失函数用于文本分类并通过神经网络的梯度传播优化方法调整每个弱损失函数的权重，在多个数据集和不同程度的标签噪声下，与其他方法相比表现更好，具有较强的抗噪声能力。

    Nov, 2017