ICLRJan, 2021

DICE: 基于条件冗余对抗估计的深度集成多样性

PDF
TL;DR使用新型训练准则 DICE，提高深度集成模型的多样性并同时保持准确性，可以在 CIFAR-10 和 CIFAR-100 数据集上获得最新的最高准确率结果，并影响了校准、不确定性估计和在线协同训练。
发现论文，激发创造
  • 模型合成中的多样性诱导信息瓶颈

    本文提出了基于多样性损失函数的神经网络集成方法，以适应多模态数据的建模，并证明了其在数据分布变化和识别未知数据方面的显著性能提升。

    Mar, 2020

  • 通过多样化训练提高集合模型的对抗鲁棒性

    本研究通过多个神经网络的损失函数不相关来提高其对抗攻击的鲁棒性，提出了一种叫做多样化训练的方法，并发现该方法能够显著增强集合的对抗防御能力。

    Jan, 2019

  • 通过多样性的专门深度神经网络集成实现对抗鲁棒性

    本文研究了利用多样的专业 CNNs 集成对黑盒对抗实例检测的影响，并加强白盒对抗攻击的生成，证明了不同专业集成的多样性如何减轻黑盒和白盒对抗示例的风险，并通过 MNIST 和 CIFAR-10 等实验证明了使用该集成可以检测大部分已知的黑盒对抗实例，从而显著降低敌人的风险率，但会在一定程度上增加干净样本的风险率。此外，相对于普通 CNN 和普通 CNN 集成，我们展示了集成生成白盒攻击的成功率显著下降，突显了集成中多样性对于开发更健壮模型的有益作用。

    May, 2020

  • 深度集成多样性用于外部分布检测的可用性

    深度学习中用深度集成方法提升神经网络的鲁棒性能，在大规模图片数据集中使用互信息指标 (OOD）的检测效果比单一模型的熵指标要劣 30-40%，使用集成多个分类器的检测得分对 Deep Ensemble OOD 检测性能有着更好的提升表现 。

    Jul, 2022

  • 深度神经网络集成防御欺骗攻击：集成多样性、准确性和鲁棒性

    本文阐述了集成学习的一些基本概念，研究了如何优化集成学习的多样性来对抗敌对攻击，并提供了一些算法来学习如何生成高精度的集成预测。

    Aug, 2019

  • 多元突出感知深度集成提高对抗性鲁棒性

    提出一种基于多样性促进学习的深度集成方法，提高深度集成模型抵抗对手攻击的能力，减少攻击的迁移效应，实现更好的白盒和黑盒攻击防御性能。

    Dec, 2021

  • 深度集合中的多样性正则化

    为了提高深度神经网络在可靠的不确定性估计任务中的置信度校准性，本文提出了一种具有多样性函数正则化的深度集成训练策略，可以在维持相似预测准确度的情况下改善置信度校准性。

    Feb, 2018

  • 从集成学习中学习时，多样性非常重要

    通过对集成方法进行扰动，可以增加模型多样性并提升性能。

    Oct, 2021

  • 基于深度神经网络不确定性估计的动态集成选择以提高对抗鲁棒性

    通过使用动态组合选择技术，该研究提出了一种在模型级别上利用 Dirichlet 分布和多样性约束构建替代集成模型空间的方法，以保护模型免受白盒攻击并提高鲁棒性，同时结合动态和多样性特性，实现了显著的鲁棒性结果而不损害准确性。

    Aug, 2023

  • 通过促进集成多样性来提高对抗鲁棒性

    该论文提出了一种新的方法，通过探索个体网络之间的交互来提高集成模型的抗干扰性，通过定义一种新的集成多样性的概念来在对抗性情境中促进网络多样性，并演示了一种适应性的多样性促进正则化器，以提高集成的鲁棒性。该方法在各种数据集上取得了良好的实验效果，同时保持了在正常情况下达到最新水平的精度。

    Jan, 2019