Mar, 2023

多对称集合：通过对称性的对立提高多样性和泛化能力

PDF
TL;DR本研究提出了一种名为 Multi-Symmetry Ensembles (MSE) 的框架，通过捕获对称轴上假设的多样性来构建多样化的集合，探索超越随机变化的模型权重和超参数假设空间并有效提高了分类性能、不确定性量化和迁移任务的泛化。
deep ensemblesmulti-symmetry ensemblessymmetry axescontrastive representation learninglarge datasets
发现论文，激发创造
  • 局部独立预测模型集合

    本文通过介绍新的多样性度量方法介绍了一种新的模型集成方法，该方法特别适用于数据限制和协变量转移，可显著提高模型的多样性和泛化性能。

    Nov, 2019

  • 多元突出感知深度集成提高对抗性鲁棒性

    提出一种基于多样性促进学习的深度集成方法，提高深度集成模型抵抗对手攻击的能力，减少攻击的迁移效应，实现更好的白盒和黑盒攻击防御性能。

    Dec, 2021

  • 深度集成：一种损失景观的视角

    通过研究深度神经网络的损失函数平面的同构性，我们证明了深度集合优于贝叶斯神经网络在提高准确度和对数据集变化的鲁棒性方面，并发现随机初始化的权重可以探索不同的函数空间而产生更多样的结果。

    Dec, 2019

  • 神经集成搜索用于不确定性估计和数据集偏移

    本文提出两种构建神经网络集合的方法，使用不同的体系结构，以细化预测结果并利用架构变化作为集合的差异性的来源，并在多个分类任务和现代架构搜索空间方面表现优于深度集成。

    Jun, 2020

  • 深度神经网络集成防御欺骗攻击：集成多样性、准确性和鲁棒性

    本文阐述了集成学习的一些基本概念，研究了如何优化集成学习的多样性来对抗敌对攻击，并提供了一些算法来学习如何生成高精度的集成预测。

    Aug, 2019

  • 模型合成中的多样性诱导信息瓶颈

    本文提出了基于多样性损失函数的神经网络集成方法，以适应多模态数据的建模，并证明了其在数据分布变化和识别未知数据方面的显著性能提升。

    Mar, 2020

  • 超参数集合用于稳健性和不确定度量化

    通过设计对权重和超参数的模型集成来改进模型的性能，并提出了一种超参数深度集成和超批集成方法，能够在计算和存储成本方面比传统的集成方法更加高效，应用于 MLP、Lenet、ResNet 20 和 Wide ResNet 28-10 网络结构，达到了超越深度集成和批量集成的最佳性能表现。

    Jun, 2020

  • DICE: 基于条件冗余对抗估计的深度集成多样性

    使用新型训练准则 DICE，提高深度集成模型的多样性并同时保持准确性，可以在 CIFAR-10 和 CIFAR-100 数据集上获得最新的最高准确率结果，并影响了校准、不确定性估计和在线协同训练。

    Jan, 2021

  • 多样性感知的无偏锐度最小化集成方法

    我们的工作调查了集成学习和损失尖锐度最小化相结合是否能增加泛化能力，并提出了 DASH 算法，该算法在深度集成中促进多样性和扁平性，理论和实证证据表明集成的可泛化性得到了改进。

    Mar, 2024

  • DynED：数据流分类中的动态集成多样化

    提出了一种基于最大边际相关性（Maximal Marginal Relevance）的全新集成构建和维护方法（DynED），该方法在构建集成的过程中动态地将组件的多样性和预测准确性进行结合，实验结果表明，与五种最新方法相比，该方法在四个真实和 11 个合成数据集上提供了更高的平均准确度。

    Aug, 2023