Jan, 2023

集成学习中的多样性统一理论

PDF
TL;DR本论文提出了一种集成多样性理论，阐明了多样性的本质及对各种监督学习场景的影响，揭示了多样性是集合偏差方差分解中的一个隐含维度，同时提供了一种自动识别可使偏差方差多样性分解成立的组合规则的方法。在此基础上，实验进一步说明了我们可以用该框架来理解当前流行的集成方法。
发现论文，激发创造
  • 神经网络集合中的多样性和泛化

    本文研究了集成技术在机器学习中的广泛应用，特别是在神经网络中多样性的确切角色、如何衡量它以及它如何促进神经网络集成算法的研究。在三种常用的损失函数和两种常用的模型组合策略的基础上，通过神经网络集成进行了实证验证。

    Oct, 2021

  • 设计新的集成学习算法的系统方法

    本研究通过重新审视集成学习中的误差分解方法，将其应用于神经网络作为基础学习器的集成学习算法的开发，利用最新的理论框架和方法，设计了 21 种新的集成算法，并证明了其中大部分方法在多样化数据集上具有优越的预测性能。

    Feb, 2024

  • 深度神经网络集成防御欺骗攻击：集成多样性、准确性和鲁棒性

    本文阐述了集成学习的一些基本概念，研究了如何优化集成学习的多样性来对抗敌对攻击，并提供了一些算法来学习如何生成高精度的集成预测。

    Aug, 2019

  • 局部独立预测模型集合

    本文通过介绍新的多样性度量方法介绍了一种新的模型集成方法，该方法特别适用于数据限制和协变量转移，可显著提高模型的多样性和泛化性能。

    Nov, 2019

  • 多样性感知的无偏锐度最小化集成方法

    我们的工作调查了集成学习和损失尖锐度最小化相结合是否能增加泛化能力，并提出了 DASH 算法，该算法在深度集成中促进多样性和扁平性，理论和实证证据表明集成的可泛化性得到了改进。

    Mar, 2024

  • 从集成学习中学习时，多样性非常重要

    通过对集成方法进行扰动，可以增加模型多样性并提升性能。

    Oct, 2021

  • 多样化集成：众包机器学习实验

    通过竞赛平台的众包机器学习是一种流行且常见的方法，这篇论文开发了一种另类的众包框架来整合社区反馈，以解决群体不公平问题，并提供了关于部署这种框架的具体指导。

    Feb, 2024

  • 通过多样性正则化提高集成模型的鲁棒性和校准性

    本文提出了一种新的多样性正则化方法，使用超出分布的样本并增加集成模型的整体准确性，校准性和对外部分布的检测能力。通过在 CIFAR-10、CIFAR-100 和 SVHN 上的实验证明了，多样性正则化对于校准性和稳健性以及外部分布检测具有显著影响。

    Jan, 2022

  • 深度集成：一种损失景观的视角

    通过研究深度神经网络的损失函数平面的同构性，我们证明了深度集合优于贝叶斯神经网络在提高准确度和对数据集变化的鲁棒性方面，并发现随机初始化的权重可以探索不同的函数空间而产生更多样的结果。

    Dec, 2019

  • 关于算法决策中的公正性、多样性和随机性

    在二元决策过程中，一个机器学习分类器取代了多个人类，并引发了问题，我们讨论了在决策过程中多样性的损失。我们研究了在关注公平学习的情况下使用随机分类器集合而不是单个分类器可能带来的潜在好处，并展示了各种有吸引力的属性：（i）一组公平的分类器可以保证公平，适用于多种不同的公平度量，（ii）一组不公平的分类器仍然可以实现公平结果，（iii）分类器集合可以实现比单个分类器更好的准确性 - 公平性权衡。最后，我们引入了分布公平的概念，以更好地描述随机分类器集合的潜在好处。

    Jun, 2017