FAIR-Ensemble: 深度集成自然产生公平性

Mar, 2023

FAIR-Ensemble: 深度集成自然产生公平性

FAIR-Ensemble: When Fairness Naturally Emerges From Deep Ensembling

Wei-Yin Ko, Daniel D'souza, Karina Nguyen, Randall Balestriero, Sara Hooker

TL;DR通过分析异质性模型，我们探究了不同培训集合的神经网络集成对子群体表现的影响。发现使用同质集成，即使所有单独模型使用相同的训练集，架构和设计选择，仍然可以获得令人信服和有力的最坏 k 值和少数群体的表现提升。我们的研究证明，简单的神经网络集成可以是减轻不同 DNN 分类器的不同影响的有效工具，从而遏制算法伤害。

Abstract

ensembling independent deep neural networks (DNNs) is a simple and effective way to improve top-line metrics and to outperform larger single models. In this work, we go beyond top-line metrics and instead explore

ensembling deep neural networks subgroup performances fairness algorithmic harm

发现论文，激发创造

深度神经网络集成防御欺骗攻击：集成多样性、准确性和鲁棒性

本文阐述了集成学习的一些基本概念，研究了如何优化集成学习的多样性来对抗敌对攻击，并提供了一些算法来学习如何生成高精度的集成预测。

Aug, 2019

多样化集成：众包机器学习实验

通过竞赛平台的众包机器学习是一种流行且常见的方法，这篇论文开发了一种另类的众包框架来整合社区反馈，以解决群体不公平问题，并提供了关于部署这种框架的具体指导。

Feb, 2024

深度集成的效果如何，但它们是否必要？

通过研究和实验证明，相比于单个深层神经网络，神经网络集成在识别度、不确定性量化和对数据集迁移的鲁棒性方面并没有显著提高，二者都能实现类似的性能和效益。

Feb, 2022

低数据迁移学习的深度集成

本文探讨了从预训练模型中创建集成模型的不同方法，并提出了一种有效的算法来识别下游数据集的预训练模型子集。在 19 项下游任务中（视觉任务适应基准），即使从超过 2000 个预训练模型中进行选择，其实现了具有较低推理预算的最先进性能，并且在 ImageNet 变体上对分布转移具有更好的鲁棒性。

Oct, 2020

关于算法决策中的公正性、多样性和随机性

在二元决策过程中，一个机器学习分类器取代了多个人类，并引发了问题，我们讨论了在决策过程中多样性的损失。我们研究了在关注公平学习的情况下使用随机分类器集合而不是单个分类器可能带来的潜在好处，并展示了各种有吸引力的属性：（i）一组公平的分类器可以保证公平，适用于多种不同的公平度量，（ii）一组不公平的分类器仍然可以实现公平结果，（iii）分类器集合可以实现比单个分类器更好的准确性 - 公平性权衡。最后，我们引入了分布公平的概念，以更好地描述随机分类器集合的潜在好处。

Jun, 2017

集成预处理算法能提高机器学习的公平性吗？

本文研究了三种流行的公平性预处理算法并探讨了将它们组合成更加健壮的预处理集成的潜力，为实践者更好地选择公平算法提供经验教训。

Dec, 2022

为何多个网络头胜过单独一个：训练深度神经网络的多样集成

本研究探讨了如何最佳地建立卷积神经网络的组合，比较了多种资源共享和差异性鼓励的策略，其中提出了 TreeNets 算法，最后通过端到端的训练以统一的损失函数获得比传统算法更高的准确率。

Nov, 2015

探索用于提升集成强健性的模型学习异质性

通过形式分析和实证评估，本文展示了异构深度集成模型可以通过高集成多样性有效地利用模型学习的异质性以提高集成的鲁棒性。

Oct, 2023

神经网络集合中的多样性和泛化

本文研究了集成技术在机器学习中的广泛应用，特别是在神经网络中多样性的确切角色、如何衡量它以及它如何促进神经网络集成算法的研究。在三种常用的损失函数和两种常用的模型组合策略的基础上，通过神经网络集成进行了实证验证。

Oct, 2021

多样性感知的无偏锐度最小化集成方法

我们的工作调查了集成学习和损失尖锐度最小化相结合是否能增加泛化能力，并提出了 DASH 算法，该算法在深度集成中促进多样性和扁平性，理论和实证证据表明集成的可泛化性得到了改进。

Mar, 2024