Oct, 2023
通过 NAS 实现更公平和更准确的表格模型
Fairer and More Accurate Tabular Models Through NAS
Richeek Das, Samuel Dooley
TL;DR通过算法使表格数据的模型更公平一直以来都得到了广泛研究，但是技术一直偏向于修复不理想结果的神经模型，改变数据导入方式、模型权重或输出处理方式。本研究采用不同的策略，考虑更新模型的架构和训练超参数，从而在去偏执过程的开始找到具有更好结果的全新模型。我们首次将多目标神经架构搜索（NAS）和超参数优化（HPO) 应用于表格数据的领域，对 MLP、ResNet 和 FT-Transformer 进行了广泛的架构和超参数空间探索，展示了模型预测的准确性和公平性指标在超参数组合上的依赖关系。我们发现，仅为了准确性而经过 NAS 优化的模型往往无法固有地解决公平性问题。我们提出了一种新颖的方法，通过同时优化架构和训练超参数，以准确性和公平性的多目标约束来解决问题。我们设计了能在公平性、准确性或两者方面优于目前最先进的偏执缓解方法的模型，并在单目标（准确性）优化运行过程中达到了帕累托最优。该研究强调了在深度学习模型中自动化公平性和准确性优化的潜力。