重要性调节：过参数模型的群体鲁棒性

Sep, 2022

重要性调节：过参数模型的群体鲁棒性

Importance Tempering: Group Robustness for Overparameterized Models

Yiping Lu, Wenlong Ji, Zachary Izzo, Lexing Ying

TL;DR本文探讨了过度参数化模型的精度问题，提出了一种名为 “importance tempering” 的方法来解决分布偏移问题，并在实验中取得了最佳状态分类任务的最佳结果。

Abstract

Although overparameterized models have shown their success on many machine learning tasks, the accuracy could drop on the testing distribution that is different from the training one. This accuracy drop still limits applying machine learning in the wild. At the same time, importance we

overparameterized models importance tempering label shift spurious correlation imbalanced classification

发现论文，激发创造

重要性加权是否与插值分类器不兼容？

通过理论证明和神经网络实验，我们发现针对过参数化神经网络，经典的重要性加权技术在指数形式的损失函数下失效，但在多项式形式的损失函数下可恢复，最终提出的经过加权的多项式损失函数在修正分布偏移方面的性能要优于通常的加权交叉熵损失函数，并能取得超过目前业界最优方法的测试精度。

Dec, 2021

超参数化领域中 “重要性加权” 估计器的离群错误的尖锐分析

我们研究了一个过参数化的高斯混合模型，结合了 “重要性权重”，对一个插值解的内分布和外分布的测试误差进行了严格的分析，发现了最坏情况下分布偏移鲁棒性和平均准确度之间的新的权衡关系。

May, 2024

利用神经特征获得增强的组鲁棒性

本文提出了一种基于 Gram 矩阵的特征提取模型对训练数据集进行分组的方法，通过伪分组采用鲁棒优化策略来提高模型的容错性能，在没有真实分组标签的情况下证明其在提高模型鲁棒性方面的优越性，并优于最近的所有基线模型。

Aug, 2022

深度学习中重要性加权的作用理解

通过对深度学习模型中重要性加权的研究，本文提供了正式的表征和理论证明，并揭示了在深度学习模型下的优化动态和泛化性能，扩展到了许多活跃研究领域。

Mar, 2021

超参数化为什么会加剧虚假相关性的调查

研究超参数化为什么会增加模型大小，尽管数据中存在虚假相关性，具有各种数量的少数族裔，理论上证明模型的归纳偏差会导致过度参数化的问题，并提出子抽样是有效的解决方案。

May, 2020

用 Softmax 温化技术训练神经机器翻译模型

本研究探讨了采用 softmax tempering 技术来训练神经机器翻译模型，在亚洲语言 Treebank 数据集和 WMT 2019 英德翻译任务中实验证明该技术显著提高翻译质量，同时使贪心搜索与 Beam Search 解码同为一体，从而实现高速翻译。此外，我们还分析了 softmax entropy 和梯度对 NMT 模型内部行为的影响。

Sep, 2020

只需要训练两次：在没有训练组信息的情况下提高团体鲁棒性

本文提出了 JTT 这样一个简单的两阶段方法，利用加重权重的方式提高标准 ERM 模型对于性能低下群组的准确性，从而填补了标准 ERM 模型与 group DRO 之间最差群组准确性差距的 75％，并且只需要在小型验证集上标注群体注释以调整超参数。

Jul, 2021

深度学习中重要性加权的效果是什么？

本文探讨了稳健的重要性加权学习算法在深度神经网络中的影响，并发现对神经网络的影响在训练早期更加明显，但随着训练的继续，这种影响逐渐减弱，L2 正则化和批量归一化可以部分恢复重要性加权的影响，但表达方式并不正确。

Dec, 2018

面向群体转移的分布式鲁棒神经网络：正则化对最坏情况泛化的重要性

本研究发现，对过度参数化的神经网络直接应用分组分布式稳健优化（DRO）不起作用；相反，需要使用强化正则化或提前停止来提高最坏组的准确性，这表明对于过度参数化的情况下的 “最坏组” 泛化，正则化是必不可少的。

Nov, 2019

IW-GAE：用于提高非监督领域自适应中校准和模型选择的重要性加权分组准确性估计

本文提出了一种新颖的权重分组准确度估计方法，以解决由于分布变化导致的模型校准和模型选择困难，实验证明了分组准确度估计在提高模型校准和模型选择上的有效性，强调了在无监督领域适应中解决挑战的重要性。

Oct, 2023