Mar, 2024

少数群体比例促进对泛化的影响：一层隐藏层神经网络在群体不平衡情况下的理论研究

PDF
TL;DR组不平衡在实证风险最小化（ERM）中是一个已知的问题，这篇论文通过高斯混合模型定量分析个体组对样本复杂度、收敛速度以及测试性能的影响，提供了 ERM 组级泛化的首个理论分析，并验证了理论结果在合成和实际数据集上的有效性。
发现论文，激发创造
  • 利用神经特征获得增强的组鲁棒性

    本文提出了一种基于 Gram 矩阵的特征提取模型对训练数据集进行分组的方法，通过伪分组采用鲁棒优化策略来提高模型的容错性能，在没有真实分组标签的情况下证明其在提高模型鲁棒性方面的优越性，并优于最近的所有基线模型。

    Aug, 2022

  • 对抗鲁棒广义化中隐性偏见的代价

    我们研究了鲁棒经验风险最小化（鲁棒 ERM）中的优化隐性偏差及其与鲁棒泛化的关系。在面对带有线性模型的对抗干扰的分类设置下，我们研究了应该为给定的扰动集合理想地应用什么类型的正则化来改善（鲁棒）泛化。然后，我们表明鲁棒 ERM 中的优化隐性偏差可以显著影响模型的鲁棒性，并确定了两种方式：通过优化算法或架构。我们通过合成数据的模拟验证了我们的预测，并实验性地研究了深度神经网络中优化隐性偏差在鲁棒 ERM 中的重要性。

    Jun, 2024

  • 深度网络中的泛化（IIIb 理论）

    该论文研究了深度神经网络中过拟合的问题，证明了使用特定的损失函数时神经网络的收敛性及性能，提出了一种实用的判断不同零最小化点泛化性能的方法。

    Jun, 2018

  • 基于重复损失最小化的公平性无需人口统计信息

    通过采用分布式鲁棒优化的方法，我们可以在不考虑特定群体身份的情况下控制少数群体的风险水平，从而避免了现有的经验风险最小化方法在时间推移中导致的表征偏差加剧。在一个真实的文本自动完成任务中，这种方法提高了少数群体用户的满意度。

    Jun, 2018

  • 无任何群组信息的群组鲁棒分类

    这项研究提出了一个修订的方法来在完全无偏见的情况下进行训练和验证无偏见模型，通过采用预训练的自监督模型可靠地提取偏见信息，并与我们的验证准则结合使用逻辑调整训练损失函数。我们的实证分析证明了我们的方法克服了所发现的挑战，始终提高了鲁棒准确性，达到与或优于依赖偏见标签进行验证的最先进方法的性能。

    Oct, 2023

  • 神经网络集合中的多样性和泛化

    本文研究了集成技术在机器学习中的广泛应用，特别是在神经网络中多样性的确切角色、如何衡量它以及它如何促进神经网络集成算法的研究。在三种常用的损失函数和两种常用的模型组合策略的基础上，通过神经网络集成进行了实证验证。

    Oct, 2021

  • 使用 Gibbs 算法表征和理解传递学习的泛化误差

    本研究对基于 Gibbs 的转移学习算法的泛化能力进行了信息论分析，结果表明转移学习的好处可以看作是源分布引起的偏差和目标样本不足引起的方差的权衡。

    Nov, 2021

  • 偏见放大提升少数群体表现

    基于引入可学习的辅助变量的 BAM 算法通过扩大偏差，训练模型并在重新加权数据集上继续训练，从而在计算机视觉和自然语言处理的虚假相关基准测试中取得了竞争性的性能，同时发现基于最小类别准确率差异的简单停止准则可以消除对群组注释的需求，或者在最差组准确率上几乎没有损失。

    Sep, 2023

  • 专注于共同利益：团体分布稳健性的追求

    本论文探讨的是使用组注释的数据进行分类模型训练的问题，提出了一个新的算法，旨在通过鼓励学习跨各种组共享的特征来提高少数族裔的性能。通过在标准基准测试中进行实证研究，证明了本文提出的算法在不同组别和少数族裔上的表现要好于 ERM 和 Group-DRO 等强基线。同时，论文也从理论上证明了所提出算法是一种下降方法，并且可以找到平稳点。

    Oct, 2021

  • 解开样本大小和初始效果对单神经元目标完美泛化的影响

    过参数化模型，如深度神经网络，具有通过较少的采样数据点恢复目标函数的有趣能力。本研究集中研究了单神经元目标恢复场景，并系统地考察了初始化和样本大小对双层神经网络性能的影响。我们的实验证明，更小的初始化尺度与改善泛化有关，并确定了一个关键数量，称为 “初始不平衡比”，它管理着小初始化下的训练动力和泛化能力，该结果得到理论证明的支持。此外，我们经验性地划分了两个关键的样本大小阈值，称为 “乐观样本大小” 和 “分离样本大小”，与已有理论框架相契合。我们的结果表明了模型恢复目标函数能力的一个转变：在乐观样本大小之下，恢复是不可行的；在乐观样本大小时，通过零测度初始化集合，恢复变得可行。当达到分离样本大小时，可以成功恢复目标函数的初始化集合从零测度转变为正测度。这些从简化的背景中得出的见解，为理解过参数化神经网络中完美泛化的复杂性提供了观点。

    May, 2024