ICMLJun, 2021

子网络结构是否是超出分布泛化的关键？

PDF
TL;DR本文研究了深度模型在无法识别的数据集上的偏见及其缓解策略，提出了一种名为 Modular Risk Minimization 的算法，通过学习子网络结构来提高模型对未知数据的泛化性能。
spurious correlationood generalizationdeep model structuresfunctional subnetworksmodular risk minimization
发现论文，激发创造
  • 学习可推广到分布外的模块化结构

    本文提出一种针对机器学习系统中的 O.O.D. generalization 挑战的方法，通过训练鼓励模型仅保留在多个训练领域中被很好地重用的网络特征，结合两种互补的神经元级约束器和网络上的可微分二进制蒙版，提取模块化子网络以达到更好的 O.O.D. 性能。初步评估在两个基准数据集上证实了我们方法的优势。

    Aug, 2022

  • 利用子空间技术和特征的概率建模进行样本外检测

    本文提出了一种基于降维增强深度神经网络（DNN）的离群检测方法：通过对高维特征进行线性与非线性降维，得到更真实的特征嵌入子空间，利用其计算分布学习和特征重构误差有效地检测不在分布内的样本，实验结果表明其效果优于一些已有方法。

    Dec, 2020

  • SFP: 针对虚假特征的剪枝用于跨分布泛化

    本文提出了一种新的模型剪枝框架 SFP，能够自动探索不变的子结构，以实现最佳的 OOD 泛化，并且还通过详细的理论分析提供了合理性保证和证明框架，揭示了高度偏差的数据分布如何影响模型的 OOD 泛化。

    May, 2023

  • SGOOD：子结构增强的图层级外分布检测

    SGOOD 是一种新颖的用于图层次异常检测的框架，通过显式利用亚结构学习强大的表示来实现超越现有方法的卓越性能。

    Oct, 2023

  • 基于最后卷积层输出的高维特征子空间投影的异常检测

    这篇论文集中在最后的卷积层输出的高维特征上，通过将这些高维特征投影到两个具体的特征子空间，借助网络的线性层的降维能力来识别产生在训练分布之外的数据，从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优，通过修改全连接层之前的批归一化和 ReLU 层，减小它们对输出特征分布的影响，扩大了 ID 和 OOD 数据特征之间的分布差距，并在多个基准数据集上进行了广泛实验，展示出最先进的性能。

    May, 2024

  • 数据子群体间机器学习表现非线性相关性

    研究机器学习模型在不同的数据分布下的性能表现，发现在子人群变化时，性能间的相关性呈现 “月形” 相关性，并且这种非线性相关性受到训练数据中虚假相关的影响，研究结果对机器学习的可靠性和公平性具有应用意义。

    May, 2023

  • 深度特征概率建模用于外样本和对抗性检测

    本文提出了一种基于深度神经网络的参数概率分布模型来检测分布外和对抗性样本的方法，并探讨了高精度建模特征分布所带来的实际增益。

    Sep, 2019

  • 规避简化偏差：训练多样化模型集发现具有更优越 OOC 普适性的解决方案

    研究发现神经网络训练过程中存在简单性偏差，该偏差导致其缺乏鲁棒性，但该问题可通过不同方式训练来缓解，其中包括使用梯度对齐的惩罚项进行训练，以及在独立的模型选择阶段解决信息不足问题，此方法在视觉识别上获得了最佳结果。

    May, 2021

  • 关于概率图像建模的场外泛化问题

    采用局部自回归模型提高了其对于 out-of-distribution 问题检测的性能，并且成功地构建了新的无损压缩算法 neural local lossless compressor (NeLLoC)，并且在压缩率和模型大小上达到了最佳性能。

    Sep, 2021

  • 梯度正则化的离群样本检测

    利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

    Apr, 2024