通过理论研究发现，EMR 本质上学习了误差特征和不变特征，并且在 EMR 预训练期间学习的特征质量显着影响了最终的 OOD 性能。为了解决这个问题，我们提出了特征增强训练（FAT），通过保留已经学习到的特征并增加新的特征来强制模型学习所有有用的特征，并在不同子集的训练数据上执行保留和增强操作。广泛的实验表明，当应用于各种目标时，FAT 有效地学习更丰富的特征并持续改善 OOD 性能。

Apr, 2023

本研究探讨了深度学习中中间层所提取的深层特征，并证明了这些特征的性能可能不佳，因为它们是通过最小化经验风险来学习的。针对当前任务与基准数据集的数据分布不同的情况，本研究提出了一种层次稳健优化方法来学习更通用的特征。该方法同时考虑了 example-level 与 concept-level 稳健性，并将问题公式化为带有 Wasserstein 模糊集约束的分布稳健优化问题。本文提出了一种高效的算法，并在标杆数据集上进行了实验，证明了稳健特征的有效性。

Nov, 2019

本文提出了一种新的模型剪枝框架 SFP，能够自动探索不变的子结构，以实现最佳的 OOD 泛化，并且还通过详细的理论分析提供了合理性保证和证明框架，揭示了高度偏差的数据分布如何影响模型的 OOD 泛化。

May, 2023

通过理论分析和实证研究，我们发现在处理超越分布数据的机器学习任务中，利用多样的偶然特征进行加权模型集成可以显著提高整体的超越分布泛化性能，而不同于传统观点所认为的学习不变特征的方法。此外，我们提出了一种名为 BAlaNced averaGing (BANG) 的方法，可以有效修复原有方法 WiSE-FT 在超越分布情况下的过度自信问题，进一步提升其超越分布性能。

Sep, 2023

通过评估使用权重调整、强正则化和组鲁棒性训练等方法训练的模型，重训练模型的方法在多个视觉和 NLP 问题中表现出与其他方法相似的结果，表明无需过度正则化即可学习高质量的特征表示。

Oct, 2022

这篇论文介绍了一种针对决策树模型的 OutOf-Distribution（OOD）泛化的新颖有效解决方案，名为不变决策树（IDT）。IDT 通过在树的生长过程中对于不同环境下分割的不稳定 / 变化行为施加惩罚项来实现 OOD 泛化。通过理论结果和合成以及真实数据集的数值测试，证实了所提出的方法的优越性能，表明决策树模型的 OOD 泛化是绝对必要且应该更加关注。

Dec, 2023

使用贝叶斯随机语义数据增强的方法来增加特征的支持重叠，提高域泛化性能，克服了不变风险最小化方法的不足，在多个具有挑战性的泛化基准测试中表现出了优越的性能和稳定性。

Jul, 2024

该研究提出一种新颖的随机森林算法，通过贪心极小最大代价加权不纯度分割，使得生成具有低成本和高强度的树，来实现在特征收购预算下，如何在保证高准确性的同时降低预测时间成本。理论分析表明算法的收购成本接近最优，实验结果在多个基准数据集上优于基准算法。

Feb, 2015

本文介绍了一种新颖的算法选择技术，其中借助循环神经网络在在线装箱问题中预测打包启发式，表现优于传统机器学习方法，并提出了这种算法的表现好处需要数据具备一定隐式结构的假设。

Mar, 2022

本文介绍了一种松散稠密连接策略和采用 m 向树结构的可感受野链路网络 (RFC-Net)，用于学习高分辨率全局特征。实验证明 RFC-Net 在 Kvasir 和 CVC-ClinicDB 基准测试中对息肉分割取得了最先进的性能。

Feb, 2023