Aug, 2022

离分布数据的价值

HTML
PDF
TL;DR在本研究中，我们发现了一个反直觉的现象：在涉及目标任务的样本数量增加之前，由于少量的来自未知分布数据的样本，可以提高任务的泛化性能，但随着样本数量的增加，泛化误差达到阈值后会逐渐下降；我们采用合成数据集上的Fisher's Linear Discriminant和计算机视觉基准数据集（如MNIST、CIFAR-10、CINIC-10、PACS和DomainNet）上的深度神经网络来证明这一现象；在我们知道哪些样本是未知分布的理想情况下，我们可以使用适当加权的目标和外部风险的目标函数来利用这些非单调趋势，但其实际效用有限，此外，当我们不知道哪些样本是未知分布时，数据增强、超参数优化和预训练等常用策略仍然无法保证目标泛化误差不会随着未知分布样本数量的增加而下降。
发现论文，激发创造
  • OoD-Bench: 量化和理解外分布泛化的两个维度

    通过对分布偏移数据的分类和对其相关算法的大量实验比较，对已有数据集和算法进行了分类整合，为未来的迁移学习和数据偏移研究提供了参考。

    Jun, 2021

  • 关于超出分布泛化的理论框架

    本文第一次尝试对OOD问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了OOD泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

    Jun, 2021

  • 面向外部分布泛化：一项调查

    该研究论文系统而全面地讨论了Out-of-Distribution generalization问题，其中包括它的定义、方法论、评估以及对未来的启示和发展方向，以及包括无监督表示学习在内的现有方法。

    Aug, 2021

  • 转移学习中的越界泛化测量

    本研究探讨了如何测量和改善模型的鲁棒性，并提供了五个包括准确性、校准误差、对抗攻击、环境不变性和综合污染的数据集对深度学习网络进行了分析与比较，发现鲁棒性的提升与具体数据集相关，且关系更为复杂。

    Jul, 2022

  • 探索特征学习在越界泛化中的作用

    通过理论研究发现，EMR本质上学习了误差特征和不变特征，并且在EMR预训练期间学习的特征质量显着影响了最终的OOD性能。为了解决这个问题，我们提出了特征增强训练（FAT），通过保留已经学习到的特征并增加新的特征来强制模型学习所有有用的特征，并在不同子集的训练数据上执行保留和增强操作。广泛的实验表明，当应用于各种目标时，FAT有效地学习更丰富的特征并持续改善OOD性能。

    Apr, 2023

  • 在不同程度的分布偏移下，鲁棒性可能比我们认为的更脆弱

    我们的研究探讨了分布偏移程度的更加微妙的评估设置，我们发现模型的稳健性在不同程度的分布偏移下可能相当脆弱和不一致，因此在从有限范围下的评估中得出结论时应更加谨慎。此外，我们观察到大规模预训练模型（如CLIP）对于新颖下游任务的微小分布偏移也很敏感。这表明，尽管预训练表示可以帮助提高内分布性能，但在某些OOD场景中可能对泛化性能产生最小甚至负面影响，如果不正确使用。鉴于这些发现，我们鼓励未来的研究在可能的情况下进行更广泛范围的评估。

    Oct, 2023

  • 所有未见数据都不属于分布外吗?

    在研究中，我们调查了训练数据的增加对测试数据中的泛化错误的影响，并将未观察到的数据分布定义为训练领域的凸包外的数据，提出了一种基于这一定义的新型泛化界限，并探索了数据增强和预训练等策略以解决这个问题，最后我们还提出了一种在源领域中的强化学习选择算法，能够比基线方法提供更好的性能。

    Dec, 2023

  • 关于外分布泛化评估的调研

    机器学习模型在非独立同分布的数据分布下表现出可疑的风险，因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究，将其划分为三个范式：非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征，并简要讨论了预训练模型的非独立同分布评价。最后，提出了未来研究的几个有前景的方向。

    Mar, 2024

  • 训练早期对于超出分布泛化的影响

    研究早期神经网络训练对神经网络在分布内任务上的性能有显著影响，但对于神经网络在分布外任务上的泛化性能的影响尚未得到充分研究。本研究使用渐进解冻（即逐渐解冻训练参数）的方法调查学习动态和神经网络训练早期的分布外泛化关系，发现渐进解冻对分布内结果影响微小，但对分布外数据的泛化性能有很大影响；通过实验验证了初始训练阶段的Fisher信息矩阵迹和锐度的相对值可能是判断分布外泛化性能的指标，同时这些指标可以用来在神经网络早期训练中去除干预，以实现更好的分布外泛化性能。

    Mar, 2024

  • 过参数化对于超出分布之外的普适性的益处

    研究了过参数化模型在Out-of-Distribution问题下的性能，发现模型容量的增加和模型集成有助于提高OOD推广能力。

    Mar, 2024