学习可推广到分布外的模块化结构
采用局部自回归模型提高了其对于 out-of-distribution 问题检测的性能,并且成功地构建了新的无损压缩算法 neural local lossless compressor (NeLLoC),并且在压缩率和模型大小上达到了最佳性能。
Sep, 2021
本文研究了深度模型在无法识别的数据集上的偏见及其缓解策略,提出了一种名为 Modular Risk Minimization 的算法,通过学习子网络结构来提高模型对未知数据的泛化性能。
Jun, 2021
本文第一次尝试对 OOD 问题的可学习性和扩张函数进行严格和量化的定义,并引入了一个新的扩张函数概念来量化不变特征的方差程度,进而证明了 OOD 泛化误差界,实验证明我们的模型选择标准相比基线有显著优势。
Jun, 2021
该研究论文系统而全面地讨论了 Out-of-Distribution generalization 问题,其中包括它的定义、方法论、评估以及对未来的启示和发展方向,以及包括无监督表示学习在内的现有方法。
Aug, 2021
本文提出了使用非欧氏线性外推的方法来实现图形 OOD 广义化,并在不破坏基本因果机制的情况下为特定转移定制 OOD 样本,理论分析和实证结果表明了我们的方法在解决目标转移问题上的有效性。
Jun, 2023
本文提出了一种基于野外混合数据的新颖框架,旨在改进在野外部署的机器学习模型的 OOD 检测能力,通过最大化 OOD 检测率并设定 ID 数据的分类误差和 ID 示例的 OOD 错误率的约束条件的学习目标,有效地解决了这个问题,并在常见的 OOD 检测任务中获得了优异的性能。
Feb, 2022
本文提出了针对 Out-of-Distribution 通用性的 NAS(NN 架构搜索)算法,通过数据生成器进行程度上相对稳健的搜索,并通过对不同神经架构计算出的损失最大化合成 Out-of-Distribution 数据来使神经架构与数据生成器在端到端方式下共同优化,实现了对于不同分布的稳健性和精度优化。在各种 Out-of-Distribution 通用性基准测试和行业实际数据集上均取得了良好的性能。
Sep, 2021
本文提出 POORE - POsthoc pseudo-Ood REgularization 框架,通过在内部数据中生成伪 OOD 数据进行 fine-tune,通过引入新的正则化损失来分离 IND 和 OOD 数据的嵌入,提高了 OOD 预测任务的准确度,相较现有方法在三个实际对话系统上获得了最新的技术进展。
Oct, 2022
通过对分布偏移数据的分类和对其相关算法的大量实验比较,对已有数据集和算法进行了分类整合,为未来的迁移学习和数据偏移研究提供了参考。
Jun, 2021
机器学习模型在非独立同分布的数据分布下表现出可疑的风险,因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究,将其划分为三个范式:非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征,并简要讨论了预训练模型的非独立同分布评价。最后,提出了未来研究的几个有前景的方向。
Mar, 2024