通用多模态 OOD 检测框架
通过引入多模态 OOD(Out-of-Distribution)检测基准 MultiOOD,本研究评估了现有的单模态 OOD 检测算法,并提出了 Agree-to-Disagree(A2D)算法和 NP-Mix 异常值合成方法,通过利用多模态信息和探索更广泛的特征空间,显著提升了现有 OOD 检测算法的性能。
May, 2024
使用 SupCon 训练从训练分布中识别外分布样本是机器学习模型安全部署中的重要问题。我们在这项工作中运用强大的 SupCon 学习表征,并提出了一种全面的方法来学习对 OOD 数据稳健的分类器。我们通过增加两个对比项来扩展 SupCon 损失,第一个项将辅助 OOD 表征与 ID 表征分开,而不对辅助数据的相似性产生任何约束。第二个项将 OOD 特征远离现有类原型,并将 ID 表征推近其对应的类原型。当辅助 OOD 数据不可用时,我们提出了特征混合技术来高效生成伪 OOD 特征。我们的解决方案简单高效,作为闭集监督对比表征学习的自然扩展。我们在常见基准测试中与不同的 OOD 检测方法进行了比较,并展示了最先进的结果。
Oct, 2023
提出了一种名为 ODPC 的新方法,通过大型语言模型设计生成特定提示词来产生具有 ID 语义的 OOD 对等类,以便于检测,并采用基于 OOD 对等类的对比损失来学习紧凑的 ID 类别表示,并改善不同类别之间的界限清晰度。在五个基准数据集上进行的广泛实验表明,该方法可以得到最先进的结果。
Mar, 2024
本文旨在识别常见的目标,以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似,二进制区分器达到与异常暴露相似的 OOD 检测性能,还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数,从实践中发现,这些方法训练方式一致时都表现相似。
Jun, 2022
本文提出了一个更广泛的框架来研究模型针对特定因素(如未知类别、协变量变化等) 检测 out-of-distribution(OOD)问题,该框架能够检测出一个训练好的机器学习模型无法正确预测的测试样例,而是否拒绝该测试样例取决于模型本身,该文提供了大量分析和见解,用以改进和理解在不受控制的环境中的 OOD 检测。
Apr, 2023
应用世界知识通过选择性生成大型语言模型并利用一致性基准不确定性校正方法来提高过分布检测性能,通过从每个图像提取视觉对象充分利用前述世界知识,充分实验证明本方法始终优于现有技术。
Oct, 2023
本文提出了一种基于野外混合数据的新颖框架,旨在改进在野外部署的机器学习模型的 OOD 检测能力,通过最大化 OOD 检测率并设定 ID 数据的分类误差和 ID 示例的 OOD 错误率的约束条件的学习目标,有效地解决了这个问题,并在常见的 OOD 检测任务中获得了优异的性能。
Feb, 2022
我们提出了一种新颖且更现实的设置,称为连续自适应离群分布检测(CAOOD),旨在开发一种能够适应动态和迅速适应新到达分布的离群分布检测模型,并且在部署期间具有不足的 ID 样本。通过设计学习和适应图表,我们开发了元离群学习(MOL),在训练过程中学习到了一个良好初始化的离群分布检测模型。在测试过程中,MOL 通过少量适应快速调整到新的分布,从而确保在不断变化的分布上具有离群分布检测性能。对几个离群分布基准测试的广泛实验证明了我们方法在保持 ID 分类准确性和离群分布检测性能方面的有效性。
Sep, 2023
本文提出了一个名为 OpenOOD 的统一的、结构化的代码库,该库实现了超过 30 种 ODD 检测方法,并在最近提出的一般化 OOD 检测框架下提供了全面的基准。作者通过对这些方法的全面比较发现,过去几年中,该领域取得了显著进展,其中预处理方法和正交后处理方法显示出很强的潜力。
Oct, 2022
机器学习中,识别推理数据是否超出模型的预期输入分布对于给出预测的上下文至关重要。我们的研究针对基于表示或基于逻辑方法的超出分布检测方法,并提出了用于特征嵌入降维的表示方法和解决了一个问题的基于逻辑方法。我们在 OpenOODv1.5 基准框架上验证了我们方法的有效性,结果显示性能显著提升,并达到了最新的技术水平。
Jan, 2024