- 一种新颖的可解释的脉冲神经网络溯源检测方法
本文提出了一种新型的 OoD 检测器,采用脉冲数模式来表征神经网络中隐藏层的内部激活,以检测输入实例是否属于训练数据的分布,其性能与相关方案相比具有竞争力,并且能够生成符合预期的相关性说明图。
- 在设备上的领域泛化
该研究对小型神经网络的领域泛化进行了系统的研究,发现知识蒸馏是处理在设备上领域泛化问题的一个更好的技术,并提出了一种称为 OKD 的方法来进一步改进 DG 在图像和语音应用领域中的性能。
- 深度无监督域自适应:近期进展和展望综述
深度学习在许多领域都展现出其超凡表现,但仅仅依靠大量标记数据来训练模型并不能保证其在面临目标域的分布变化时仍有出色的表现,无监督域自适应通过利用源领域标记数据和目标领域未标记数据来解决该问题,并已在自然图像处理、自然语言处理等领域取得了许多 - ECCV深度集成多样性用于外部分布检测的可用性
深度学习中用深度集成方法提升神经网络的鲁棒性能,在大规模图片数据集中使用互信息指标 (OOD)的检测效果比单一模型的熵指标要劣 30-40%,使用集成多个分类器的检测得分对 Deep Ensemble OOD 检测性能有着更好的提升表现 。
- ICLR通过有条件的不变正则化器打破相关性偏移
本文提出了一种基于条件独立的度量标准 Conditional Spurious Variation (CSV),用于控制基于测试数据及其与类标签的相关性来测量模型的一般性并结合该度量标准来通过规范化训练过程来提高模型的一般化性能,增强模型对 - 切割 - 瓦瑟斯坦标准化流:超越最大似然训练
提出了一种基于 MLE 和 sliced-Wasserstein 距离的混合目标函数培训规范化流模型的方法,此方法在合成玩具示例和实际图像数据集上取得了更好的生成能力,通过该方法得到的规范化流模型具有更高的数据保真度,可更好地检测出分布之外 - ICML使用互信息监控快捷学习
研究深度神经网络在超出分布数据的泛化失败问题,提出使用互信息作为度量标准,监测快捷学习现象。
- ICMLOpen-Sampling:探索越界数据以重新平衡长尾数据集
该论文提出了一种基于开集样本和贝叶斯理论的数据重平衡方法,命名为 Open-sampling,它可以提高神经网络的性能和学习可分离的表示,并且在实验中优于现有的数据重平衡方法和最先进的方法。
- ICLRPareto 不变风险最小化:走向解决优化难题及其在超出分布泛化中的应用
该论文介绍了一种名为 PAIR 的多目标优化方案来改善针对 Out-of-Distribution 数据的机器学习模型的鲁棒性。该方案通过优化其他 OOD 目标来改进 OOD 目标的鲁棒性,并通过达到 Pareto 最优解来平衡 ERM 和 - 发现缺失的不变原则 —— 不变风险最小化的互逆孪生
在机器学习中,我们常常希望训练的预测模型可以尽量地具有一致性,以在不同基础上具有良好的预测效果。然而过去的一些技术在解决该问题时会存在局限性。近期,一些学者新提出了一种基于一致性原则的新技术,即 MRI-v1,该技术在多种不同场景下表现良好 - ACL关于在来自非分布数据流中对模型进行持续细化
该研究提出了一种新的持续学习问题形式 —— 持续模型优化,以更好地适用于动态的离散数据流,并进行了相关的评估和分析,以提高生产部署的自然语言处理模型的长期性能。
- CVPR利用超出分布数据进行弱监督语义分割
本研究提出了一种基于 Out-of-Distribution 数据的方法 W-OoD,通过发掘分类器的假阳性预测及其背景特征,以识别前景与背景,进而提高弱监督语义分割的性能,并在 Pascal VOC 2012 上实现了最佳表现。
- 使用投影范数预测分布外误差
提出一种名为 “Projection Norm” 的度量标准来预测模型在无标签真实标签的情况下对 ODD 数据的性能,这种方法使用伪标签来训练新的模型并与所谓的 输入数据分布模型进行比较以进行预测。该方法在图像和文本分类任务以及不同网络架构 - 基于梯度的自监督二分类增强新颖性检测
本文提出了一种基于自监督的新颖性检测方法,通过计算入内分布数据(in-distribution)和待检测的外部分布数据(OOD)之间的梯度马氏距离,并借助自监督二元分类器协助选择标签以优化梯度的方法,将其应用于数据监控、行为分析和其他应用, - CVPR面向域泛化的基于原则的解缠方法
提出了一种名为 DDG 的方法,利用基于约束的优化形式来处理机器学习模型的泛化问题,并以有限维参数化和经验逼近的方式对其进行简化,同时提出了一种基于原始对偶算法来实现表示分离和域泛化的方法。DDG 方法可以学习到语义概念的内在表示,使其对干 - 通过敏感性分解的几何角度对神经校准进行定位
本文提出了一种几何方法,通过几何敏感分解(GSD)和分类器的角相似性,将一个样本特征嵌入的模和相似性分解为实例相关和实例无关组件,并在几种常见视觉模型上证明了该方法的有效性。
- ICML深度学习压缩中的迁移能力鲁棒性
本文介绍了两种增强深度神经网络压缩系统鲁棒性的方法,采用分布鲁棒优化和结构化潜在代码进行训练,取得较传统深度神经网络压缩器更优的效果。
- 基于次模信息度量的现实场景主动学习
提出了 SIMILAR (Submodular Information Measures based actIve LeARning)—— 利用最近提出的子模信息度量 (SIM) 作为获取函数的统一主动学习框架,既能在标准主动学习中工作,也 - 可证明鲁棒性的无需付出昂贵代价的异常检测
研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现,深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器,并提供所有实验代码。
- ACL通过交替对抗学习降低新闻摘要中的主导偏见
该研究提出了一种新的技术来减少新闻文章中的领导偏见,使自动文摘模型更加关注内容语义。实验表明此方法可以有效地减少模型学习到的领导偏见,在分布不均匀的数据上具有更好的泛化性能,而在分布均匀的数据上效果无损。