在数据分布转移下自主系统的评估
从信息理论的角度,本文探讨了机器学习模型在实际应用中遭遇的数据偏移问题,比较了近期领域泛化与公正分类研究中一些最有前途的目标。根据我们的理论分析和实证评估,我们得出结论,模型选择过程需要根据观察到的数据、纠正因素和数据生成过程的结构进行认真考虑的指导。
Jun, 2021
人工智能应用越来越受到公众的关注,然而研究者在计算机视觉模型的理论假设与实际部署时面临一种被称为分布偏移的困境。本文讨论了识别这一突出差距的重要原因,探索了分布偏移的概念及其关键意义,并对数据中心领域用于解决这些问题的技术进行了深入概述。
Dec, 2023
通过应用基于最可能的类条件高斯分布的 Mahalanobis 距离作为 OOD 分数来评估拒绝语义分割 DNN 的输出,该研究发现即使在未知数据集上应用,也可以显著降低分类风险,但会以像素覆盖率为代价。这些发现的适用性将有助于合法化安全措施并推动其在汽车感知中的安全使用的论证。
Jan, 2024
通过基于生成世界模型的可配置学习流水线,在不需要低维状态的情况下解决了在线安全预测问题,并提供了统计校准的安全机会预测保证。通过对图像控制系统的两个案例研究(赛车和平衡杆)进行广泛评估。
Aug, 2023
本文针对系统域转移下的计算机视觉模型,提出了熵最小化和伪标记等自学习技术的应用,通过大量实验展示了显著的改进效果和实用性。同时,本文还提出了一个新的分类数据集 ImageNet-D,对于自适应算法来说具有一定的挑战性。
Apr, 2021
确保自动驾驶的安全性是汽车行业的主要挑战,特别关注人工智能,尤其是深度神经网络作为高度自动化驾驶实现的关键技术;本研究提出了一个在线安全机制的概念验证,能够检测数据是否遗漏训练领域,并在 Synthia 数据集上实验,显示百分之百正确检测输入数据是否在领域内;检测车辆离开领域的能力可能成为认证的重要要求。
Oct, 2023
监督的公平感知机器学习在面临数据分布从源领域到目标领域的变化时,是一个新兴的领域,解决了在实现公正和无偏预测方面的挑战。本综述提供各种类型的分布变化的总结,并全面调查了现有方法,重点介绍了文献中常用的六种方法。此外,本综述列出了可用于经验研究的公开数据集和评估指标。我们进一步探讨了与相关研究领域的相互连接,讨论了重大挑战,并确定了未来研究的潜在方向。
Feb, 2024
本文扩展了 Shifts 数据集,加入了两个来源于高风险工业应用的数据集,用于探索模型的鲁棒性和不确定性估计。新数据集包括 3D 磁共振脑图像中白质多发性硬化病变的分割和船舶功耗的估计,具有普遍分布转移和严格的安全要求。
Jun, 2022
基于神经网络的激活模式和操作数据的近似分布,我们提出了一种基于约束的方法,通过重塑初始测试集来重新评估神经网络的安全性能,以解决协变量转移对操作安全性能的影响问题。
Jul, 2023
本研究探讨计算机视觉模型对分布变化的脆弱性,并通过组合优化问题和标准搜索算法寻求这些模型容易受到哪些图像转换的影响。我们通过新的数据增强方法,根据模型容易受到影响的图像变换来训练更加强健模型。实证评估表明,所设计的算法对保持图像内容的操作和分布变化等可以相对更强健。
Mar, 2019