验证深度学习对于超出分布领域的泛化能力
确保自动驾驶的安全性是汽车行业的主要挑战,特别关注人工智能,尤其是深度神经网络作为高度自动化驾驶实现的关键技术;本研究提出了一个在线安全机制的概念验证,能够检测数据是否遗漏训练领域,并在 Synthia 数据集上实验,显示百分之百正确检测输入数据是否在领域内;检测车辆离开领域的能力可能成为认证的重要要求。
Oct, 2023
本文分析了三种 in - 和 out-of-distribution 数据的分离方法及其性能,包括超级监督的应用及其训练过程中的性能评估,研究表明理解训练结果与监督性能与提高模型强健性密切相关,为安全应用提供了论据,并应用于两个额外的数据集。
Apr, 2022
本研究探讨了基于域一般化的经验和认证鲁棒性之间的相互影响,并发现两种鲁棒性均适用于未知的数据域。同时我们也证明,在医学应用中,对抗性增强显著提高了鲁棒性的泛化能力,对数据准确性影响不大。
Sep, 2022
本篇论文提出了一种基于模型的域泛化方法,通过对数据生成过程和同变性条件的建模,将域泛化问题转化为一个无限维的有约束统计学习问题,并利用非凸对偶理论发展了有约束松弛的统计问题,提出了具有收敛保证的域泛化算法,并在 ColoredMNIST,Camelyon17-WILDS,FMoW-WILDS 和 PACS 等基准测试中取得了高达 30 个百分点的改进。
Feb, 2021
本文提出一种名为 Deep Verifier Networks 的崭新框架,使用基于条件变分自编码器的深度生成模型验证深度判别模型的输入和输出,在结构预测任务中的异常检测取得了最新的研究结果。
Nov, 2019
这篇论文是对近年来领域泛化(即在一个或多个不同但相关的领域中学习出可以推广到看不见的测试领域的模型)领域的最新进展的首次回顾,涵盖了相关的理论、算法、数据集、应用,并提出了未来的研究方向。
Mar, 2021
通过 DeepKnowledge 系统测试方法,可以评估 DNN 的可靠性和泛化能力,并通过提供测量信息和检查测试集的传输知识容量来改善 DNN 的稳健性。
Mar, 2024
深度神经网络在人工智能领域带来了革命性的进展,但面对分布转移时常常缺乏性能。传统神经网络假设训练和测试数据服从同一分布,然而实际应用中这一假设经常被违反。元学习作为一种有前景的方法,通过获取可传递的知识来快速适应各种任务,从而消除了从头学习每个任务的需求。本文基于特征提取策略和分类器学习方法的新分类法,全面调查了元学习在领域泛化方面的贡献,详细介绍了该领域的基础知识,并提供了关于未来研究方向的实践见解和深入讨论。
Apr, 2024
提出了一种生成可验证的神经网络(VNNs)的新框架,该框架通过后训练优化在保留预测性能和鲁棒性之间取得平衡,使得生成的网络在预测性能方面与原始网络相当,并且可以进行验证,以更加高效地建立 VNNs 的强大性。
Dec, 2023
本文提出了一种针对领域泛化问题的替代神经网络结构,该结构可以关注卷积神经网络的多个层次,利用可训练的注意机制来实现鲁棒的数据分类,同时在已有的四项领域通用基准测试中表现良好。
Apr, 2023