本文概述了现有理论和界限,以表征深度神经网络的泛化误差。
Aug, 2018
近年来,我们不断发展了大量用于医学图像分析的深度学习模型,但仍然存在诸多挑战,如模型泛化性能、性能下降原因和如何克服性能下降等。本研究回顾了基于深度学习的分类模型的泛化方法,并讨论了未来的挑战,包括改进评估协议和基准以及实现稳健、泛化的医学图像分类模型的未来发展。
Mar, 2024
该论文论述了深度学习虽然备受欢迎,但在商业分析领域普及存在困难,原因是计算复杂度、数据结构、缺乏透明度(黑匣子)和人才短缺等问题,而且在结构化数据集上无法优于传统的机器学习模型。因此,应该把深度学习视为现有机器学习模型的有力补充,而非通用解决方案。
May, 2022
本文采用实证方法针对机器翻译、语言建模、图像处理和语音识别等 4 个机器学习领域的数据,研究训练集大小、模型规模与推广误差之间的关系,结果表明推广误差遵循幂定律缩放,且模型改进只改变误差而不影响幂指数。此外,模型大小随数据规模的增大缩小,这些研究对于深度学习的研究、实践和系统设计具有重要意义。
Dec, 2017
本研究回顾了深度学习的鲁棒性问题,尤其是从近似理论到统计学习理论的关注和尝试,并回顾了贝叶斯深度学习作为不确定性量化和严格可解释性的一种手段。
Jul, 2023
深度学习中的泛化是一个重要的问题,并且通过复杂度衡量的新进展有望更好地理解深度学习的机制,更好地应用于对未知数据的泛化,并提高模型的可靠性和鲁棒性。
Dec, 2020
研究探讨了机器学习中的问题,特别是当模型在不同于训练数据的数据上进行测试时,模型很容易出现失败的现象,主要依靠发现数据的因果结构、找到可靠的特征并进行推广算法等方面展开探讨。
Mar, 2021
本文提供深度学习为何能够进行很好的泛化的理论洞察,同时探讨了为深度学习提供有效泛化保证的方法并提出了新的开放性问题与讨论了原有结果的限制。
Oct, 2017
本篇论文提出了一种基于模型的域泛化方法,通过对数据生成过程和同变性条件的建模,将域泛化问题转化为一个无限维的有约束统计学习问题,并利用非凸对偶理论发展了有约束松弛的统计问题,提出了具有收敛保证的域泛化算法,并在 ColoredMNIST,Camelyon17-WILDS,FMoW-WILDS 和 PACS 等基准测试中取得了高达 30 个百分点的改进。
Feb, 2021
这篇论文是对近年来领域泛化(即在一个或多个不同但相关的领域中学习出可以推广到看不见的测试领域的模型)领域的最新进展的首次回顾,涵盖了相关的理论、算法、数据集、应用,并提出了未来的研究方向。