generalization gap | BriefGPT

关键词generalization gap

搜索结果 - 45

探索图神经网络的泛化理解
研究了图神经网络在泛化上的机制，建立了高概率边界和其对泛化差距和梯度的影响，得出结论和实验证据相符的新认识。
PDFa year ago
ERNIE 3.0 Tiny: 简单而让人沮丧的方法提高任务无关的蒸馏泛化能力
提出了一种利用多任务学习的方法来缩小大型预训练语言模型和小型模型之间的泛化差距，使其能够在任务无关的场景下实现直接微调，并且表现相当。实验证明，这种方法产生了一个具有更好泛化性能的学生，显著优于现有基线方法，在任务无关蒸馏方面，该方法在相应
PDF2 years ago
WSDM极弱监督下的小样本节点分类
该研究针对极度缺乏标记节点的 few-shot node classification 问题，提出了一个基于元学习框架的 X-FNC 模型，使用伪标记节点和元知识积累解决了极度弱监督信息下的分类问题。
PDF2 years ago
ICML标定泛化差距
通过将校准误差分解为训练集的校准误差和校准泛化间隙，我们理论证明了深度神经网络在训练集上通常是校准的，校准泛化间隙受到标准泛化间隙的限制，因此具有小的泛化间隙的模型是校准的。
PDF2 years ago
基于显著性引导的 Q - 网络在视觉强化学习中的泛化
本研究通过引入基于显著性的 Q 网络（SGQN），提出了一种通用的视觉强化学习方法，该方法对 Deepmind 的控制泛化基准进行了改进，从而在训练效率、泛化差距和策略可解释性等方面创造了新纪录。
PDF2 years ago
CVPRAug-NeRF：利用三级基于物理学的扩展训练更强大的神经辐射场
本研究提出了一种名为 Aug-NeRF 的增强型神经辐射场模型，它利用鲁棒的数据增强技术来加强 NeRF 的训练，从而提高其在新视角合成和几何重建方面的表现，并且可以从严重受损的图像中恢复场景。
PDF2 years ago
ECCV神经形态学数据增强用于脉冲神经网络训练
提出了一种 Neuromorphic Data Augmentation（NDA）方法，通过简单的几何变换，对基于事件的数据集进行数据增强，从而显著稳定 Spiking Neural Networks（SNNs）的训练，同时减少训练与测试性
PDF2 years ago
ICML贝叶斯学习中最小过剩风险的速率失真分析
本文基于 (Xu＆Raginsky，2020) 近期的研究结果对贝叶斯学习中的最小过剩风险进行分析和推导其信息理论界限，并展示了它如何被两个更易于研究的率失真函数上下界限制所限制，最后论证这些边界的差异提供了关于 MER 的秩序紧密的率。
PDF3 years ago
通过偏差 - 方差分解了解对抗训练的泛化
通过偏差方差分解研究对抗性训练扰动半径对模型测试误差的影响，发现模型的偏差随扰动半径增加单调增加，方差则在训练集插值阈值附近单峰；同时，偏差和方差可用于指导缩小泛化间隔的方法，即预训练和使用无标签数据。
PDF3 years ago
ICMLASAM：适应性锐度感知极小化方法用于深度神经网络的尺度不变学习
本论文提出了自适应锐度的概念和相应的泛化界限，并提出了利用该泛化界限的新型学习方法 ASAM。在各种基准数据集上的实验证明，ASAM 显著提高了模型的泛化性能。
PDF3 years ago
ICCV低曲率激活减少对抗训练中的过拟合
本文研究在对抗训练中如何选择合适的激活函数，发现使用具有低曲率值的激活函数可以有效减小一般化误差，包括标准误差和稳健误差，并且这种现象适用于可微的平滑激活函数和不可微的非平滑激活函数。此外，对于具有低曲率的激活函数，没有出现模型的双下降现象
PDF3 years ago
基于 Jensen-Shannon 散度的转移泛化差信息论界限
本文介绍了一种基于信息理论的上限，以测量源和目标数据分布之间的差异，并将模型对每一个数据集样本的敏感性考虑在内。同时，对于加权风险最小化问题，提出了一种新的平均传输超额风险的上限。
PDF4 years ago
深度学习中随机梯度下降泛化优于 ADAM 方法的理论解释
该研究旨在通过分析局部收敛行为来解释为什么类似 ADAM 的适应性梯度算法的泛化性能比 SGD 差，尤其是它们在梯度噪声方面存在重尾现象；研究结果表明，SGD 相比于 ADAM 能更好地从局部最小值中逃脱，并且在平缓的最小值处表现更好。实验
PDF4 years ago
AAAIPatchUp：一种卷积神经网络特征空间块级正则化技术
提出了 PatchUp 技术，它是一种卷积神经网络的隐藏状态块级正则化技术，用于改善深度学习模型在训练集上的泛化能力，尤其是针对其他同类方法可能存在的流形干扰问题，并通过实验表明其效果可以超过或等于当前卷积神经网络正则化的最新成果。
PDF4 years ago
分类模型中的成员推断攻击和防御
本研究通过系统分类现有的成员推理攻击，并对其进行广泛的实验评估，发现模型对成员推理攻击的易受攻击性与泛化差距紧密相关。提出了新的集合规则化器来减少泛化差距，并将其与 mix-up 训练方法的结合应用进行了实验，在最小程度上影响测试准确性的同
PDF4 years ago
CVPRUNAS: 可微分结构搜索遇上强化学习
UNAS 是一个统一的框架，将最新的 DNAS 和 RL 方法封装在一个框架中，在维持较低的搜索成本的同时，能够在一个统一的框架中搜索具有可微和不可微标准的架构。通过 CIFAR-10、CIFAR-100 和 ImageNet 数据集的广泛
PDF5 years ago
ICML面向任务和架构独立的泛化差预测器
训练 13,500 个不同结构，不同变体的螺旋数据集和使用不同优化参数，我们使用这个数据集训练任务独立和架构独立的神经网络广义间隙预测器。结果表明，使用 DNN 和 RNN 可以优于线性模型，并取得了 $R^2=0.965$ 和 $R^2=
PDF5 years ago
ICLRICLR 复现挑战：Padam：在培训深度神经网络中缩小自适应梯度方法的泛化差距
本次研究是 ICLR Reproducibility Challenge 2019 的一部分，旨在重现文章 PADAM: Closing The Generalization Gap of Adaptive Gradient Methods
PDF5 years ago
CVPR基于 Kronecker-Factored 近似曲率的大规模分布式二阶优化在深度卷积神经网络中的应用
本文提出了使用次优化方法的替代方法，以解决深度神经网络的大规模分布式训练中可能出现的泛化差距问题，同时在基准测试中，我们的方法能够在更短的迭代次数内，就实现与一阶方法相当的泛化能力，并能够处理更大的 mini-batch。
PDF6 years ago
深度神经网络中的隐式自正则化：来自随机矩阵理论的证据和对学习的影响
利用随机矩阵理论分析深度神经网络的权重矩阵，并得出神经网络的训练过程本身隐式实现了自我正则化的结论，通过改变批次大小和利用泛化间隙现象，证明了大批次训练导致模型隐含正则化不佳并解释了泛化间隙现象。
PDF6 years ago