generalization errors | BriefGPT

关键词generalization errors

搜索结果 - 10

所有未见数据都不属于分布外吗？
在研究中，我们调查了训练数据的增加对测试数据中的泛化错误的影响，并将未观察到的数据分布定义为训练领域的凸包外的数据，提出了一种基于这一定义的新型泛化界限，并探索了数据增强和预训练等策略以解决这个问题，最后我们还提出了一种在源领域中的强化学习
PDF6 months ago
Wasserstein 空间上的逼近理论、计算与深度学习
在这项研究中，我们探讨了在概率空间上定义的 Sobolev 平滑函数的数值逼近的挑战性问题。我们采用三种基于机器学习的方法，通过求解有限个最优传输问题和计算相应的 Wasserstein 潜势，使用 Wasserstein Sobolev
PDF8 months ago
PAGER：深度回归模型故障分析框架
深度回归模型中失败检测的系统性分析框架 PAGER 能够通过利用先验不确定性和新颖的非一致性评分从不同风险范围划分样本，并提供模型错误的全面分析。在合成和真实基准测试中展示了 PAGER 的有效性，能够识别精确泛化的区域并检测超出分布和支持
PDF9 months ago
使用梯度和不变性转换检测不确定性、超出分布和对抗样本的 GIT
提出一种名为 GIT 的综合方法，通过使用梯度信息和不变性转换来检测泛化错误，并将被错误分类的样本转移到神经网络的泛化区域，实验结果显示 GIT 在各种网络架构、问题设置和扰动类型上表现出卓越的性能。
PDFa year ago
ICML信息瓶颈如何帮助深度学习？
本文提出了深度学习中信息瓶颈的学习理论模型，证明控制信息瓶颈是控制深度学习泛化误差的一种方式，并通过一系列实验展示了信息瓶颈程度与泛化误差的相关性。
PDFa year ago
深度神经网络的类干扰
本文针对深度神经网络存在的类干扰现象，提出了交叉类测试、类自我方向和干扰模型等定义方法，可以研究训练模型的最小平坦度和类干扰，并介绍了如何通过标签舞蹈模式和课堂舞蹈记录检测类干扰。
PDF2 years ago
深度学习的泛化界限
本研究提出了关于深度学习的泛化误差的准则，介绍了一种基于边际似然的 PAC-Bayesian Bound 方法来预测泛化误差，并进行了广泛实证分析以评估该方法的效果和特性。
PDF4 years ago
对抗训练与权重衰减
该研究旨在提升机器学习模型的稳健性，研究发现在包括未知扰动的情况下，权重衰减表现更佳，并结合对抗性训练实现较强的白盒攻击抵御能力。
PDF6 years ago
非正则化在线学习算法的收敛性
本文研究了无正则化的 RKHS 在线梯度下降算法的收敛性和收敛速率条件，探讨了平均迭代和最后一次迭代的过度泛化误差和收敛速率，首次提出了无强凸性的 online gradient descent 的高概率收敛速率。
PDF7 years ago
Bayes 和 MDL 在错误建模下的分类存在亚优越行为
本研究表明，常用于分类问题的贝叶斯和 MDL 推理形式可以是不一致的。这意味着存在一种学习问题，对于所有数据量，相对于贝叶斯后验概率，MDL 分类器和贝叶斯分类器的泛化误差都远离最小可达泛化误差。
PDF20 years ago