BriefGPT.xyz
Ask
alpha
关键词
flatter minima
搜索结果 - 4
无偏锐度感知最小化
在这项工作中，我们探索了锐度感知极小化（SAM）和模型不可知元学习（MAML）之间的联系，特别是在增强模型泛化方面。我们引入了一种新方法 Agnostic-SAM，它结合了 SAM 和 MAML 的原则。Agnostic-SAM 通过优化模
→
PDF
25 days ago
锐度感知的图协同过滤
图神经网络在协同过滤中取得了令人印象深刻的性能，然而，当训练数据和测试数据的分布不足够一致时，图神经网络的性能会较差。由于训练图神经网络需要优化充满局部和全局极值的非凸神经网络，这些极值在测试时可能性能差异很大，因此选择极值非常重要。因此，
→
PDF
a year ago
CVPR
泛化问题的重要性：通过参数混合实现最小化损失平稳以实现高效在线知识蒸馏
本篇论文提出了一种在线知识蒸馏方法，采用多模型设置和参数混合的方式来提高学生的泛化性能，该方法可以达到更平坦的最小值并获得稳健的解决方案。
PDF
a year ago
BN 不变量锐化正则化训练模型以获得更好的泛化能力
本文提出了一种与 BN 层等价的神经网络下具有一致性的、刻画了梯度的度量标准和对应的优化算法，该算法利用该标准对训练进行正则化，获得了与原始 SGD 相比较显著的性能提升。
PDF
3 years ago
Prev
Next