margin maximization | BriefGPT

关键词margin maximization

搜索结果 - 7

神经网络中的傅里叶电路：在数学推理和模块算术中释放大型语言模型的潜力
在机器学习领域中，研究神经网络和 Transformer 所采用的内部表示是一项重要挑战。本研究通过探索网络采用特定计算策略背后的原因，深入分析了样式化的单隐藏层神经网络和单层 Transformer 在解决模块化加法任务时学到的特征，并通
PDF5 months ago
通过边缘最大化实现特征的出现：代数任务中的案例研究
理解神经网络学习到的内部表示是机器学习科学中的一个基石挑战。本文探讨了一个互补问题，即为什么网络会采用特定的计算策略，通过代数学习任务对用于这些任务的网络学到的特征进行了理论分析，证明了训练网络利用傅立叶特征进行模块化加法，以及使用与不可约
PDF8 months ago
ICML同质神经网络适应性优化算法的隐含偏差
研究表明采用指数移动平均策略的自适应算法如 Adam 和 RMSProp 可以最大化神经网络的边界，而直接在条件器中加历史平方梯度的 AdaGrad 却不行。
PDF4 years ago
深度学习中的方向收敛和对齐
本文证明了通过梯度流学习方法得到的深层同质网络权重会趋向于收敛，并阐述了相应的研究内容，包括但不限于梯度流、分类损失、边缘最大化、显著图等方面。
PDF4 years ago
通过原始 - 对偶分析表征隐式偏差
本文证明了对于线性可分数据，梯度下降的隐式偏差可以通过最优解的双重优化问题完全描述，从而实现了对一般损失的训练。此外，使用 L2 最大间隔方向的恒定步长可以获得 O (ln (n)/ln (t)) 的收敛速率，而使用适当选择的主动步长时间表
PDF5 years ago
ICML同质和非同质深度模型中的词典和深度敏感边距
研究深度学习中的复杂度控制，通过研究无穷小正则化或梯度下降优化如何在同质和非同质模型中导致边际最大化解决方案，扩展以前关注同质模型中的无穷小正则化的研究。
PDF5 years ago
ICLRMMA 训练：通过对抗训练直接输入空间边际最大化
该研究从最大化边界的角度研究了神经网络的对抗鲁棒性，并提出了 Max-Margin Adversarial（MMA）训练方法，以直接最大化边界来实现对抗鲁棒性，通过该方法在 MNIST 和 CIFAR10 数据集中实现了 robust 性
PDF6 years ago