BriefGPT.xyz
Ask
alpha
关键词
optimization properties
搜索结果 - 4
探索 Softmax 的前沿：可证明的优化、扩散模型应用与更多
通过理论研究两层 softmax 神经网络的优化和泛化性质，揭示了 softmax 函数的归一化效应对所引起的神经核矩阵的扰动性能具有利于构建良好的损失函数曲面凸区域，从而 softmax 神经网络可以在超参数多于样本数量的情况下学习目标函
→
PDF
2 months ago
ICLR
随机训练对于泛化不是必需的
本文通过比较全批量训练和 SGD 在现代结构下在 CIFAR-10 数据集上的表现，证明了 SGD 的隐式正则化可以完全被显式正则化替代，并指出全批量训练受限于优化性质和 ML 社区花费在小批量训练上的大量时间和精力。
PDF
3 years ago
深度多项式神经网络的表达能力
通过研究多项式激活的深度神经网络，我们提出了 “维度” 作为多项式神经网络表现力的度量标准，并探讨了它受体系结构影响的理论结果。同时，我们还将我们的研究与有利的优化性质联系起来，以及与张量和多项式分解等领域产生了有趣的关联。
PDF
5 years ago
ICML
草图岭回归：优化视角、统计视角和模型平均
本研究探讨了经典草稿和黑塞草稿用于解决矩阵 Ridge 回归问题的统计和优化影响，并发现模型平均可大大降低由于草稿造成的统计风险，从而迅速获得近乎最优的解决方案。
PDF
7 years ago
Prev
Next