用于分类的大边际深度网络

Mar, 2018

Large Margin Deep Networks for Classification

Gamaleldin F. Elsayed, Dilip Krishnan, Hossein Mobahi, Kevin Regan, Samy Bengio

TL;DR本篇论文提出了一种新的损失函数，通过对深度神经网络中任意一组层（包括输入和隐藏层）的度量度量范数施加边缘来实现任意选择度量的边缘的深度网络。本文的损失具有较好的特性，适用于小训练集，分类和鲁棒性等任务，与现有数据扩增和正则化技术相辅相成。

Abstract

We present a formulation of deep learning that aims at producing a large margin classifier. The notion of margin, minimum distance to a decision boundary, has served as the foundation of several theoretically profound and empirically successful results for both classification and regre

deep learning large margin classifier neural networks loss function adversarial perturbations

发现论文，激发创造

通过全层间隔改进深度网络的样本复杂度和鲁棒分类

该论文提出了一种新的边界概念 -- 全层边界，用于深度学习模型的边界分析，从而获得更紧密的泛化边界，并给出了一种用于提高全层边界的理论指导的训练算法。

Oct, 2019

分类的大边缘判别损失

这篇论文介绍了一种在深度学习背景下具有较大边界的新型判别性损失函数，通过提高神经网络的判别能力，即类内紧凑性和类间可分性，来优化特征空间，同时通过数学分析关系、设计策略和研究泛化误差，提高模型的测试准确性。

May, 2024

使用边界分布预测深度网络中的泛化差距

该论文研究发现，交叉熵等损失函数不能很好地预测深度神经网络的泛化能力，作者提出了一种基于边缘分布的测量方法，它可以被应用在任何架构的前馈深度网络上，并指出这个方法可能会提示新的训练损失函数的设计来实现更好的泛化。

Sep, 2018

学习最大边界

本文提出采用最大化间隔损失的优化目标，定义类间隔与样本间隔，推导出广义的间隔 softmax 损失，并在此基础上设计出新工具，即样本间隔正则化、适用于类均衡情形的最大间隔 softmax 损失和适用于类不平衡情形的零中心正则化。实验结果表明，本文的方法对于视觉分类、样本不平衡分类、人员重新识别和人脸验证等任务具有很好的效果。

Jun, 2022

分类边界的分布：所有数据是否平等？

通过对深度神经网络上梯度下降算法的实证研究发现，通过训练集中带宽分布曲线的曲线下面积来量化模型的泛化性能是更精确的方法，并且在加入批量规范化和权重衰减的情况下得到的训练点会收敛到同一个渐近边界，但其高容量特征并不一致。

Jul, 2021

深度神经网络中基于边界的泛化预测

在这项研究中，我们分析了在不同环境下基于边界距离的泛化预测方法，并提出了一种融合基础数据流形的新的基于边界距离的度量，该度量在大多数情况下能更好地预测泛化。同时，我们对这种方法的实用性和局限性进行了分析，并发现这个度量与之前的工作的观点是吻合的。

May, 2024

输入边界也能预测泛化

基于输入边界的约束边界测量被证明在深度神经网络的泛化能力预测上具有很高的竞争力，这为泛化和分类边界之间的关系提供了新的见解，并强调了在深度神经网络的泛化研究中考虑数据流形的重要性。

Aug, 2023

深度神经网络的决策边界研究：实证研究

深度学习神经网络中决策边界的演变及其对抗训练的影响等领域的问题研究。

Feb, 2020

基于边缘的深度网络对抗式主动学习

本研究提出了一种新的主动学习策略，利用对抗性样本逼近决策边界来最小化训练过程中从神经网络的标注查询次数，实验证明这种方法加速了 MNIST、Shoe-Bag 和 Quick-Draw 数据集上的卷积神经网络收敛速度。

Feb, 2018

通过动态边距最大化和改进的 Lipschitz 正则化实现的认证鲁棒性

通过开发一个鲁棒的训练算法和有效计算神经网络的 Lipschitz 常数的方法，可以直接操控输入空间的决策边界，提高深度分类器对抗性扰动的鲁棒性。在 MNIST、CIFAR-10 和 Tiny-ImageNet 数据集上的实验证实了该算法的竞争性改进。

Sep, 2023