Sep, 2023

基于铰链损失训练的深度学习二元分类器的基本限制

PDF
TL;DR通过暴露使用铰链损失训练的基于深度修正线性单元（ReLU）前馈神经网络（FNN）或深度 ReLU 和 Tanh 激活的 FNN 的二元分类器的基本测试性能限制，本文导出了它们各自的新颖渐近测试性能限制，并通过大量的计算机实验验证了这些导出的测试性能限制。
deep learningempirical successesunified theorybinary classifiersasymptotic testing performance limits
发现论文，激发创造
  • 深度神经网络分类的快速收敛速率

    本文研究使用 hinge loss 训练的 ReLU 激活函数的深度神经网络分类器的快速收敛速率，并通过数值研究比较了 hinge loss 和交叉熵作为损失函数时的效果。

    Dec, 2018

  • 深度神经网络及对数损失的分类

    使用逻辑损失训练的深度神经网络（DNN）在各种二元分类任务中取得了令人印象深刻的进展，然而，关于 DNN 和逻辑损失的二元分类的泛化分析仍然很少。本文旨在通过建立一种新颖而优雅的 oracle-type 不等式，并利用它推导全连接的 ReLU DNN 分类器在逻辑损失下的尖锐收敛速率，以填补这一空白。此结果解释了为什么 DNN 分类器在实际高维分类问题中表现良好。

    Jul, 2023

  • 神经网络二元分类的损失曲面理解

    针对单层神经网络的拟合损失函数，研究神经网络算法中局部极小值的性质，提出当神经元是严格凸函数并且代理损失函数是铰链损失函数的平滑版本时，在所有局部极小值处训练误差为零的条件。同时，通过反例表明当损失函数替换为二次损失或逻辑损失时，该结论可能不成立。

    Feb, 2018

  • 深度神经网络的学习动态

    研究深度神经网络的学习动态，主要关注于二元分类问题。我们证明了网络学习的各种性质，并且在非线性架构下，分类误差也呈现出 sigmoid 形状，证实了经验观察。我们指出了梯度饱和现象和特征频率对模型收敛速度的影响，并探讨了交叉熵和 hinge 损失对生成对抗网络训练的差异。最后，我们提出了梯度饥饿现象并进行了研究。

    Sep, 2018

  • 监督分类的信息论视角下的误差边界

    采用信息理论的视角探索深度神经网络在有监督分类中的理论基础，分析了拟合误差、模型风险和泛化误差上界的相关概念及其对样本数据质量和正则化超参数设置的指导作用，研究发现过度参数化、非凸优化和平坦极小值在深度神经网络中的影响，并通过实证验证证实了理论发现与实际风险之间显著的正相关关系。

    Jun, 2024

  • 越界：深度学习及其 (非) 鲁棒性的严格理解

    本研究回顾了深度学习的鲁棒性问题，尤其是从近似理论到统计学习理论的关注和尝试，并回顾了贝叶斯深度学习作为不确定性量化和严格可解释性的一种手段。

    Jul, 2023

  • 深度神经网络分类中的损失函数

    研究了不同损失函数选择对深度神经网络及其学习动态的影响，证明了 L1 和 L2 损失函数是深度网络分类目标的合理选择，并提出两种新的损失函数作为现有损失函数的可行替代品。

    Feb, 2017

  • 使用铰链损失函数训练浅层 ReLU 网络的噪声数据：过拟合何时发生且是否良性？

    本文探讨了使用梯度下降和 hinge loss 在嘈杂数据上训练的两层 ReLU 网络的良性过拟合问题，研究了线性可分数据，给出了干净数据边距的条件，得到了良性过拟合，过拟合和非过拟合三种不同的情况，并揭示了神经元训练过程中的两个不同阶段。

    Jun, 2023

  • 深度网络中的泛化（IIIb 理论）

    该论文研究了深度神经网络中过拟合的问题，证明了使用特定的损失函数时神经网络的收敛性及性能，提出了一种实用的判断不同零最小化点泛化性能的方法。

    Jun, 2018

  • 机器学习系统分类性能分析的大偏差

    研究机器学习二分类技术的性能，使用基于基于数据驱动的决策函数（D3F）的统计测试，根据大偏差理论表明在适当的条件下，分类错误概率随着可用于测试的观测数量呈指数形式消失，并提出了两个不同的近似误差概率曲线的方法，并根据 MNIST 数据集测试了理论发现。

    Jan, 2023