通过研究深度神经网络中的余量界限，我们得出结论，在受限制的隐藏单元数量下，增加深度并不总是好的，因为它具有积极和消极的影响。我们发现，采用基于边缘的惩罚项来降低经验余量错误而不增加深度，可以显著提高测试性能。

Jun, 2015

本文提出一些理论上支持的噪声稳健损失函数，包括平均绝对误差以及交叉熵损失函数，并已在CIFAR-10，CIFAR-100与FASHION-MNIST数据集及人工产生的噪声标签上进行了实验，结果表明这些损失函数能够有效应对各种噪声标签情况。

May, 2018

本研究探讨了深度神经网络在训练数据含有噪声且参数个数超过数据点个数时，仍能够实现零训练误差且具有泛化能力的机制，并阐述了过拟合和特征选择不佳对泛化能力的影响。

Mar, 2019

本文探究了基于经验损失函数中内置的例子加权对抗不正常训练数据的鲁棒性深度学习，重点研究了与对数相关的梯度幅度以及未进行彻底研究的角度。研究发现，均方误差并没有平等地处理例子，梯度幅度的方差很重要，提出了一种称为改进均方误差（IMAE）的解决方案，证明了其在图像分类方面具有出色的效果。

Mar, 2019

本文提出一种新的信息论损失函数 L_DMI，其核心思想是一个广义版本的互信息算法 DMI，该损失函数可用于对深度神经网络进行标签噪声训练，不受噪声模式影响，具有理论保证，并能直接应用于现有分类神经网络。使用 L_DMI 在包括 Fashion-MNIST、CIFAR-10、Dogs vs. Cats、MR 等图像数据集和自然语言数据集以及真实数据集 Clothing1M 的各种合成噪声模式和噪声量下的分类任务中优于所有其他对手。

Sep, 2019

我们展示了具有新颖对抗训练方案的深度神经网络估计器的上限范数收敛。对于非参数回归问题，已经证明使用深度神经网络的估计器可以在$L2$-范数意义上取得更好的性能。相比之下，由于神经网络模型的深度结构，最小二乘神经估计器很难实现上限范数的收敛。在本研究中，我们开发了一种对抗性训练方案，并研究了深度神经网络估计器的上限范数收敛。首先，我们发现普通的对抗性训练使得神经估计器不一致。其次，我们证明了通过所提出的带校正的对抗性训练，深度神经网络估计器在上限范数意义上实现了最优速率。我们将对抗性训练扩展到损失函数和数据生成函数的一般设置。我们的实验证实了理论发现。

Jul, 2023

本文研究了基于深度学习的语音增强中的连续建模方法，重点关注降噪过程。通过引入一个状态变量来表示降噪过程，训练中使用类似UNet结构的神经网络学习估计连续降噪过程中的每个状态变量，测试时引入一个控制因子作为嵌入，可调整噪声削减水平。该方法可以实现可控语音增强，并适用于不同的应用场景。实验结果显示，在清晰目标中保留少量噪声有助于语音增强，从客观语音指标和自动语音识别性能的改善来验证。

Sep, 2023

这篇论文通过理论分析提供了连接大语言模型、softmax回归、残差神经网络以及优化问题的统一方案，揭示出了损失函数的梯度、Hessian矩阵以及利普希茨特性，并通过该方案为未来深度学习模型的研究提供了新的洞察。

Sep, 2023

本研究解决了深度ReLU递归神经网络（RNN）的逼近能力及其在非参数最小二乘回归中的收敛性问题。通过对Hölder光滑函数的逼近误差进行界定，提出了一种新颖的RNN构建方法，能够优化回归问题中的预测误差界限，实现了在数据假设下的最优收敛速率。这一结果为RNN的性能提供了统计保证。

Sep, 2024

本研究针对在超低精度和稀疏条件下训练深度神经网络时遇到的反向传播障碍，提出了一种新颖的稳健通用解决方案：去噪仿射变换。通过将量化和稀疏化视为训练过程中的扰动，我们基于岭回归推导出了一种抗扰动的方法，为现有模型提供了在任意低精度和稀疏水平下的训练能力，并为缩小人工神经网络与生物神经网络之间的差距贡献了新思路。

Sep, 2024