本文提出了一种基于层的鉴别性学习方法来增强深度神经网络的鉴别能力，在多个层上引入多个分类器，使它们协同工作进行分类，通过对多个深度网络和基准数据集的实验，证明了该方法的有效性，并分析了该方法和经典条件随机场模型之间的关系。

Jul, 2016

本文研究了多样性诱导正则化方法以提高潜变量模型的理解性、复杂度、泛化性能等，并提出了一种理论分析方法，其中采用神经网络模型实现了理论研究，发现增强神经网络中隐藏单元的多样性可以提高模型的近似性能。

Nov, 2015

我们提出了一种特别为基于 Transformer 的语言模型设计的新型 Layer-wise Regularized Dropout (LR-Drop) 方法，通过一些研究使用一致性训练在输出层对 dropout 进行规范化，每个 Transformer 层通过一致性训练策略进行层内规范化，通过在多个数据集上进行大量实验证明，LR-Drop 可以达到卓越的性能，包括最先进的结果。

Feb, 2024

我们提出了一种基于深度神经网络的最小距离估计器 (DNN-LD)，用于解决多元回归问题，并考虑高维数据中的变量选择问题，通过在 DNN 结构的权重参数上应用 (自适应) 分组 Lasso 惩罚，同时实现变量选择和模型估计。

Jan, 2024

通过使用 Low-Dimensional-Manifold-regularized neural Network 来加强神经网络的特征提取，有效提高了在小样本情况下的泛化能力并且可以应用于同种物体的跨光谱识别。

Nov, 2017

为克服联邦学习中数据异构和不平衡的问题，本文提出了一种新的构架规范技术，通过在每个本地模型中构建多个辅助分支，并通过在线知识蒸馏使本地模型的主路径表示与辅助混合路径保持一致，进而增强了全局模型的鲁棒性。该技术在非 iid 环境中有效并适用于各种联邦学习框架，并且不会产生额外的通信成本。实验结果表明，与现有方法相比，该技术具有显着的准确性和效率提高。

Jul, 2022

本文揭示了支持反馈对齐学习动力学的一组守恒定律，揭示了反馈对齐与梯度下降之间的有趣类比，挑战了这些学习算法根本不同的流行说法，并表明这些守恒定律阐明了 ReLU 网络中反馈矩阵的逐层对齐的充分条件，这将使得使用反馈对齐训练的两层线性网络收敛到最小化范数的解决方案。

Jun, 2023

提出一种名为加权正则化的通用方法，通过调整深度神经网络的权重来修复图像分类中的混淆错误和偏差错误，并在广泛使用的六个数据集和结构组合上进行了评估和比较。

Mar, 2022

通过发现前馈神经网络中某一层神经元的活动变化与连接到下一层神经元的权重变化之间的完全对偶性，我们提出了一个统一的框架来研究如何控制两个几何因子（loss 地形的尖锐度和双重权重值的标准差，其缩放与解的权重范数成比例）来影响一般化的性能，控制分类器的通用性。

Mar, 2022

本文提出了一种利用归纳偏置驱动的网络设计原则和基于层的流形正则化目标来实现神经网络学习过程中提高内存效率的框架，该框架的使用结果相对于传统学习技术具有更好的绝对性能和实证一般化误差，可以无缝地与现有的网络压缩方法相结合。

May, 2023