深度神经网络的连续仿射学习
本文回顾了最近关于层级神经网络结构的研究成果，探讨了深度卷积神经网络优于浅层神经网络在函数近似问题中的表现条件。本文提出了一个新的对于相对维度的定义，该定义可以被深层网络而非浅层网络使用以显著降低近似和学习所需的复杂度。同时，本文还宣布了关于当前神经网络中使用的非平滑激活函数- ReLU函数以及高斯网络的新结果。
Aug, 2016
本文提出了深度神经网络的可连接性和内存需求的基本下限，同时证明了其实现方式适用于广泛的函数类。此外，研究表明，广义仿射系统内的全局极优逼近问题可以通过神经网络得到最优解，并通过数值实验验证了随机梯度下降算法能够学习出近乎最优的函数逼近。
May, 2017
提出了一种基于Lipschitz的单隐层神经网络的多项式时间学习算法，使用了Alphatron算法和核方法，这为布尔学习问题提供了新的方法。
Sep, 2017
通过样条函数和算子建立了深度网络（DNs）和逼近理论之间的严格桥梁。使用 MASO 作为大类 DN 构造一组信号依赖、类别特定的模板，与信号的内积进行比较。通过向代价函数添加简单惩罚项，可以提高分类性能并减少过度拟合。MASO 隐含地导致信号空间的样条分区直接将 DNs 与矢量量化 (VQ) 理论联系起来，为研究 DNs 如何按层次组织信号开辟了新的几何路径。
May, 2018
我们提出了一个统一的优化框架，用于训练不同类型的深度神经网络，并在任意损失、激活和正则化函数上建立其收敛性。该框架推广了众所周知的一阶和二阶训练方法，并允许我们展示这些方法在各种深度神经网络架构和学习任务中的收敛性为我们的方法的一种特殊情况。
May, 2018
本文提出了一种新的深度卷积神经网络结构，即使用聚合特征的Shortcut连接来改善网络优化难度，并取代传统的卷积神经网络结构，经过在公共基准数据集上的实验，发现其性能超过其他更大而复杂的卷积神经网络结构。
Nov, 2018
通过使用凸优化理论和稀疏恢复模型来改进神经网络的训练过程，并对其最优权重提供更好的解释，我们的研究侧重于以分段线性激活函数构建的两层神经网络的训练，证明了这些网络可以表达为一个有限维的凸规划问题，其中包括促使稀疏性的正则化项，构成Lasso的变种。通过大量的数值实验，我们展示了凸模型可以胜过传统非凸方法，并且对于优化器的超参数并不敏感。
Dec, 2023
本论文系统性地综述了各种类型的激活函数，包括固定形状、参数化、适应性、随机/概率性、非标准和组合类型。通过对各类激活函数的理论基础、数学公式以及在不同情境下的特点、优点和限制进行深入分析，同时还探讨了在专业应用中具有独特优势的其他激活函数和挑战传统范式的非标准激活函数。最后，通过严格的统计和实验方法对12种最先进的激活函数进行对比评估，以评估它们的有效性，并为选择和设计最适合特定深度学习任务的激活函数提供帮助。
Jul, 2024