本文提出一种新型的神经网络构架，利用基于惩罚项的训练问题来编码激活函数，这种框架可以被应用于 block-coordinate descent 算法中，该算法可以在每次迭代中通过并行化数据点和 / 或层数来解决简单（没有隐藏层）的监督学习问题，实验结果表明该方法为标准神经网络提供了极佳的初始权重估计，并且对于使用参数优化激活函数、对抗噪声数据的拓展也提供了思路。

May, 2018

学习的近似算子网络提供一种通用的、无监督的、表达力强的近似算子，可用于具有收敛性保证的一般逆问题。

Oct, 2023

研究了浅层神经网络的 1-path - 范数，发现它可以通过闭合形式的近端算子进行计算，且可以提供网络李普希茨常数的上界，是训练鲁棒性强的网络的有力工具。与 L1 - 范数以及基于层的李普希茨常数的制约相比，1-path - 范数的近端映射具有更好的鲁棒性 - 准确性平衡。

Jul, 2020

本文提出了基于半定规划的二层神经网络的精确凸优化公式，可在多种神经网络体系结构中实现全局最优解，相比标准反向传播方法速度更快且准确性更高。

Jan, 2021

本研究提出了使用矩阵积算子 (MPO) 来代替线性变换表示深度神经网络的方法，该方法可以最大限度地减少可变参数数量而不影响其预测能力，并在多个典型的神经网络上证明了其有效性和高效性。

Apr, 2019

本文提出一种新颖的基于非可微惩罚项的 proximal 梯度方法来去除神经网络不重要的参数组，并针对两种结构性稀疏惩罚进行了权重 proximal 操作符导出，并证明了该方法的收敛性。同时，介绍了该方法在计算机视觉和自然语言处理中的应用。

Feb, 2021

本文介绍了一种新的 Fenchel lifted networks 的模型，通过等价的双凸约束表示激活函数，并使用拉格朗日乘数对传统神经网络训练问题得出严格下界，使用块坐标下降进行高效训练，并与标准全连接和卷积网络进行比较，证明我们能够匹配或超越其性能.

Nov, 2018

通过研究激活函数的角色，论文揭示了常用的激活函数以及两段式分段线性函数在表达函数时的局限性，并介绍了一种新的 N - 激活函数，证明其比目前流行的激活函数更具表达能力。

Nov, 2023

本文介绍了一种基于排列的分段正交非线性映射的新型激活函数，该函数具有实现简单、计算效率高、内存需求小等优点，同时表现出与 tanh 和 ReLU 类似的性能，且能保证反向传播梯度的范数不变性，因此对于深度、超深度和循环神经网络的训练具有潜在的好处。

Apr, 2016

基于结构相似性，通过将 ReLU 替换为广义投影算子，将其扩展为具有多个输入和多个输出的多元投影单元 (MPU)，证明了在表达能力方面，由 SOC 投影激活的 FNN 优于利用 ReLU 的 FNN。实验评估进一步证实了 MPU 在更广泛的现有激活函数范围内的有效性。

Sep, 2023