本文提出并研究了一种新型的非线性单元 —$L_p$ 单元，用于深度神经网络，它接收来自下一层子单元的信号，计算出归一化的 $L_p$ 范数，可以理解为一种广义的池化运算符、在对象识别方面取得最优成果、以及用于多层感知器以达到最优结果.

Nov, 2013

研究了使用最小范数两层 ReLU 网络进行有噪单变量回归时的渐近过拟合行为，发现对于 L1 损失和 p<2 的任何 Lp 损失缓解了过拟合，但对于 p≥2 却是灾难性的。

Jul, 2023

本文提出了 LiftPool 池化方法，实现了双向池化层，包括 LiftDownPool 与 LiftUpPool。LiftDownPool 将特征图分解成多个不同频率信息的下采样子带，通过 LiftUpPool 进行精细化上采样并保留显著细节信息，本研究在图像分类和语义分割等方面达到了更好的性能，同时具有更好的健壮性。

Apr, 2021

本文考虑使用单隐藏层神经网络模型去解决回归问题，探讨了激活函数的属性，比如 ReLU、leaky ReLU、sigmoid 等都满足局部强凸性。文中还提出了使用张量方法对参数进行初始化，并配合梯度下降算法使用来解决回归问题。最终达到了使用线性的输入维数和对数精度计算复杂度的样本复杂性和计算复杂性要求。

Jun, 2017

本文提供了防御神经网络对抗输入的框架，并为被噪声干扰的可压缩信号提供了恢复保证，实验结果表明该防御框架对于多种规范攻击具有很好的效果。

Jul, 2019

本文介绍一种不变汇聚层 (GIGP)，它是一种满足足够特征表达的汇聚层，可以表示一大类不变函数，该方法是基于组轨道感知的汇聚过程，针对旋转 MNIST 和 QM9 等数据集，取得了良好的结果。

May, 2023

提出了一种基于学习的稀疏和低秩约束的图像恢复新优化算法，并将其和现有算法进行了比较和评估。

Apr, 2023

本论文使用框架理论的设置来研究 ReLU 层在闭球上及其非负部分的可进性问题，特别强调了球的半径和偏置向量之间的相互作用。通过凸几何的视角，结合在偏置向量的上界方面的合理限制，得到了一种可计算的验证 ReLU 层可进性的方法。我们提供了明确的重构公式，灵感来自框架理论的对偶概念。所有这些使得量化 ReLU 层的可逆性成为可能，并为球上任意输入向量提供了具体的重构算法。

Jul, 2023

通过 ReLu 网络，我们研究解决线性逆问题的可能性。我们证明了使用一个隐藏层的 ReLu 网络无法恢复 1 稀疏向量，但通过两个隐藏层可以以任意精度和任意稀疏度稳定地进行近似恢复，并且我们还将结果推广到包括低秩矩阵恢复和相位恢复在内的更广泛的恢复问题。此外，我们还考虑了使用神经网络来近似一般的正齐次函数，并且我们的结果解释了神经网络在逆问题中通常具有非常大的利普希茨常数，但在对抗性噪声下表现良好的前期矛盾。

Aug, 2023

本文提出了一种基于关系池化（RP）的图神经网络模型，可以进一步提高现有的图表示模型的表征能力，并且在图分类任务上实现了超越现有方法的性能表现

Mar, 2019