您的网络可能需要重写：基于高维函数图解的网络对抗
采用自适应激活函数进行深度和物理知识神经网络中的回归以逼近光滑和不连续函数以及线性和非线性偏微分方程的解。该方法通过在激活函数中引入可扩展的超参数，并考虑前向问题和反向问题，显着提高了神经网络学习能力和近似解决方案的收敛速度、准确度和鲁棒性。
Jun, 2019
本研究发现神经网络量化和抵御对抗攻击这两条不同的路线可以合并，提出了动态量化激活方法以训练鲁棒神经网络，并在 MNIST 和 CIFAR-10 数据集上的广泛实验证明了该方法能够有效提高深度神经网络的鲁棒性。
Jul, 2018
采用插值函数作为输出激活函数，能够显著提高深度神经网络在对抗攻击下的鲁棒性，通过结合总变分最小化技术和训练数据增强，我们将 ResNet20 的对抗训练提高了约 23％的鲁棒度，并通过对特征空间的几何形态进行分析提供了相应的直观解释。
Sep, 2018
将对抗性攻击表示为可训练函数，使用神经网络模拟理想攻击过程，并降低对抗训练为攻击网络和防御网络之间的数学博弈，同时在此设置中获得了对抗性训练的收敛速率。
Jul, 2023
我们提出了一种统一的神经网络激活函数表示形式，采用分数阶微积分的 Mittag-Leffler 函数，该形式能够插值不同的激活函数并减轻神经网络训练中普遍存在的梯度消失和梯度爆炸等问题。使用 Lenet-5 神经网络在 MNIST 和 CIFAR-10 数据集上训练，我们证明采用统一的门控表示法是传统机器学习框架中内置的激活函数实现的一种有前途且经济的替代方案。
Feb, 2023
研究了在输出层使用高温度值的激活函数对于防御基于梯度的对抗攻击的效果，并在 MNIST 数据集上实验验证了其方式可以显著提高对抗攻击的鲁棒性。
Feb, 2022
本文提出了两种局部自适应激活函数的方法，分别是逐层自适应激活函数和逐神经元自适应激活函数，它们能够提高深度学习和物理信息神经网络的性能。通过引入每个神经元和每个层级的可扩展参数，我们实现了激活函数的局部调整，并使用一种变种随机梯度下降算法进行优化。此外，本文还采用了基于激活坡度的坡度恢复项以加快训练速度。我们证明了该方法的梯度下降算法在初始化和学习速率等实际条件下不会被吸引到亚最优临界点或局部最小值，而且该方法的梯度动态是不可实现基本方法的任何 (自适应) 学习速率。本文还证明了自适应激活方法通过隐式地乘以条件矩阵来加速基本方法的梯度，并且不需要任何明确的条件矩阵和矩阵向量乘积计算。不同的自适应激活函数说明了产生不同的隐含条件矩阵。此外，本文提出的具有坡度恢复的方法已经被证明可以加速训练过程。
Sep, 2019
本文提出了一种不依赖于传统极小 - 极大公式的生成式对抗方法理论，并展示了当存在强的辨别器时，通过每个功能性梯度步骤，可以学到一个好的生成器，使得真实数据和生成数据的分布的 KL 散度改善，直到收敛于零，并基于该理论，提出了一种新的稳定的生成式对抗方法，同时提供了从这个新的视角对原始 GAN 的理论洞见，最终，针对图像生成的实验展示了我们的新方法的有效性。
Jan, 2018