- UniBias：通过内部注意力和 FFN 调整揭示和减轻 LLM 的偏见
通过研究语言模型中前馈神经网络和注意力头的作用，我们识别出导致偏见的组件，并提出了一种名为 UniBias 的仅用于推理的方法，该方法能够有效地识别和消除偏见的前馈神经网络向量和注意力头，大量实验验证了 UniBias 显著提高了模型的性能 - 最佳逼近的随机投影神经网络：收敛理论和实际应用
通过随机投影（RPNNs）的角度，我们研究了前馈神经网络（FNN）的最佳逼近概念，并探索了它们的收敛性质。我们证明了对于任何一类具有非多项式无穷可微激活函数的 RPNNs，存在一种选择的外部权重，当近似任何无穷可微函数时呈指数收敛率。为了说 - 前馈神经网络中的规则提取方法：系统性文献综述
通过系统性文献综述，本文着重于规则提取作为神经网络可解释性的手段，发现了二十多年来使用于浅层神经网络的各种规则提取方法，并对深度学习模型提出的挑战进行了探索，为对这一领域感兴趣的研究人员提供了全面的介绍。
- 在 Ising 机上训练多层神经网络
该研究提出了一种用于训练量化神经网络（QNN）的 Ising 学习算法，该算法通过二进制编码网络拓扑和损失函数的降阶，实现了在 Ising 机器上训练多层前馈神经网络。该算法的空间复杂度约为 O (H^2L + HLNlogH)，通过模拟 - ReLU-FNN 的局部利普希茨常数计算：精确性验证的上界计算
该论文主要研究采用整流线性单元（ReLUs）作为激活函数的前馈神经网络（FNNs）的局部利普希茨常数的计算，介绍了一种基于半定规划问题（SDP）和余问题的计算上界的方法，提出了一种模型简化方法并通过数值实例验证了这些方法的有效性。
- 从功能等效性的角度看前馈神经网络的复杂度
研究了前馈神经网络的复杂性，通过功能等价的概念来探讨不同的网络参数化可以导致相同的功能，利用排列不变性来推导出前馈神经网络类的新型覆盖数界限，揭示了通过利用这个属性可以降低神经网络的复杂性，此外，通过参数空间的对称结构，证明适当的随机参数初 - 使用 Z3 进行 FNN 全局鲁棒性的形式建模和验证
本篇论文提出了一种称之为 DeepGlobal 的全局稳健性验证框架，通过利用 SMT 求解器 Z3 进行实现并进行多重改进，来评估该框架在一系列基准数据集上的有效性和可行性。
- 非光滑自动微分的复杂度
本文提出了一种用保守梯度模型来估计算法分化的计算成本的方法，并且较为详细地描述了其在反向传播和前向传播中的应用。主要方法是基于局部 Lipschitz 半代数或可定义基本函数的方法，可以极大地加速了反向传播过程。
- ReLU 网络逼近紧支撑函数的优势研究
该研究研究了使用前馈神经网络逼近紧支持积分函数的问题，提出了一种新的拓扑构造方法，并证明了具有双线性池化层的 ReLU 前馈网络在这个拓扑结构中的普适性，同时得到了构造该网络所需的深度、宽度和双线性池化层数量的定量结果。此外，研究还表明在这 - 神经网络的近似双模拟关系及其在可保证神经网络压缩中的应用
该论文提出了一种基于近似双模拟关系的神经网络模型缩减方法，利用该方法可以量化两个神经网络的输出距离，从而进行神经网络模型缩减并加速神经网络的验证过程。
- ICLR阶梯多项式神经网络
本文介绍了一种基于乘积构建出的新型激活函数的多项式前向神经网络，其可以被标准训练技术（如批量归一化和丢弃）所训练，并且在回归和分类任务上表现良好，同时具有一些在贝叶斯学习中非常有用的解析计算数量。
- 自然延续学习：成功源于旅程，不仅仅是终点
本文提出了一种称为自然连续学习（NCL）的新方法，该方法统一了权重正则化和投影梯度下降。NCL 使用贝叶斯权重正则化来鼓励在收敛时所有任务的良好表现，并结合使用先验精度的梯度投影，从而防止优化过程中的灾难性遗忘。我们的方法在前馈神经网络和循 - 神经网络如何外推：从前馈到图神经网络
研究使用梯度下降训练的神经网络如何外推，即他们在训练分布的支持外学习了什么。沿着这条线，作者发现了多层感知器和图神经网络的外推条件，并提供了理论和实证依据来解释图神经网络在算法任务的外推成功。
- 微分方程作为深度神经网络的模型
本研究系统地分析了用作机器学习模型的微分方程的一般性质，并证明了损失函数相对于隐藏状态的梯度可被视为一般化的动量，可以应用经典力学的工具。此外，我们还展示了残差网络和前馈神经网络可以与微小非线性权重矩阵偏差只稍微偏离单位矩阵的微分方程相关。 - AAAI前馈神经网络符合规范的安全验证
该论文提出了一种基于规范引导的安全验证方法，针对具有一般激活函数的前馈神经网络进行验证，使用区间分析方法进行计算，并开发了一个高效的算法来完成安全验证，实验结果表明该方法具有更高的效率和更少的计算代价。
- Pseudoinverse 学习算法的一种衣服
本文介绍了伪逆学习算法和其变种，以及对神经网络学习任务实践中的若干常见问题的讨论和解决。作者还指出，在单隐藏层前馈神经网络中，所谓的极限学习机是采用了可能出于简化目的得到的伪逆学习算法的一个变体。
- 深度神经网络的热带几何
该研究建立了前馈神经网络与 tropical 空间之间的联系，通过这个联系，我们证明了具有一个隐藏层的前馈神经网络可以通过 zonotopes 来特征化，并且与 tropical hypersurfaces 相关联。
- 抬升神经网络
本文提出一种新型的神经网络构架，利用基于惩罚项的训练问题来编码激活函数，这种框架可以被应用于 block-coordinate descent 算法中，该算法可以在每次迭代中通过并行化数据点和 / 或层数来解决简单（没有隐藏层）的监督学习问 - ICLR神经网络谱范数归一化边缘界限的 PAC-Bayesian 方法
利用 PAC-Bayes 分析，我们提出了一种将前馈神经网络的谱范数和权重的 Frobenius 范数乘积作为度量的泛化界限。
- ICML深度学习的实用高斯牛顿优化
我们提出了一种高效的分块对角近似方法来计算前馈神经网络的高斯 - 牛顿矩阵，与一阶优化方法相比，有时能够显著提高优化性能。此外，我们的方法无需繁琐的调参，即可提供良好的性能。在针对分段线性转移函数进行优化时，网络目标函数可能不存在可微的局部