- 生成流引导的神经架构搜索：探索小波神经算子中的最佳结构
我们提出了一种生成的流诱导神经架构搜索算法，使用简单的前馈神经网络学习随机策略生成超参数序列，通过最小化流违规和最大化终态奖励来训练架构搜索策略，在流之中生成了小波基础和激活序列，并通过流的生成路径来提高神经算子性能。
- CVPR使用预训练大型多模态模型的音频视觉广义零样本学习
利用预训练模型，包括 CLIP 和 CLAP 提取特征，结合文本编码嵌入以提高性能，我们提出了一个仅依赖前馈神经网络的简单而有效的模型来处理音频视觉的零样本学习，并在 VGGSound-GZSL、UCF-GZSL 和 ActivityNet - PartialFormer：建模部分而非整体
本论文介绍了 PartialFormer—— 一种参数有效的 Transformer 架构，利用多个较小的前馈神经网络来减少参数和计算量，同时保持重要的隐藏维度，并通过一个多头注意力系统实现有效的协同工作。还介绍了一种定制的头缩放策略和改进 - 神经网络：深度、浅层，还是中间？
我们对用具有宽度 W、深度 l 和 Lipschitz 激活函数的前馈神经网络的输出来逼近某个 Banach 空间中的紧致子集的误差给出了下界估计。我们证明，除了神经网络，只有当深度 l 趋于无穷大时，才有可能得到比熵数更好的速率，而如果我 - 深度神经网络的相关数据的广义上界
深度神经网络的广义界限在非平稳数据情况下的建立。
- 混合 Zonotope 精确表示 ReLU 神经网络
本文使用混合 zonotope 等价于具有 ReLU 激活函数的前馈全连接神经网络的表示，证明了二进制变量的复杂性等于网络中神经元的总数，因此其大小线性增长，并通过非线性函数逼近、MPC 闭环可达性和验证以及 MNIST 数据集上的分类回归 - 前馈神经网络的因果发现和注入
本文通过向前馈神经网络注入潜在的因果关系，以保证神经网络模型符合专家知识，从而提高模型在发现因果关系和预测性能方面的鲁棒性和精度。
- AAAI将神经网络解释为逐步论证框架（包括证明附录）
研究发现前馈神经网络可以理解为量化论证框架，通过学习稀疏论证网络和密集神经网络的参数，可以从数据中端到端地学习量化框架。
- 基于抽象的神经网络输出值范围分析
本研究探讨了基于 ReLU 激活函数的前馈神经网络的输出范围分析问题，并提出了使用区间神经网络作为抽象技术来简化计算的方法，该方法能够将输出范围分析问题转化为混合整数线性规划问题。实验结果表明了计算时间和计算输出范围精度之间的权衡关系。
- NNV: 面向深度神经网络和学习增强型的网络物理系统的神经网络验证工具
本文介绍神经网络验证（NNV）软件工具，该工具为深度神经网络（DNN）和学习启用的控制系统（CPS）提供了一套基于集合的验证框架。NNV 的核心是一组可达性算法，这些算法利用了多种集合表示，例如，多面体、恒星集、zono topes 和抽象 - ICLR快速几何投影用于本地鲁棒性认证
本文提出了一种在前馈神经网络中检查局部鲁棒性的快速程序，通过几何投影分析给定点周围区域内的决策边界以及将输入空间划分为凸多面体区域的方式，在高效同时保证准确性，解决了之前使用的不精确验证方法和全面验证者效果不佳的问题。
- 当浅层模型强时，是否更深层模型更好？
该论文研究了深层神经网络在梯度下降最优化过程中利用深度的表达能力，证明了具有分形结构的分布可以被深层网络有效地表达，而浅层网络无法表达。论文还探讨了粗细篮子之间的平衡如何影响深度神经网络的优化过程，并推断了学习深度神经网络是否成功取决于分布 - AAAI正交权重归一化：深度神经网络中多个相关斯蒂费尔流形的优化方案
本文提出了一种在前馈神经网络中构造矩阵正交化的正交矩形矩阵方法，该方法被称为在多个相关斯蒂费尔流形的优化中进行正交矩阵的构造，并提出了一种新颖的正交权重归一化方法来解决这一问题，并通过实验表明，将正交线性模块用作标准线性模块的替代品可以大大 - 一种用于前馈 ReLU 神经网络的可达性分析方法
研究使用 ReLU 函数实现激活函数的前馈神经网络系统的可达性问题，并通过线性问题对其进行表征，并提出了一种基于最先进的线性规划求解器解决实际问题的方法。通过分析文献中的多个基准测试来评估所提出技术的性能。
- 自标准化神经网络
本文介绍了一种名为自标准神经网络 (SNNs) 的新型前馈神经网络，使用放缩指数线性单元 (SELU) 激活函数，自动进行归一化处理，并具有极高的性能表现，可以在多个机器学习任务中超越标准的前馈神经网络。
- SIGIR具有弱监督的神经排名模型
本文提出了使用弱监督学习方法训练神经排序模型来解决信息检索排名问题，并通过实验结果表明，基于弱标记数据的预训练可以极大地提高神经排序模型的性能。
- ICCV自适应实例标准化下的实时任意风格转换
本文提出了一种简单而有效的方法，通过引入自适应实例标准化（AdaIN）层，实现了实时的任意风格迁移，其可以灵活控制权衡内容和风格、风格插值以及颜色和空间控制。
- NIPS通过减弱训练来压缩神经网络分类器
介绍了一种称为 Dropout Compression 的新型神经网络训练方法，可以在训练时实现大型模型中的 dropout 正则化性能提升，同时提取出紧凑型的神经网络以实现运行时效率，通过引入对单个神经元 dropout 保留概率的稀疏性 - 神经网络中逼近自然函数的深度 - 宽度权衡
本文提供了一些新的基于深度的前馈神经网络分离结果，证明了各种类型的简单自然函数可以更好地用深层网络逼近比更浅的更大的网络，这包括指示球和椭圆体的指示器，$L_1$ 范数下径向非线性函数，以及平滑的非线性函数。我们还展示了这些差距的实验观察结 - 建设性神经网络学习
本文提出了一种新的前馈神经网络学习系统 —— 构造性前馈神经网络（CFN），并证明了该方法不仅克服了传统 FNN 逼近时的饱和问题，而且在回归函数光滑时达到了最优学习率。通过与正则化最小二乘法（RLS）和极限学习机（ELM）进行比较，数值模