Mar, 2024

PAON：一种使用 Padé 逼近的新神经元模型

PDF
TL;DR本文提出了一种全新的神经元模型，称为 Pade neurons（Paons），受到 Pade approximants 的启发，Paons 是所有其他提出的神经元模型的超集。通过将 ResNet 扩展为 PadeNet（由 Paons 构建），我们证明了这个概念。我们在单图像超分辨率任务上的实验证明，PadeNets 可以比竞争架构获得更好的结果。
发现论文，激发创造
  • Padé 激活单元：在深度网络中端到端学习灵活的激活函数

    本文中介绍了一种新的非线性激活函数 ——Padé 激活单元 (PAUs)，能够代替传统手动选择的固定激活函数，增加深度神经网络的预测性能和可靠性。

    Jul, 2019

  • 低精度多项式逼近的神经网络：提高准确性的新见解与技术

    通过使用多项式逼近替换神经网络中的非多项式函数，并结合高精确逼近，本论文提出的多项式逼近神经网络（PANN）在实现隐私保护模型推理时与底层骨干模型具有类似的推理准确性。此外，通过对 PANN 的独立性进行调查，论文提出了提高 PANN 推理准确度的解决方案，并通过实验证明了解决方案的有效性。

    Feb, 2024

  • 弱正交约束下的多项式增强神经网络 (PANNs) 在功能和 PDE 逼近中的应用

    我们提出了多项式增强神经网络（PANNs），一种结合了深度神经网络（DNNs）和多项式逼近的新型机器学习架构。通过这些实验，我们证明了 PANNs 在回归和偏微分方程的数值解法上都比 DNNs 具有更好的逼近性能，同时在回归具有有限平滑性的函数时，也比多项式和基于 DNN 的回归方法具有更高的准确性。

    Jun, 2024

  • 填充感知神经元

    通过激活值识别和研究静态填充卷积模型中的边界感知神经元，探索它们对模型性能的影响以及其在数据中引起的偏差。

    Sep, 2023

  • 深度多项式神经网络

    本文提出了一种基于多项式扩展的新型函数逼近器 ——π- 网，它是多项式神经网络，通过具有共享因子的张量集合分解来估计自然表示的未知参数，可用于许多任务和信号的表达建模，并在激活函数的辅助下在图像生成、人脸验证和 3D 网格表示学习等任务中实现了最新的结果。

    Jun, 2020

  • Π-nets: 深度多项式神经网络

    介绍了 $\Pi$-Nets，这是一种新型的深度卷积神经网络方法，它们比标准的 DCNNs 具有更好的表示能力，可以在计算机视觉和机器学习中广泛应用，尤其在生成模型方面取得了最新的成果。

    Mar, 2020

  • 自适应激活函数加速深度和物理学知识神经网络的收敛

    采用自适应激活函数进行深度和物理知识神经网络中的回归以逼近光滑和不连续函数以及线性和非线性偏微分方程的解。该方法通过在激活函数中引入可扩展的超参数，并考虑前向问题和反向问题，显着提高了神经网络学习能力和近似解决方案的收敛速度、准确度和鲁棒性。

    Jun, 2019

  • 关于物理信息神经网络在线性二阶椭圆型和抛物型偏微分方程中的收敛性

    该论文介绍了新型 PINNs 的理论和实践研究，证明了其在解决偏微分方程方面的有效性和可靠性。

    Apr, 2020

  • 以偏微分方程为基础的深度神经网络

    该论文通过偏微分方程的理论框架，提出了三种新型的 ResNet 神经网络架构，分别属于抛物线和双曲线类型的 CNN，能够提供深度学习的新算法和思路，并用数值实验证明了它们的竞争力。

    Apr, 2018

  • 一种公理化的深度神经网络 PDE 模型

    深度神经网络与偏微分方程之间的关系启发我们研究了深度神经网络的偏微分方程模型的一般形式。在一些合理的假设下，我们证明演化算子实际上由对流 - 扩散方程决定。这个模型为几个有效的网络提供了数学解释。此外，我们还展示了对流 - 扩散模型提高了鲁棒性并减小了 Rademacher 复杂度。基于对流 - 扩散方程，我们设计了一种适用于 ResNets 的新训练方法。实验证实了所提出方法的性能。

    Jul, 2023