Jul, 2023

关于神经抽象的效率与精确性之间的权衡

PDF
TL;DR神经抽象是复杂的非线性动力模型的形式近似，通过神经 ODE 和抽象神经网络与具体动力模型之间的误差的保证上界来表示。本文通过形式归纳合成过程生成动力学模型，并讨论复杂神经 ODE 的抽象以提高可达性分析的效率。
neural abstractionsneural odeactivation functionssynthesis proceduresreachability analysis
发现论文，激发创造
  • 深度神经网络和参数化偏微分方程的理论分析

    本研究旨在通过利用解空间的低维特性，导出 ReLU 神经网络逼近参数化偏微分方程解映射复杂度的上界，具有较传统神经网络逼近结果更优的逼近速率。具体而言，在不了解具体形状的情况下，我们利用小型降维基解的存在性，构建了一些神经网络，以便大范围参数化偏微分方程可以提供这样的参数化解映射逼近，而这些网络的大小基本只取决于基解的大小。

    Mar, 2019

  • 神经网络的语法与语义线性抽象及细化

    抽象是一种关键的验证技术，可提高可伸缩性。然而，神经网络领域对抽象的使用迄今极其有限。本研究提供了一个更灵活的框架，可以通过其他神经元的线性组合替换神经元，从而改善减少。我们在句法和语义抽象上应用这种方法，并进行实证实现和评估。此外，我们引入了一种改进方法用于我们的抽象，以在减少和精确性之间找到更好的平衡。

    Jul, 2023

  • 利用神经随机微分方程的建设性方法实现函数

    本文采用构造性方法对系统动力学施加各种结构限制，从而表征了这样一个可以通过神经随机微分方程（神经 SDE）、确定性动力学系统和输出映射的级联互连实现的函数类。

    Jul, 2023

  • 基于神经抽象的控制器综合和部署

    我们提出了一种利用神经网络表示以减少抽象技术的高内存需求的方法，通过校正神经网络的输出来保持整个过程的正确性，并通过提供一个新的训练算法来减少合成控制器的内存需求。

    Jul, 2023

  • 深度神经网络、通用的普遍插值和可控制的 ODE

    通过离散化有控制的常微分方程（也称为神经常微分方程）以及一些连接性，我们研究表达性质并展示了通用差错的普适插值性质（比通用逼近性质稍弱），并探究最少参数个数在保证表达能力的情况下的取值。

    Aug, 2019

  • 非线性逼近和（深层）ReLU 网络

    该论文研究了深度神经网络的近似和表达能力，证明了神经网络在目标应用中比传统的非线性近似方法具有更强的近似能力，其中逼近单变量函数的 ReLU 神经网络是研究的重点，然而，尚缺乏一种完全定量化神经网络近似能力的理论。

    May, 2019

  • 神经赛跑降维：门控网络中的抽象动态

    通过引入门控深度线性网络框架，研究网络结构对学习动态产生的影响并理解它与任务之间的关系，表明结构化网络中的学习动态可以被概念化为具有向共享表示的神经竞赛，我们的分析为神经网络架构与学习之间的关系提出了一般性假设，并提供了理解更复杂架构设计以及模块化和组合在解决现实问题中起的作用的数学方法。

    Jul, 2022

  • 可解释的多项式神经普通微分方程

    本研究介绍了使用多项式神经常微分方程（polynomial neural ODE）框架解决神经常微分方程（neural ODE）应用中，解释性和泛化能力问题的方法，并且演示了多项式神经常微分方程在预测能力和符号回归方面的优秀性。

    Aug, 2022

  • 门控神经 ODE 中的可训练性、表达能力和可解释性

    本研究介绍了一种使用门控相互作用赋予自适应时间尺度的神经普通微分方程（gnODEs），并以需要记忆连续量的任务为例，证明了 gnODEs 学习（近似）连续吸引子方面的归纳偏差。此外，作者还引入了一种新的表现力量度，探究了 nODEs 的相空间维度和流场建模复杂性对表现力的影响。最后，作者在几个实际应用任务上展示了 nODEs 中门控的好处。

    Jul, 2023

  • 带有 ReLU，leaky ReLU 和 softplus 激活函数的深度神经网络能够在 $L^p$ 意义下，证明地克服 Kolmogorov 偏微分方程中具有 Lipschitz 非线性的维数灾难

    深度学习方法在逼近高维偏微分方程方面的研究，尤其是通过神经网络和活化函数的选择，可以有效地克服维数诅咒，并能够在多项式时间内以任意精度逼近解，为解决偏微分方程提供了广泛应用的前景。

    Sep, 2023