May, 2023

线性时态卷积网络的正向和反向逼近理论

PDF
TL;DR本篇论文对卷积架构在建模时序序列中的逼近性质进行了理论分析，证明了逼近速率估计和逆逼近定理，并通过引入改进的复杂度测度来提高速率估计。逆逼近定理是新的，两者共同提供了卷积架构能够高效捕捉的时序关系类型的综合特征。
convolutional architecturestemporal sequencesapproximation propertiesapproximation rate estimateinverse approximation theorem
发现论文，激发创造
  • 非线性递归神经网络的逆近似理论

    该研究提出了一种逆逼近定理，论证了使用 RNN 对非线性序列关系进行逼近的能力受到存储结构的限制，并提出了一种基于理论分析的重新参数化方法以克服这种限制。

    May, 2023

  • 基于 Transformer 网络的序列建模近似理论

    本文探讨了 Transformer 在逼近序列关系上的能力和结构属性，通过证明其 hypothesis 空间的普适逼近定理，得出了一种新的正则化概念，并对其逼近率进行了显式估计，进而揭示了其与传统序列建模方法之间的结构偏差。

    May, 2023

  • 非线性卷积网络的高效准确近似

    本文旨在加速深度卷积神经网络的测试时间计算，通过最小化非线性响应的重建误差，附加一种低秩约束，以帮助降低过滤器的复杂度，该算法可以减小多层输入的叠加误差并提高模型精度，可将 ImageNet 的训练速度提升 4 倍，精度提高 4.7%。

    Nov, 2014

  • 探索卷积神经网络的可逆性

    论文讨论卷积神经网络近似可逆性及其在稀疏信号恢复方面的数学模型，并给出一种精确的模型基础压缩感知与其恢复算法和随机权重 CNN 的连接。作者通过实验得出多个学习网络与数学分析一致，以简单的理论框架合理地重构实际图片。同时，作者也探讨了我们的模型假设与实际场景分类训练的 CNN 之间的差距。

    May, 2017

  • 深度神经网络逼近不变函数的近似度和复杂度

    该研究在理论上研究了深度神经网络在不变函数中的逼近和复杂度特性，证明了不变函数可以被各种类型的神经网络模型进行渐近逼近，并且提供应用于高分辨率信号的参数估计和预测的技术。

    Oct, 2022

  • 线性双时间尺度随机逼近的收敛速率

    本研究讨论了线性二时间尺度随机逼近方法的收敛速度，证明了它们的渐进协方差和建立了渐近正态性，通过本文的一般结果，证明了著名的 Polyak-Ruppert 平均技术在线性随机逼近中的最优性。

    May, 2004

  • 关于逆可逆神经网络逼近双 Lipschitz 映射的研究

    本文通过分析基于耦合的可逆神经网络（INN）对紧致域上的双 Lipschitz 连续映射的容量，得出同时很好地逼近正向和逆向映射的结论。此外，通过将模型简化、主成分分析和 INN 相结合，提出了一种在无限维空间上同时逼近正向和逆向映射的逼近方法，并分析了该方法的整体逼近误差。初步的数值结果显示该方法在逼近参数化二阶椭圆问题的解算符方面的可行性。

    Aug, 2023

  • 基于时序卷积神经网络的概率预测

    本研究基于卷积神经网络提出了一种概率预测框架，可用于多个相关时间序列的预测，并可在参数和非参数设置下估计概率密度。该方法通过堆叠残差块实现了序列的时间依赖关系，并通过表示学习捕获了季节性、假日效应等复杂模式，实验证明该框架在精度和效率方面均优于当前其他方法。

    Jun, 2019

  • 深度神经网络近似理论

    本文通过深度神经网络的 Kolmogorov 最优化来发展其基本极限，并阐述了深度网络对于不同函数类的 Kolmogorov 最优逼近性，其提供了指数级的逼近精度，并且在逼近足够光滑的函数时，相较于有限宽深网络，有限宽深层网络需要更小的连通性。

    Jan, 2019

  • 可微分的时间逻辑公式推理

    本文介绍了一种新型的循环神经网络结构，可用于学习信号时间逻辑公式，并对公式推导方法进行了系统性比较。通过梯度下降训练神经网络，在不施加特定模板的情况下推导出公式结构和参数，可在实现类似分类误差率（MCR）的情况下发挥作用。研究人员还发现时间逻辑推断问题存在欠确定性。

    Aug, 2022