taylor expansion | BriefGPT

关键词taylor expansion

搜索结果 - 10

神经网络海森矩阵的可证界：导数保持可达性分析
我们提出了一种针对具有可微激活函数的神经网络的新型可达性分析方法。我们的想法依赖于基于一阶泰勒展开的神经网络映射的有声抽象，并对余项进行边界约束。为此，我们提出了一种计算网络一阶导数（梯度）和二阶导数（海森矩阵）的解析上界的方法。我们的方法
PDFa month ago
MB-TaylorFormer：基于 Taylor 公式扩展的多分支高效 Transformer 用于图像去雾
近年来，Transformer 网络开始取代纯卷积神经网络在计算机视觉领域的应用，但是其二次计算复杂度的 softmax-attention 限制了高分辨率图像去雾任务的广泛应用。因此，我们提出了一种新的 Transformer 变体，应用
PDF10 months ago
迭代分段仿射逼近（IPA）用于语言建模
本研究利用一阶泰勒展开对一般函数进行近似，引入迭代和分段建模提出了 IPA 算法并应用于语言建模，通过与 Transformers 进行比较，将 IPA 算法在小的序列长度下的交叉熵损失的下一个标记预测任务中表现出了与 Transforme
PDFa year ago
利用平滑性需要多少样本？
本文通过推导一种新的泛化误差下限，研究了通常在经典学习理论陈述之外通常未描述的常数和瞬态区域在实践中起到的支配作用，并探讨了基于 Fourier 或小波展开替代 Taylor 展开所带来的影响，进一步研究了统计学习中的核心原则 - 平滑性如
PDFa year ago
多标签分类的不对称多项式损失
本文提出了一种有效的非对称多项式损失函数 (APL)，通过泰勒展开和改进多项式函数系数等方式，采用非对称聚焦机制减缓了二元交叉熵 (BCE) 损失函数不足之处，并验证了多项式系数可以重新校准非对称聚焦超参数，实验证明了该方法可以在关系提取、
PDFa year ago
鲁棒可微 SVD
本文提出一种利用 SVD 和 Taylor expansion 的方法，用于求解 close eigenvalues 时计算 eigenvectors 的梯度，从而提高 integrating eigendecomposition into
PDF3 years ago
ICML一种用于贝叶斯 ODE 滤波器的傅里叶状态空间模型
本论文探讨了高斯 ODE 滤波的 Fourier 状态空间模型与 Taylor-Brownian 运动的混合模型，证明了此混合模型可以成为一种廉价且有效的预测工具。
PDF4 years ago
高度平滑凸优化的近乎最优方法
该研究提出了一种在 oracle 模型下，用高斯凸优化问题的 $p$ 阶 Taylor 拓展在查询点处获得的方法，可以实现任意 $p$ 阶导数为 Lipschitz 的凸函数的收敛速率 $\tilde {O}(1/k^{(3p+1)/2})
PDF6 years ago
一组用于椭圆界面问题的浸入式有限元空间
我们提出了一个统一的框架，用于开发和分析浸入式有限元 (IFE) 空间，以便解决具有界面无关网格的典型椭圆界面问题。该框架允许我们构建一组新的 IFE 空间，其中包括线性的、双线性的或旋转 Q1 的多项式。在这些 IFE 空间中的函数是局部
PDF8 years ago
高斯核的显式逼近
通过基于指数的泰勒展开的显式有限多项式特征表示，我们研究了训练和使用高斯核 SVM，尽管在特征数量方面不如最近提出的随机傅里叶特征 [Rahimi and Recht, 2007] 高效，但我们展示了这种多项式表示法可以在计算成本上提供更好
PDF13 years ago