关键词approximation properties
搜索结果 - 9
- 使用随机浅层 ReLU 网络进行逼近，及其在模型参考自适应控制中的应用
用 ReLU 网络和随机生成的权重和偏置，在高概率下达到高于所需精度的近似，填补了关于神经网络控制中的近似性质的证明缺失。
- 关系函数和注意力机制的近似
通过分析内积关系，研究了神经网络特征图的内积在模拟输入之间的关系方面的广泛应用，证明了多层感知器自身的内积是对称正定关系函数的普遍逼近器，而两个不同多层感知器的内积是非对称关系函数的普遍逼近器，并通过内积关系将任何抽象预订定义的检索机制近似 - 理解 Transformer 在序列建模中的表达能力和机制
我们对 Transformer 在序列建模中长、稀疏和复杂内存的逼近性质进行了系统研究，调查了 Transformer 的不同组件（如点积自注意力、位置编码和前馈层）对其表达能力的影响机制，并通过建立显式的逼近率来研究它们的综合效应。我们的 - 切片匹配算子的逼近特性
基于迭代切片匹配程序，本文研究了与切片匹配操作符相关的近似性质，包括源测度的不变性、目标测度的等变性、以及切片方向上的利普希茨连续性。探讨了通过一步切片匹配方案近似目标测度的误差界限，并揭示了切片匹配操作符在恢复两个测度之间的最优传输映射的 - 神经网络分类器的过度风险收敛速率
神经网络在模式识别和分类问题中的成功表明其具备与支持向量机（SVMs）或提升分类器等其他传统分类器不同的特性。本文研究了基于神经网络的插件分类器在二元分类设置中的性能，以其超出风险的度量为基准。相较于文献中的典型设置，我们考虑了更一般的实践 - Barron 型空间的嵌入不等式
本文研究深度学习理论中关于高维度下两层神经网络逼近和泛化特性的问题，引入 Barron 空间和谱 Barron 空间来探究函数的光滑度，建立了这两种空间之间的连续嵌入关系，提供了实例证明下界是紧的。
- 线性时态卷积网络的正向和反向逼近理论
本篇论文对卷积架构在建模时序序列中的逼近性质进行了理论分析，证明了逼近速率估计和逆逼近定理，并通过引入改进的复杂度测度来提高速率估计。逆逼近定理是新的，两者共同提供了卷积架构能够高效捕捉的时序关系类型的综合特征。
- 有限权重神经网络的逼近的测度论结果
本文研究带有有限方向和阈值变化的单隐层神经网络的逼近性质，并且获得衡量该网络在连续函数空间中密度的充分必要条件。此外，我们针对特定构造的激活函数和固定数量的神经元证明了网络密度的结果。
- 神经网络逼近
该篇论文调查了神经网络的近似性质，特别是使用 ReLU 激活函数的非线性流形，并比较了这种近似方法与传统数值分析中使用的近似方法之间的差异，着重分析了数值稳定性问题，发现在一定程度上提高了近似能力，但以数值稳定性为代价。