non-linear functions | BriefGPT

关键词non-linear functions

搜索结果 - 7

转换器中非线性操作的遗传量化感知近似
本文提出了一种基因 LUT 逼近算法，用于优化 Transformers 中的非线性函数的手段，该算法通过量化意识自动确定参数，并在常规和线性 Transformer 模型上实现可忽略的性能下降，同时实现了 81.3~81.7% 的面积节省
PDF3 months ago
一次梯度下降后两层网络中特征学习的渐近性
通过连接非线性尖峰矩阵模型和高斯普遍性的最新进展，我们确切描述了两层神经网络在高维极限中的泛化误差，其中样本数 (n)、宽度 (p) 和输入维度 (d) 以相同的速度增长，同时阐明了数据适应对网络在梯度方向高效学习非线性函数的重要性，而在初
PDF5 months ago
使用 Transformer 实现功能梯度下降来学习上下文中的非线性函数
很多神经网络架构都被证明是图灵完备的，然而，变压器在简单参数配置下能够实现基于梯度的学习算法，包括非线性激活函数情景下学习非线性函数的理论和实证研究。
PDF7 months ago
从黑匣子决策中提取激励
本文提出了一种理解算法激励作用的数学框架，将其视为解决马尔可夫决策过程的挑战，并借助求解 MDP 的工具包 (如树形规划、强化学习) 来识别每个人在给定模型下受到激励的最佳动作，并通过两个真实世界环境下的实例展示了该方法的实用性。
PDF5 years ago
ICML使用随机门进行特征选择
本研究为高维非线性函数估计问题提出了一种基于 Bernoulli 分布连续松弛和梯度下降的特征选择方法，通过最小化指示变量向量的 l0 范数，同时选择相关特征和最小化损失函数。这种方法在合成和真实应用程序中表现出良好的潜力，并提供了将伯努利
PDF6 years ago
神经网络中逼近自然函数的深度 - 宽度权衡
本文提供了一些新的基于深度的前馈神经网络分离结果，证明了各种类型的简单自然函数可以更好地用深层网络逼近比更浅的更大的网络，这包括指示球和椭圆体的指示器，$L_1$ 范数下径向非线性函数，以及平滑的非线性函数。我们还展示了这些差距的实验观察结
PDF8 years ago
CMA 进化策略：教程
本文介绍了 CMA 进化策略（ES），其中 CMA 代表协方差矩阵适应。CMA-ES 是一种随机或随机化方法，用于实参数（连续域）优化非线性、非凸函数。本文试图从直观概念和在连续域内非线性、非凸搜索的要求中激发和推导算法。
PDF8 years ago