activation function | BriefGPT

关键词activation function

搜索结果 - 83

ICML通过近似和共享反向传播减少微调内存开销
本文主要关注细调预训练大型模型的内存开销问题，从激活函数和层归一化的角度来减轻内存开销，并通过引入 Approx-BP 理论，提出了 GELU 和 SiLU 激活函数的内存高效替代方案，以及 Memory-Sharing Backpropa
PDF8 days ago
一种通用逼近定理的初等证明
本研究通过三个隐藏层和不断增强、连续、有界激活函数的神经网络提供了一种简单的方法来证明一种通用逼近定理。此结果相对于最佳结果较弱，但证明过程只使用了本科分析学的基础知识。
PDF18 days ago
三层神经网络非多项式激活函数的记忆容量
神经元、前馈神经网络、激活函数、插值、插值能力
PDFa month ago
一种寻找更好激活函数的方法
通过信息熵的角度，本研究理论上证明了存在具有边界条件的最差激活函数，提出了基于熵的激活函数优化方法（EAFO），并从 ReLU 中推导出了一种新的激活函数 CRReLU。实验证明 CRReLU 在深度神经网络中表现优异，并在大型语言模型细调
PDFa month ago
IJCAI物理信息神经网络：用宽网络和有效激活减小残差损失
本研究分析了物理信息神经网络（PINNs）中的剩余损失，并发现了通过研究其在临界点处的特性，找到了实现有效训练的条件。我们的分析揭示了一个良好高阶导数的激活函数在最小化剩余损失中起关键作用，进而提供了设计和选择 PINNs 有效激活函数的理
PDF2 months ago
具有通用激活函数的全连接双层神经网络的解空间和存储容量
我们通过统计物理学中的复制法，分析具有通用激活函数的全连接双层神经网络的解空间结构和存储容量，并发现存储容量与参数的关系是有限的，在无限宽度的条件下，网络的权重表现出负相关性，并且随着数据集大小的增加，存在一个特定的转变点触发相变，权重的置
PDF2 months ago
物品或关系 — 人工神经网络学习了什么？
人工神经网络（ANN）通过成功训练来解决任务后，学到的是训练项集还是它们之间的关系？在现代应用的 ANN 中，这个问题很难回答，因为其规模和复杂性巨大。因此，我们在这里考虑一个低维网络和一个简单任务，即网络必须完全复制一系列训练项。我们通过
PDF3 months ago
非线性增强的自适应激活函数
通过引入具有偶次立方非线性的简单实现的激活函数，可以提高神经网络的准确性，而不需要大量的计算资源。这部分是通过收敛性和准确性之间的显著折衷来实现的。该激活函数通过引入可优化参数来增加标准 RELU 函数的自由度，从而调整非线性程度。通过与标
PDF3 months ago
探索关系：变换自适应激活函数与其他激活函数的比较
TAAFs 是一种具有任意垂直和水平平移缩放的新型自适应激活函数，它广义地归纳了 50 多种现有激活函数和 70 多种其他激活函数的类似概念，证明了其作为一种有前景且适应性强的神经网络增强方法。
PDF5 months ago
IJCAIAPALU：一种用于深度学习网络的可训练自适应激活函数
训练激活函数 APALU 在深度学习中具有鲁棒性和适应性，通过提升深度神经网络和递归神经网络在各种任务中的学习性能，以及在图像分类、异常检测和回归任务中广泛应用的激活函数的改进，证明其在不同的深度学习应用中表现出稳定性和效率的特点。
PDF5 months ago
ReLU$^2$ 胜出：发现稀疏 LLMs 的高效激活函数
基于对神经元输出大小和阈值的调整，我们提出了一种通用方法，用于定义神经元激活，并证明非 ReLU 的大语言模型也可以呈现稀疏激活。通过对不同激活函数的模型进行全面的实验，我们发现采用 ReLU$^2$ 的模型在稀疏性、预测性以及硬件亲和性等
PDF5 months ago
任务结构和非线性性共同决定了学习到的表征几何
通过研究具有一个隐藏层的网络的学习动态，我们发现网络的激活函数对于表示几何的影响强于预期：Tanh 网络倾向于学习反映目标输出结构的表示，而 ReLU 网络保留了更多关于原始输入结构的信息。这种差异在广泛的参数化任务中一直存在，我们在这些任
PDF5 months ago
神经网络在近似和优化方面的限制
我们研究了神经网络作为替代模型来近似和最小化优化问题中的目标函数的使用，通过确定适合目前非线性优化测试问题目标函数近似的最佳激活函数来提供证明，我们分析通过插值 / 回归模型和神经网络获得的函数值、梯度和 Hessian 矩阵的近似精度，结
PDF7 months ago
欠参数化的学生网络应该复制还是平均教师权重？
通过神经网络可以对任何连续函数进行无限接近的逼近，本文讨论了当函数本身是一个具有一层隐藏神经元和 k 个神经元的神经网络时，使用具有 n 个神经元的神经网络对 f * 进行逼近可以看作是将一个欠参数化的 “学生” 网络与一个具有 k 个神经
PDF8 months ago
关于 Kolmogorov 神经网络
本文通过 Kolmogorov 两层神经网络模型展示了第二隐藏层中采用连续、不连续有界或无界的激活函数可以精确表示连续函数、不连续有界函数和所有无界多元函数。
PDF8 months ago
INCODE: 具有先验知识嵌入的隐式神经调节
INCODE 是一种利用深度先验知识增强 INR 中正弦基准激活函数的控制的新方法，它通过调整激活函数的关键参数来优化表示过程，不仅在表示方面出色，而且在处理音频、图像、3D 形状重建以及神经辐射场（NeRFs）和逆问题（包括降噪、超分辨率
PDF8 months ago
超越 IID 权重：稀疏和低秩深度神经网络也是高斯过程
本文扩展了 Matthews 等人 (2018) 的重要证明，针对一类更大的初始权重分布（我们称之为 PSEUDO-IID），包括 IID 和正交权重，以及计算速度加快的低秩和结构稀疏设置。我们展示了使用 PSEUDO-IID 分布初始化的
PDF8 months ago
EMNLP神经网络中的特征提取机制揭示
我们提出了一种基于神经切向核函数（NTKs）的理论方法来研究神经网络在捕捉精确知识方面的潜在机制，并发现激活函数的选择会影响特征提取，此外我们还发现自注意力模型和 CNN 模型在学习 n 元语法方面的局限性，而基于乘法的模型则在该领域表现出
PDF8 months ago
无限宽度双层 ReLU 神经网络的同伦放松训练算法
本研究提出了一种名为同伦松弛训练算法（HRTA）的新型训练方法，旨在加速传统方法中的训练过程。算法融合了两种关键机制：一种涉及构建一个同伦激活函数，将线性激活函数和 ReLU 激活函数无缝连接；另一种技术涉及松弛同伦参数以增强训练的精细化过
PDF9 months ago
带有 ReLU，leaky ReLU 和 softplus 激活函数的深度神经网络能够在 $L^p$ 意义下，证明地克服 Kolmogorov 偏微分方程中具有 Lipschitz 非线性的维数灾难
深度学习方法在逼近高维偏微分方程方面的研究，尤其是通过神经网络和活化函数的选择，可以有效地克服维数诅咒，并能够在多项式时间内以任意精度逼近解，为解决偏微分方程提供了广泛应用的前景。
PDF9 months ago