关键词gradient-based training
搜索结果 - 8
- 粗糙信号驱动的随机尖峰神经网络的精确梯度
基于粗路径理论，我们引入了一个数学严谨的框架，将随机尖峰神经网络建模为具有事件不连续性的随机微分方程 (Event SDEs)，并驱动着 cadlag 粗路径。我们提出了一组充分的条件，以确保解轨迹和事件时间相对于网络参数的路径梯度的存在， - 使用 Transformer 模拟序列和树上的加权自动机
通过标准的基于梯度的训练，我们展示了 transformers 模型能够模拟加权有限自动机和加权树自动机的推理能力，并在理论上证明了这些结果以及所需的 transformer 模型大小与目标自动机状态数的关系。
- ICCV基于参数的梯度信噪比引导的域泛化
本文提出了一种基于梯度信噪比的参数选择方法，以解决深度神经网络在源域过拟合的问题，并通过元学习方法减轻了搜索最佳 dropout 比率的负担。评估结果表明，在标准域泛化基准测试中，我们取得了分类和人脸防伪问题方面的竞争性结果。
- 关于学习图像压缩的统一标量量化
基于梯度训练的学习图像压缩中，量化方法的选择对于训练和测试的匹配性和梯度估计的风险存在权衡，本研究提出了一种基于随机均匀退火的方法，通过可调的温度系数来控制权衡，并使用两个巧妙的技巧改进了现有的量化方法，取得了比代表性图像压缩网络上现有方法 - 用简单的进化思想辅助基于梯度的强化学习
我们提出了一种简单而有效的强化学习算法，通过使用进化算子在强化学习中引入大的有向学习步骤，并使用具有共同经验缓冲区的强化学习代理人种群进行训练，从而有效地搜索策略空间。
- 使用固定稀疏掩码训练神经网络
本文提出了种方法，在深度神经网络的训练过程中，仅更新极少参数，通过一个由具有最大 Fisher 信息的 k 个参数组成的稀疏掩码选择一个参数子集进行多次迭代更新。实验证明，该方法在参数有效转移学习和分布式训练方面的表现可与其他方法相匹配或超 - NIPS提高深度脉冲神经网络训练性能的有效方法
本文介绍了一种新型的深度脉冲神经网络（DSN），它可以直接进行参数训练，不需要先用传统深度神经网络的训练结果来初始化；研究表明，在 DSN 中控制反向路径的膜电位初始值是非常重要的，同时本文提出了一种简单而有效的方法可以加快 DSN 的收敛 - 外推和学习方程
该研究提出了一种名为等式学习器（EQL）的新型函数学习网络，可以学习解析表达式，并能够外推到未知的领域。通过稀疏正则化可以得到简洁明了的可解释表达式，可用于高效的基于梯度的训练。