full-FORCE:一种基于目标的循环神经网络训练方法
本研究提出一种监督式训练程序,运用递归最小二乘法的 FORCE 算法来拟合每层过程的目标,以控制反馈回路,促进 RSNNs 神经元网络动力系统的训练,提高其性能和抗噪性并使用 TTFS 编码来进行能效硬件实现。
May, 2022
本文介绍一种名为 FORCE 的机器学习技术,用于训练类似于动态系统、输入分类和存储离散序列的脉冲神经网络,通过该方法可以生物学地模拟斑马雀和海马的神经回路的行为,产生比传统技术更复杂的神经网络行为以及与药理学因素相关的行为响应和神经兴奋的时间统计信息。
Sep, 2016
本文介绍了教师强制算法和教授强制算法,采用对抗性域适应,使得递归网络在训练和多阶段抽样时的动态相同,并应用于语言模型、原始波形的声音合成、手写生成和图像生成。实验证明,本文方法在字符级 Penn Treebank 和连续 MNIST 的测试似然度上有所提升,并且样本的质量在高时间步长的采样时有所改善。
Oct, 2016
本文介绍了一种训练脉冲神经网络的方法,通过结合使用连续模型网络和脉冲模型神经元,使其能够自主产生动态模式,并模拟生理数据,这提供了一种新的方法用于训练脉冲神经网络,并探讨了神经系统中表示和计算的重要问题。
Jan, 2016
论文介绍了一种基于早期理论结果的算法,该算法基于反向传播和矩阵操作,可以训练前馈神经网络来近似动态系统,并将其转换为递归网络,以模拟原始系统的动态行为。
Dec, 2015
本文提出了使用自适应学习框架解决多目标过滤的固定运动和测量模型问题,通过使用随机有限集术语定义目标元组以及利用具有长短期记忆结构的递归神经网络,提出了一种与预测轨迹元组兼容的新型数据关联算法,使得能够更新被遮挡的目标以及分配目标的出生、存活和死亡。该算法在一个常用的过滤器模拟场景中进行了评估,结果非常有前途。
Jun, 2018
本文利用多模态变分自动编码器、稀疏教师强制和循环神经网络,从不同的时间序列数据模态中,重建出非线性动力系统的基本特性(data-generating DS),并实现了较好的效果。
Dec, 2022
本文提出了一种有效构建深度图神经网络的方法。该方法利用动力系统中固定点的思想,通过递归神经网络实现,并采用深度架构组织递归单元。我们证明了即使在没有训练递归连接的情况下,小型的深度图神经网络的性能也能达到或超过当前最先进的图分类任务水平。
Nov, 2019
本文提出了一种简单的循环神经网络架构,即傅里叶循环单元 (FRU),它稳定了训练中出现的梯度,同时为我们提供了更强的表现能力。具体而言,FRU 使用傅里叶基函数概括了沿时间维度的隐藏状态 $h^{(t)}$,使得由于残差学习结构和三角函数的全局支持,梯度可以轻松地到达任何层。我们还展示了 FRU 具有与时间维度无关的梯度下限和上限,以及得到 FRU 强表现力的稀疏傅里叶基的优势。我们的实验研究还表明,与其他循环架构相比,所提出的架构在许多任务上具有更少的参数且表现更好。
Mar, 2018
本文提出了一种基于任务条件化超网络的新方法,使得连续学习的模型可以通过简单的关键特征记住特定任务的权重实现在记忆中的持久化,并在标准连续学习基准测试上达到了最先进的性能,同时揭示了该方法在迁移学习上的应用前景。
Jun, 2019