- 通过内部高维混沌活动进行生成建模
利用高维混沌系统中的内部混沌动力学作为一种从训练数据集中生成新数据点的方法,在一组基本架构中通过简单的学习规则来实现这一目标,并通过标准准确度度量来表征生成数据点的质量。
- ICLR发现具有时间感知的强化学习算法
最近的元学习进展使得可以自动发现由代理目标函数参数化的新型强化学习算法。本文提出一种对两种现有目标发现方法进行简单扩展的方案,允许在智能体的训练过程中动态更新其目标函数,从而获得具有表达能力的进度表,并增加在不同训练时间范围内的泛化能力。
- SNN 框架:面向数据科学的软件综述和 SpykeTorch 扩展
本研究回顾了 9 种用于建立 SNNs 的框架,重点介绍探究不同类型研究最适合框架的可能性的神经元模型和学习规则的可用性,并提供了一个扩展版本的 SpykeTorch 框架,向用户提供更广泛的可嵌入 SNNs 的神经元模型选择,并公开了代码 - 全纯平衡传播通过有限大小振荡计算精确梯度
该研究工作介绍了平衡传播 (EP) 在训练神经网络方面的应用,扩展了基于此的算法到全纯网络,能精确计算梯度,进而支持更深层数的模型训练,并在 ImageNet 数据集上与 BP 算法进行了对比,具有重要意义。
- 用神经微分方程学习神经网络连续学习规则的编程
本研究将学习规则和神经 ODE 相结合,构建了连续时间序列处理网络,学习如何在其他网络的快速变化的突触连接中操作短期记忆,这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型,同时 - 大脑皮层微电路的计算框架近似于符号一致的随机反向传播
本研究提出一种基于神经科学机制实现随机反向传播的框架,该框架采用三种类型的元件和两种类型的突触连接来计算和传播错误信号,并支持全局定义的尖峰误差函数的多层尖峰神经网络的训练。使用局部部件中操作的 Hebb 定律来更新突触权值并以生物学可行的 - 核化信息瓶颈在深度网络中引导基于生物的三因子赫布学习
提出一种基于信息瓶颈原理的学习规则,结合了核方法,并采用 3 要素的 Hebbian 结构,其不需要精确标签,且在图像分类任务上表现与反向传播算法接近。
- MM基于查询的 PAC 学习推理
本研究探讨了利用支持证明查询的数据集来学习规则的问题,通过修改足够不考虑知识库内容的后向证明搜索算法,可以同时学习这些规则,并使用它们进行证明搜索来给出像链接和解析这样的标准逻辑的算法。
- SpykeTorch:在每个神经元最多一个突触的情况下,高效模拟卷积脉冲神经网络
本文介绍了一个基于 PyTorch 的名为 SpykeTorch 的模拟框架,用于模拟深度卷积脉冲神经网络和学习规则,该框架具有高速、通用且基于张量计算的优点。
- 许可证痕迹和行为时间尺度上的可塑性: neoHebbian 三因素学习规则的实验支持
论文综述了三因素突触可塑性学习规则的四个关键实验,支持突触可塑性学习规则中的突触资格痕迹在时间尺度上的作用和第三因素的作用,以及乃伊 - 赫布三因素学习规则的生物实现。
- 在递归脉冲神经网络中通过稳定的局部学习预测非线性动态
提出一种基于前馈和反馈连接的异质性尖峰神经元网络的监督学习方案,采用负收益的反馈固定随机连接,与在线和本地规则同时改变权重,在线学习线性,非线性和混沌动力学以及两段臂的动力学。
- 利用时空同步学习编码运动
本篇论文研究了如何学习从视频中提取运动信息。作者提出可以将空间变换检测看作是检测图像序列和运动序列中的 features 同步,提出了一种基于本地乘法门控的快速学习规则,可以在只需花费特征学习时间的一小部分时间内实现在广泛的运动估计任务中竞