- QuasiNet:具备可训练的乘积层的神经网络
我们提出了一种灵感来自现有神经网络模型的新的神经网络模型,该模型具有所谓的乘积神经元和源自传统误差反向传播的学习规则,优雅地解决了互斥情况的问题。与现有的乘积神经元不同,我们的神经元层的乘积层也可以学习。我们对模型进行了测试,并将其成功率与 - 复制猫感知器:通过集体学习打破障碍
我们研究了一种具有热噪声的模型,其中学生之间的铁磁耦合与权重的汉明距离成正比,发现耦合会使相图的相应区域向更小的值转移,从学习角度来看,这些结果表明更多的学生在耦合的情况下能够用更少的数据学习相同的规则。
- 无偏权重最大化
基于生物学可行性的人工神经网络训练方法,采用强化学习机制来训练每个神经元单元,提出了权重最大化的解决方案,分析了权重最大化的理论特性,并提出了无偏权重最大化的变体来加快学习速度和改进渐进性能。
- 学习算法的统计不可区分性
本文讨论如何通过总变差(TV)距离度量学习规则的输出相似性,提出了 TV 不可辨认性的信息论等价性和统计学放大以及提升算法,并研究了基于 TV 不可辨认性的假设类可学习性。
- 突触动力学实现一阶自适应学习和权重对称性
本文尝试回答生物神经系统是否可以采用梯度的一阶自适应优化方法,通过在突触内使用生物合理的机制呈现了 Adam 优化器的实现,提出了一个新的方法应用于生物合理的 Adam 学习规则,这些机制可能有助于阐明生物突触动力学如何促进学习。
- 具有普遍单调误差的普遍一致学习规则
我们提出了一种普遍一致的学习规则,其期望误差在每个数据分布下随样本量单调非增。该规则是一种完全确定性的、数据依赖的划分规则,使用循环顺序在任意域(标准 Borel 空间)中构建。其核心思想是只在每个步骤中对那些表现出足够经验多样性的循环区间 - 本地可塑性规则可使用自监督对比预测学习深度表征
这篇论文提出了一种受到神经科学和自监督深度学习最新进展启发的学习规则,使用局部,赫布规则进行权重更新,并具有深度分层的图像、语音和视频表示。
- 基于首次发放时间的快速高效的神经形态深度学习
本文介绍了如何使用第一个尖峰时间作为学习规则,在网络中实现误差反向传播,同时在 BrainScaleS-2 神经形态系统上验证了该框架。研究了该方法在其他神经形态平台上的性能表现。
- 斯塔克贝格博弈中的学习动态收敛
本文研究了斯塔克伯格博弈中学习动态的收敛性,并提出了一种基于梯度的学习更新规则,用于训练生成对抗网络。
- 竞争隐藏单元的无监督学习
提出了一个与生物学有相当可信度的非常规学习规则,可以通过全局抑制作用于隐藏层,能够完全无监督的学习早期特征检测器,这些学过的下层特征检测器可用于以惯常的有监督方式训练更高层次的权重,以使整个网络的性能与通过反向传播算法端对端训练的前馈网络的 - ICLR函数空间中的网络测量和正则化
本文介绍了利用 L2 Hilbert 空间计算函数距离的方法,探讨了参数 L2 距离与函数 L2 距离之间的关系及其应用于多任务学习和学习规则方面的研究。
- ICML最小化最大损失:如何和为什么?
本文介绍了一种算法,该算法可以将任何在线算法转换为最大损失的最小化器。我们证明,在某些情况下,要在训练集上获得更好的准确性对于获得好的性能至关重要。最后,我们提出了处理异常值的鲁棒版本的方法。
- NIPS学习混合均值的选择性的在线算法
我们开发了一种生物上可行的学习规则,称为 Triplet BCM,该规则可证明收敛于一般混合模型的类均值。通过引入来自混合物的三元组(triplets)样本,Triplet BCM 实现了一种新颖的信息处理解释。我们提供了这个学习规则的完整 - 异步更新伊辛模型的极大似然重构
描述了异步动力学 Ising 模型中的耦合如何被推测,并讨论了两种情况下的学习规则和数值方法。
- 通过动态电导扰动进行脉冲神经网络中的梯度学习
本文提出了一种估算脉冲神经网络突触权重目标函数梯度的方法,通过测量神经元膜电导动态扰动对目标函数的影响波动,可适用于具有动态突触的传导模型神经元的循环网络,可以解释为一种生物学上合理的突触学习规则。