IJCAIAug, 2017

时间序列的玻尔兹曼机

PDF
TL;DR本文综述了针对时间序列扩展的玻尔兹曼机，介绍了后向传递算法通过时间学习参数的实现。此外，为了解决在线学习中 BPTT 的计算复杂度随着时间序列长度的线性增长的问题，介绍了动态玻尔兹曼机（DyBM）及其基于时间本地性的学习规则，该规则与生物神经网络中的时序相关可塑性（STDP）有关，并被实验证实。
boltzmann machinestime-seriesrecurrent structureback propagation through timespike-timing dependent plasticity
发现论文，激发创造
  • 通过尖锐时间依赖可塑性学习二进制或实值时间序列

    本文提出了一种动态玻尔兹曼机作为脉冲神经网络的模型，通过放松一些约束条件使其更适合计算和学习，并且将其学习过程视为二值时间序列的逻辑回归或高斯玻尔兹曼机，结果表明高斯玻尔兹曼机能够通过使用额外的解释变量来捕捉时间序列的长期依赖性并显著提高预测准确性。

    Dec, 2016

  • 使用玻尔兹曼机学习热力学

    通过学习物理系统中热力学量的 Boltzmann 机器，通过自发的学习机器，我们训练了 Boltzmann 机器， 并通过其生成的自旋状态检验热力学可观测量与直接 MC 采样的差距，证明了 Boltzmann 机器能够忠实地再现物理系统的可观测量，并观察到随着系统接近临界状态需要更多的神经元以获得准确的结果。

    Jun, 2016

  • 基于生物学启发的循环神经网络学习的反向传播时序算法替代方案

    通过实时与合适的自上而下学习信号合并本地可用信息，为循环神经网络提供了高效的学习算法，其中包括了神经形态芯片的在线训练，从而拓宽了大脑中的网络学习理解并在实验中得到了验证。

    Jan, 2019

  • 动态玻尔兹曼机用于二阶矩和广义高斯分布

    本文介绍了如何扩展动态玻尔兹曼机算法以适用于金融时间序列数据的预测，并取得了显著的性能改进。

    Dec, 2017

  • 基于目标投影的在线时空学习

    提出了一种新的在线时空学习算法 OSTTP，它解决了 BPTT 算法所遇到的种种问题，并在两个时态任务中证明了其竞争力；另外，该算法在记忆电阻神经形态硬件系统上得到了实现和展示其灵活性和适用性。

    Apr, 2023

  • 脉冲神经网络的在线时域训练

    本文提出了一种称为 OTTT 的 SNN 在线训练方法，通过跟踪神经前体活动和利用瞬时损失和梯度来实现向前的时间学习，并理论分析证明了 OTTT 的梯度能够在前馈和递归条件下提供与基于脉冲表示的梯度相似的下降方向，同时避免了 BPTT 对 GPU 训练的巨大内存成本。

    Oct, 2022

  • 长时依赖网络的时间反向传播

    本文介绍一种称为离散前向灵敏度方程和其变体的反向传播方法，该方法准确而且允许网络参数在每个后续步骤之间变化，但需要计算 Jacobian 矩阵，以适应现今人工神经网络的长期依赖关系的发展趋势。

    Mar, 2021

  • 从限制波尔兹曼机的隐藏层学习状态转移规则

    本文提出了一种从高维时间序列数据中提取少数基本隐藏变量的方法，并学习这些隐藏变量之间的状态转移规则的方法，实验结果表明该方法可以从观测到的状态转移中学习这些物理系统的动态，并预测未观测到的未来状态。

    Dec, 2022

  • 反向传播：超越空间、时间与大脑

    在生物神经网络中实现高效的学习需要对个体突触进行适应性调节，然而，由于时空依赖性的限制，目前对于如何进行高效的信用赋值仍然是一个值得研究的问题。本文提出了一种称为广义潜在均衡（GLE）的计算框架，用于在具有时空连续性神经动力学的物理网络中实现完全本地的时空信用赋值，该框架利用了生物神经元可以根据其膜电位相移其输出速率的能力。

    Mar, 2024

  • 单调深度玻尔兹曼机

    本研究提出了单调 Deep Boltzmann machines，架构允许全连接的权重结构的高效（近似）推理，可用于图像联合完成和分类。

    Jul, 2023