Dec, 2023

STanHop: 稀疏串行霍普菲尔德模型用于增强记忆的时间序列预测

PDF
TL;DRSTanHop-Net 是一种具有增强记忆能力的多变量时间序列预测模型，其核心是 STanHop，一种稀疏学习和存储时间和跨系列表示的 Hopfield 网络块。此外，STanHop 还包括两个外部记忆模块：Plug-and-Play 模块和 Tune-and-Play 模块，分别用于无需训练和任务感知的记忆增强。方法上，我们以层次化方式堆叠 STanHop 块来构建 STanHop-Net，实现具有分辨率特定稀疏性的多分辨率特征提取。在理论上，我们介绍了现代 Hopfield 模型的稀疏扩展（广义稀疏现代 Hopfield 模型），并表明相较于密集对应物，它提供了更紧致的记忆检索误差而不损失记忆容量。在实证上，我们验证了该框架在合成和真实世界环境中的有效性。
发现论文，激发创造
  • 稀疏和结构化 Hopfield 网络

    利用 Fenchel-Young 损失函数，我们提出了一种稀疏 Hopfield 网络的统一框架，该网络与 transformers 中的 attention 有关，通过端到端可微分的稀疏变换实现更新规则，进而揭示了损失边界、稀疏性和准确内存检索之间的联系。同时，我们通过 SparseMAP 变换将该框架进一步扩展到结构化 Hopfield 网络，能够检索模式关联而不是单个模式。多实例学习和文本理据化的实验证明了我们方法的有效性。

    Feb, 2024

  • 非参数化现代 Hopfield 模型

    我们提出了一种用于深度学习兼容的现代 Hopfield 模型的非参数构建方法，并利用该框架推出了一种高效的变体。

    Apr, 2024

  • 稀疏现代 Hopfield 模型

    稀疏的现代 Hopfield 模型通过基于凸共轭的稀疏熵正则化函数推导出闭合形式的稀疏 Hopfield 能量，从而实现了稀疏注意机制和记忆检索动态，并证明了其一步近似等价于稀疏结构的注意力机制，此外，提供了稀疏度相关的记忆检索误差界，表明稀疏性的优势和条件，并表明稀疏的现代 Hopfield 模型保持了其密集对应物的强大理论性能，包括快速固定点收敛和指数级的存储容量。在实验上，使用合成和真实数据集证明稀疏 Hopfield 模型在许多情况下优于其密集对应物。

    Sep, 2023

  • 通用 Hopfield 网络：一种单次联想记忆模型的通用框架

    本文提出了一个新颖的通用框架，可以将各种神经网络进行相似性、分离性和投影性等方面的比较，研究了类似 Hopfield 网络和现代连续 Hopfield 网络等各种记忆网络的运作机理，并发现在很多任务中，采用欧几里得距离或曼哈顿距离相似度测量比点积相似度测量更具优势，将使检索更加稳健、记忆容量更大。

    Feb, 2022

  • 超 ST-Net：用于时空预测的超网络

    本文提出了一种基于 hypernetworks 的通用框架 HyperST-Net，用于深度学习的空间 - 时间数据，包括空间模块、时间模块和推理模块，通过在神经网络中设计不同类型的 HyperST 层，本文将其应用于三种不同的真实世界任务，并取得了显著的改进。

    Sep, 2018

  • 现代 Hopfield 模型的统一内存检索与更大容量

    通过使用可学习的特征映射，该研究提出了一种用于现代 Hopfield 模型的两阶段记忆检索动力学，称为 U-Hop，以增强记忆容量，并通过在内核空间中分离存储的内存模式来减少可能的亚稳态，从而提高了记忆容量和检索效果。

    Apr, 2024

  • Hopfield 网络的鲁棒指数记忆

    通过最小化概率流量，设计出一种具有指数级噪声容忍内存的 Hopfield 循环神经网络，该网络不仅能够实现 Shannon 信道容量界限，还可以高效地解决计算机科学中的隐藏社团问题，为来自生物学的计算模型的实际应用敞开了新的大门。

    Nov, 2014

  • 带有种植模式的 Hopfield 模型：教师 - 学生自监督学习模型

    借助 Boltzmann 机的适当泛化 Hopfield 模型的结构化模式，构建了一个教师 - 学生自我监督学习问题模型，通过研究相图性质以及训练集大小，数据集噪声和推断温度对学习性能的影响，机器可以通过记忆来学习，并实现泛化学习。

    Apr, 2023

  • 分层联想记忆

    本文描述了一种完全反馈的关联记忆模型，具有任意数量的层，其中一些层可以是局部连接的（卷积），以及相应的能量函数，该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈，以帮助较低层神经元决定它们对输入刺激的响应。

    Jul, 2021

  • 用于大型基于 Transformer 的模型的高效离群层

    我们介绍了一种异常值高效的现代 Hopfield 模型（命名为 OutEffHop），并使用它来解决量化巨大的基于 Transformer 的模型中的异常值引起的挑战。

    Apr, 2024