- 自注意力神经网络的动力学平均场理论
使用非平衡 Hopfield 网络的路径积分方法研究了变压器网络的动力学规律,发现了与混沌分叉相关的非平衡相变等非平凡的动力学现象,并讨论了这种分析方法改善对变压器模型内部运作理解的潜力。
- 统计力学与人工神经网络:原理,模型和应用
神经科学,人工神经网络,统计力学,Hopfield 网络和 Boltzmann 机器是人工神经网络领域的主要研究课题。通过研究人工神经网络中的丢失函数的几何特征和可视化方法,可以提高其优化行为、泛化能力和整体性能。
- 稀疏和结构化 Hopfield 网络
利用 Fenchel-Young 损失函数,我们提出了一种稀疏 Hopfield 网络的统一框架,该网络与 transformers 中的 attention 有关,通过端到端可微分的稀疏变换实现更新规则,进而揭示了损失边界、稀疏性和准确内 - 记忆增强神经网络综述:认知洞见与人工智能应用
该论文探讨了记忆增强神经网络(MANNs),研究它们如何将类人记忆过程融入人工智能中,涵盖了感知记忆、短期记忆和长期记忆等不同类型的记忆,并将心理理论与人工智能应用联系起来。研究调查了包括霍普菲尔德网络、神经图灵机、相关矩阵记忆、记忆形态神 - 广义 Hopfield 网络中的原型学习 Waddington 景观
机器学习中的网络提供了类似于生物系统的复杂高维动力系统的示例。本文研究了广义 Hopfield 网络的学习动力学,展示了内部记忆的可视化。通过观察内部记忆的原型学习动力学,我们发现与细胞在 Waddington 地势图中分化时的低维动力学相 - ICML大型联想记忆检索中的上下文示例
以关联记忆模型为基础,将语境检索视为上下文检索的语言模型(LLM)的一种新途径,并研究了在上下文例子对 LLM 的性能影响下,更有效的例子选择方法。
- Hopfield - 增强的深度神经网络用于抗干扰的脑状态解码
通过提出一个组合了 Hopfield 网络(用于处理噪音数据)和卷积神经网络(用于分类不同麻醉水平下大鼠神经记录中的脑状态)的双阶段计算框架,本研究评估了我们的框架在处理神经记录中的噪音干扰方面的鲁棒性,结果显示我们的框架可以有效减轻噪音对 - 寻找分散的记忆:生成扩散模型是联想记忆网络
这项研究将能量模型和 Hopfield 网络的理论神经科学相结合,表明可以将离散模式的生成扩散模型训练解释为将 Hopfield 网络的关联动态编码到深度神经网络的权重结构中,实验证明连续 Hopfield 网络的存储容量与扩散模型的容量相 - 关于在设计用于解决命题可满足性问题的 Hopfield 网络中使用联想记忆的研究
自优化模型结合海比学习规则、重复网络重置和编码网络中某个理想目标状态,以解决 SAT 问题中的组合问题,并展示了它在解决难题过程中可能出现的副作用和给人以启发。
- ICLR单纯赫普菲尔德网络
通过向 Hopfield 网络中添加集合连接并将这些连接嵌入到单纯复合体中,我们可以提高存储容量以优化注意力机制,并探讨记忆模式的可靠性。
- 带有种植模式的 Hopfield 模型:教师 - 学生自监督学习模型
借助 Boltzmann 机的适当泛化 Hopfield 模型的结构化模式,构建了一个教师 - 学生自我监督学习问题模型,通过研究相图性质以及训练集大小,数据集噪声和推断温度对学习性能的影响,机器可以通过记忆来学习,并实现泛化学习。
- KDD网络嵌入的联想学习
本文介绍了一种利用 Hopfield Networks 进行联想学习的网络嵌入方法,通过节点内容和其邻居之间的关联来构建记忆,使用神经网络的循环动力学来恢复掩盖的节点以进行节点分类和链接预测,并与传统矩阵分解和深度学习方法进行了比较。
- 通用 Hopfield 网络:一种单次联想记忆模型的通用框架
本文提出了一个新颖的通用框架,可以将各种神经网络进行相似性、分离性和投影性等方面的比较,研究了类似 Hopfield 网络和现代连续 Hopfield 网络等各种记忆网络的运作机理,并发现在很多任务中,采用欧几里得距离或曼哈顿距离相似度测量 - CLOOB: 现代 Hopfield 网络结合 InfoLOOB 超越 CLIP
本研究提出使用 Hopfield 网络和 InfoLOOB 目标函数结合进行预训练来解决 CLIP 模型在零样本迁移学习中的过拟合问题,由实验得知,这种方法相比于仅使用 CLIP 模型,在多个架构和数据集上均具有更好的零样本迁移学习表现。
- ICLRHopfield 网络与受限玻尔兹曼机之间的映射
本文介绍一种精确映射,将具备相关模式的 Hopfield 神经网络转换成具备高斯隐藏变量的 Restricted Boltzmann Machines,并在 MNIST 数据集上进行实验来验证该映射对 RBM 权重的有益初始化。
- ICLR神经生物学和机器学习中的大型关联记忆问题
提出了一种微观理论,其中只需两体相互作用,就可以有效地描述大型关联内存,具有一定的生物可信度,并实现了能量最小化的动力学。
- 现代 Hopfield 网络和注意力机制在免疫库分类中的应用
研究表明,转换器体系结构的关注机制实际上是现代 Hopfield 网络更新规则,可以存储指数级多个模式,在免疫库分类等具有大量示例的问题中可以利用这种高存储容量来解决问题。通过将转换器类似的关注与现代 Hopfield 网络相结合,我们提出 - 神经网络的统计力学表述探究
通过统计力学的视角,提出了在吸引子网络方面的 Hopfield 网络和 Boltzmann 机之间的相似性,并给出了恢复 Hebbian 范式的两种替代方法。同时,强调了铁磁体和运算放大器以及反铁磁体和触发器之间的映射。