Apr, 2024

BiSHop: 基于广义稀疏现代霍普菲尔德模型的双向表格数据学习

PDF
TL;DR介绍了一种新型的端到端深度表格学习框架 BiSHop，它处理深度表格学习的两个主要挑战：非旋转不变数据结构和表格数据中的特征稀疏性。通过在每个尺度上具有自适应稀疏性的多尺度表示学习，BiSHop 捕捉了特征内部和特征间的交互，并在多个真实世界数据集上通过实验证明，相比于当前的 SOTA 方法，BiSHop 具有更少的 HPO 运行次数，是深度表格学习的强大解决方案。
发现论文，激发创造
  • STanHop: 稀疏串行霍普菲尔德模型用于增强记忆的时间序列预测

    STanHop-Net 是一种具有增强记忆能力的多变量时间序列预测模型，其核心是 STanHop，一种稀疏学习和存储时间和跨系列表示的 Hopfield 网络块。此外，STanHop 还包括两个外部记忆模块：Plug-and-Play 模块和 Tune-and-Play 模块，分别用于无需训练和任务感知的记忆增强。方法上，我们以层次化方式堆叠 STanHop 块来构建 STanHop-Net，实现具有分辨率特定稀疏性的多分辨率特征提取。在理论上，我们介绍了现代 Hopfield 模型的稀疏扩展（广义稀疏现代 Hopfield 模型），并表明相较于密集对应物，它提供了更紧致的记忆检索误差而不损失记忆容量。在实证上，我们验证了该框架在合成和真实世界环境中的有效性。

    Dec, 2023

  • 稀疏和结构化 Hopfield 网络

    利用 Fenchel-Young 损失函数，我们提出了一种稀疏 Hopfield 网络的统一框架，该网络与 transformers 中的 attention 有关，通过端到端可微分的稀疏变换实现更新规则，进而揭示了损失边界、稀疏性和准确内存检索之间的联系。同时，我们通过 SparseMAP 变换将该框架进一步扩展到结构化 Hopfield 网络，能够检索模式关联而不是单个模式。多实例学习和文本理据化的实验证明了我们方法的有效性。

    Feb, 2024

  • 非参数化现代 Hopfield 模型

    我们提出了一种用于深度学习兼容的现代 Hopfield 模型的非参数构建方法，并利用该框架推出了一种高效的变体。

    Apr, 2024

  • 用于表格生物医学数据的局部稀疏神经网络

    本研究提出了一种适用于生物医学领域、intrinsically interpretable 的神经网络框架，采用局部稀疏网络和 gating 网络实现对样本的 sample-specific sparsity 预测，减少了对小样本数据的过拟合，提高了模型的可解释性，并证明了该模型在生物预测任务中的优越性。

    Jun, 2021

  • 稀疏现代 Hopfield 模型

    稀疏的现代 Hopfield 模型通过基于凸共轭的稀疏熵正则化函数推导出闭合形式的稀疏 Hopfield 能量，从而实现了稀疏注意机制和记忆检索动态，并证明了其一步近似等价于稀疏结构的注意力机制，此外，提供了稀疏度相关的记忆检索误差界，表明稀疏性的优势和条件，并表明稀疏的现代 Hopfield 模型保持了其密集对应物的强大理论性能，包括快速固定点收敛和指数级的存储容量。在实验上，使用合成和真实数据集证明稀疏 Hopfield 模型在许多情况下优于其密集对应物。

    Sep, 2023

  • MixHop: 通过稀疏邻域混合实现高阶图卷积架构

    我们提出了一种新的模型 MixHop，可以学习各种距离的邻居的特征表示，并包括差分算子，同时提出了稀疏正则化方法，能够可视化网络如何在不同的图数据集上优先考虑邻域信息，该模型实现了在挑战性基线上的出色表现。

    Apr, 2019

  • 通用 Hopfield 网络：一种单次联想记忆模型的通用框架

    本文提出了一个新颖的通用框架，可以将各种神经网络进行相似性、分离性和投影性等方面的比较，研究了类似 Hopfield 网络和现代连续 Hopfield 网络等各种记忆网络的运作机理，并发现在很多任务中，采用欧几里得距离或曼哈顿距离相似度测量比点积相似度测量更具优势，将使检索更加稳健、记忆容量更大。

    Feb, 2022

  • 神经生物学和机器学习中的大型关联记忆问题

    提出了一种微观理论，其中只需两体相互作用，就可以有效地描述大型关联内存，具有一定的生物可信度，并实现了能量最小化的动力学。

    Aug, 2020

  • 分层联想记忆

    本文描述了一种完全反馈的关联记忆模型，具有任意数量的层，其中一些层可以是局部连接的（卷积），以及相应的能量函数，该函数在神经元的激活动力轨迹上逐渐降低。该模型具有来自较高层的丰富反馈，以帮助较低层神经元决定它们对输入刺激的响应。

    Jul, 2021

  • 教师 - 学生环境中的密集式霍普菲尔德网络

    Dense Hopfield 网络在特征到原型的转换和对抗性鲁棒性方面具有特色。本研究通过研究无监督学习问题中教师 - 学生设置的 p-body Hopfield 网络的相图，在模式检索方面揭示了类似于原型学习和特征学习区域的铁磁相。我们发现在 Nishimori 线上，需要训练集的临界大小才能实现高效的模式检索。有趣的是，我们发现教师 - 学生设置的顺磁到铁磁的转变与直接模型（即随机模式）的顺磁到自旋玻璃的转变相一致。在 Nishimori 线之外，我们研究了学习性能与推断温度和数据集噪声的关系。此外，我们证明学生的 p 比教师更大可以给学生以对噪声的广泛容忍性。然后，我们导出了一个在零温下衡量这种学生对抗性鲁棒性的闭合形式表达式，证实了大型神经网络中观察到的参数数量与鲁棒性之间的正相关性。我们还使用我们的模型阐明了现代 Hopfield 网络的原型相为何具有对抗性鲁棒性。

    Jan, 2024