Feb, 2024

用梯度下降学习联想记忆

PDF
TL;DR研究关联记忆模块的训练动态，通过对数据分布和嵌入之间相关性的性质进行粒子系统的研究，揭示过参数化条件下 ' 分类边界 ' 呈对数增长、标记频率不平衡和相关嵌入导致的振荡瞬态阶段、过大步长引起的良性损失峰值以及欠参数化条件下交叉熵损失的副优化记忆方案等现象，并对小型 Transformer 模型进行了验证。
associative memory moduletraining dynamicstoken embeddingsoscillatory transitory regimesasymptotic convergence
发现论文，激发创造
  • 关于联想记忆的缩放定律

    通过学习高维矩阵和内层变换器语言模型，研究关联记忆机制、标度定律和统计效率的优化算法，通过数值实验验证理论结果和存储记忆联想的细粒度可视化。

    Oct, 2023

  • 超越缩放定律：理解具有关联记忆的 Transformer 性能

    增加 Transformer 模型的大小并不总是导致性能提升，用经验缩放定律无法解释此现象。此外，模型记忆训练样本会改善泛化能力。我们提出了一个理论框架，揭示了基于 Transformer 的语言模型的记忆过程和性能动态。我们使用关联记忆的 Hopfield 网络来模拟 Transformer 的行为，使每个 Transformer 模块能够有效进行近似最近邻搜索。基于此，我们设计了一个能量函数，类似于现代连续 Hopfield 网络中的函数，对注意力机制提供了有见地的解释。利用最大化 - 最小化技术，我们构建了一个全局能量函数，捕捉了 Transformer 的层次结构。在特定条件下，我们证明了最小可达的交叉熵损失下界约为 1。通过对不同数据规模运行 GPT-2 实验证实了我们的理论结果，以及在一个包含 2M 令牌的数据集上训练 vanilla Transformers。

    May, 2024

  • 学习吸引子动力学用于生成记忆

    本研究展示了一个基于 Kanerva 机器提出的记忆写入即推理的思想，通过训练一个生成式分布式记忆，最大化其变分下界导出一个儒雅彼诺夫函数。实验结果表明，在迭代读取中收敛到正确的模式，并且在记忆模型和生成模型方面都具有有竞争力的性能。

    Nov, 2018

  • 信号传播的几何动力学预测 Transformer 的可训练性

    深度随机初始化的 transformer 中的前向信号传播和梯度反向传播进行了研究，得出了初始化超参数的简单必要和充分条件，以确保 transformer 的可训练性。

    Mar, 2024

  • 渐变投影记忆用于连续学习

    提出一种新颖的方法，通过奇异值分解来获取梯度子空间，以进行正交梯度下降，从而减少深度神经网络在学习新任务时过度调整权重而忘记旧任务的现象。

    Mar, 2021

  • 随机优化中的记忆作用

    研究使用随机微分方程来研究梯度下降算法中记忆的作用，提出了一种离散时间的算法，实现了从短期到长期的记忆范围，并在凸随机设置中比传统动量法具有更好的稳定性和收敛性。

    Jul, 2019

  • 通过最大化转移和最小化干扰学习不遗忘的能力

    通过 Meta-Experience Replay 算法，在经验回放的基础上进行基于元学习的优化，实现了对未来渐变更少的干扰和更多的知识迁移。在多个领域的实验中，该方法优于目前的基准算法。

    Oct, 2018

  • 超参数神经网络的梯度下降动力学

    本文通过 Lyapunov 分析，证明了使用梯度下降法训练过程中神经网络权重的动态会收敛到接近最小范数解的一个点，并通过实例表明这一结论的意义在于 GD 收敛于泛化性能好的预测函数，从而提供了 Arora 等人的普适性结果的另一证明。

    May, 2021

  • 元学习深度能量型记忆模型

    本文提出了一种基于元学习的能量记忆模型，通过使用任意神经结构作为能量模型并快速将图案存储在其权重中，实现了对合成和自然数据的压缩记忆，并在重构误差和压缩率方面优于现有的记忆系统。

    Oct, 2019

  • 可扩展且泛化的学习优化器

    通过引入层次循环神经网络优化算法和基于元学习的小任务集，实现了一个新的学习梯度下降优化器，解决了在更大的问题上扩展能力不足和泛化能力受限问题，并在 ImageNet 数据集上通过数千步为 Inception V3 和 ResNet V2 架构进行了优化。

    Mar, 2017