Dec, 2023

基于能量的模拟计算学习算法的比较研究

PDF
TL;DR能源基学习算法、对比学习、平衡传播、耦合学习和深度卷积 Hopfield 网络是此研究的五个关键词。通过将这些学习算法应用于五个视觉任务，该研究发现负扰动优于正扰动，其中以使用两个反向扰动的中心化平衡传播算法为最佳性能算法。此外，研究在这五个数据集上建立了最佳结果并提高了速度。
发现论文，激发创造
  • 仿生学的神经元适应提高神经网络的学习能力

    通过多层感知器和卷积神经网络，研究对比黑比学习和平衡传播算法及其加宽自适应能力的表现及其仿生学上的意义。

    Apr, 2022

  • 使用平衡传播进行序列学习

    本文中，我们结合现代 Hopfield 网络作为注意力机制，扩展了基于平衡传播的模型在两个不同的自然语言处理任务（情感分析和自然语言推理）中的适用性，进一步理解基于能量的模型和开发解决复杂序列分类任务的解决方案。

    Sep, 2022

  • 单相对比赫布学习的两个故事

    通过将梯度表示为活动差异的方法进行生物合理性学习算法的搜索，提出了名为 “双向传播” 的完全本地学习算法，弥补了与反向传播的性能差距，无需分离的学习阶段或无穷小的盯人，在稳定性方面仍然与对称盯人无关。

    Feb, 2024

  • 能量模型微观推断极限下的反向传播：预测编码、平衡传播和对比性赫布学习的统一

    本文提供了能量基模型（EBMs）在逼近反向传播（BP）方面的综合理论，统一了预测编码、平衡传播和对比 Hebbian 学习等算法，从 EBMs 的自由相平衡这一简单而普遍的数学特性出发，在不同的能量函数下进行选择以得出一类逼近 BP 的算法。

    May, 2022

  • 基于能量守恒的神经网络学习动力学行为的基准测试

    本文调查了 10 种最新的节能神经网络模型，并比较了它们在 4 个物理系统中的性能，指出了利用这些节能模型设计基于能量的控制器的可能性。

    Dec, 2020

  • 基于 Onsager 互易原理的量子平衡传播用于高效训练量子系统

    该论文介绍了均衡传播（EP）与 Onsager 互易性之间的直接关系，并利用此关系推导出 EP 的量子版本。该方法可用于优化依赖于任意量子系统的可观测期望值的损失函数，且适用于识别量子多体基态、量子相探索、感知和相界探索等与量子力学有关的学习任务。该方案对于离子链、超导量子位阵列、中性原子 Rydberg 钳子阵列和强相互作用原子光晶格等各种量子模拟平台都具有重要意义。

    Jun, 2024

  • 能量对比学习视觉表征

    探索了一种基于能量的对比学习方法，将对比学习与基于能量的模型相结合，可以用于学习小型和中型数据集中的视觉表示，其在 MNIST、Fashion-MNIST、CIFAR-10 和 CIFAR-100 等数据集上都表现出了很好的结果，并相对于其他方法有 X4 到 X20 倍的加速。

    Feb, 2022

  • 全纯平衡传播通过有限大小振荡计算精确梯度

    该研究工作介绍了平衡传播 (EP) 在训练神经网络方面的应用，扩展了基于此的算法到全纯网络，能精确计算梯度，进而支持更深层数的模型训练，并在 ImageNet 数据集上与 BP 算法进行了对比，具有重要意义。

    Sep, 2022

  • 学习在随机动态环境中持续优化无线资源

    本文提出了一种在动态环境中实现数据驱动方法持续学习和优化的方法，通过将持续学习（CL）概念融入到无线系统学习的建模过程中，使学习模型不断适应新的情境，同时不忘记从前几次情境中学习的知识，并针对两种流行的基于深度神经网络的模型进行定制。数值结果表明，所提出的 CL 方法不仅能够迅速而无缝地适应新场景，而且在先前遇到的场景中保持高性能。

    Nov, 2020

  • 再探能量模型作为策略：排序噪声对比估计和插值能量模型

    通过引入排名噪声对比估计（R-NCE）、可学习的负采样器和非对抗联合训练等关键因素，我们证明了高维连续空间中能量模型在训练时并不是不切实际的，我们的训练算法使能量模型作为策略在多模态路径规划和有接触力量推动等难度较高的基准测试中与扩散模型和其他最先进方法相竞争甚至表现更好。

    Sep, 2023