本文提出了一种基于元学习的能量记忆模型，通过使用任意神经结构作为能量模型并快速将图案存储在其权重中，实现了对合成和自然数据的压缩记忆，并在重构误差和压缩率方面优于现有的记忆系统。

Oct, 2019

基于我们的理论，我们为人工循环神经网络开发了一种新的初始化方案，优于需要学习时间动态的标准方法，并且提出了一种稳健的循环记忆机制，用于集成和维持方向信息而不需要环形吸引子。

Aug, 2023

现代生成式机器学习模型展示出令人惊讶的能力，能够创造出超越其训练数据的逼真产出，如逼真的艺术作品、精确的蛋白结构或对话文本。这些成功表明生成模型学会了有效地参数化和采样任意复杂的分布。本文旨在将经典作品与大规模生成统计学习中的新兴主题联系起来，包括经典吸引子重构、隐空间模型中的潜在表示学习等。还介绍了早期利用符号近似进行比较的努力，与现代努力进行黑盒统计模型的精简和解释相关。新兴的跨学科研究桥接了非线性动力学和学习理论，如用于复杂流体流动的算子理论方法，或者检测生物数据集中打破了详细平衡的情况。我们预计未来的机器学习技术可能会重新审视非线性动力学中的其他经典概念，如信息传输衰减和复杂性 - 熵权衡问题。

Nov, 2023

研究关联记忆模块的训练动态，通过对数据分布和嵌入之间相关性的性质进行粒子系统的研究，揭示过参数化条件下 ' 分类边界 ' 呈对数增长、标记频率不平衡和相关嵌入导致的振荡瞬态阶段、过大步长引起的良性损失峰值以及欠参数化条件下交叉熵损失的副优化记忆方案等现象，并对小型 Transformer 模型进行了验证。

Feb, 2024

大脑针对处理时间序列信息，如何学习存储和检索序列记忆仍不清楚。本研究探讨了二元神经元回归网络如何学习序列吸引子以存储预定义的模式序列，并能够强大地检索它们。通过发展一种本地学习算法，证明了该算法能够使带有隐藏神经元的网络学习序列吸引子，且能够在合成和实际数据集上有效地存储和检索序列。希望本研究为理解大脑中的序列记忆和时间信息处理提供新的见解。

Apr, 2024

该研究提出一种深度生成模型，在表示学习中采用了注意机制和大型外部记忆来捕捉局部详细信息，具有变分自编码贝叶斯方法的数据似然度上限，以及学习高级不变表示的非对称识别网络。实验结果表明，记忆单元可显着提高 DGMs 的性能，并在各种任务中达到最先进的结果。

Feb, 2016

在长期时间序列预测任务中，现有的深度学习模型忽视了离散时间序列起源于连续动态系统的关键特性，导致缺乏外推和演化能力。我们的模型 'Attraos' 将混沌理论引入长期时间序列预测中，将真实世界时间序列视为未知高维混沌动态系统的观测。在吸引子不变性的概念下，Attraos 利用提出的多尺度动态记忆单元来记忆历史动态结构，并通过频率增强的局部演化策略进行预测。详细的理论分析和丰富的实证证据一致表明，Attraos 在主流长期时间序列预测数据集和混沌数据集上优于各种长期时间序列预测方法。

Feb, 2024

本文提出了一种基于非线性动力学的学习系统，能够通过正反馈循环定义模式，并从时间序列数据中学习层次结构，这个系统在七个实验和两个现实问题中准确度足以超过现有非监督学习算法，同时展示了自组织是如何实现模式识别与简单的动力学方程中出现智能行为的潜力。

Feb, 2023

利用名为 “储集计算” 的机器学习方法成功地进行了混沌动力系统的短期预测和吸引子重构研究。我们提出了一个理论框架，描述了储集计算可以创建具有短期预测能力和准确长期遗传行为的经验模型的条件，并通过数值实验说明了这个理论。我们还认为这个理论适用于某些其他时间序列预测的机器学习方法。

May, 2018

利用混沌非线性吸引子实现低功耗的模拟计算方法，作为机器学习任务的通用平台提供卓越的性能，能够以毫瓦级功率与当前机器学习技术媲美，适用于聚类、回归和分类学习任务。

Sep, 2023