Aug, 2023

ReLiCADA - 使用线性元胞自动机设计算法的储库计算

PDF
TL;DR本研究提出了一种新颖的算法，通过使用元胞自动机模型来优化沉积计算在时间序列应用中的设计。除了选择模型的超参数外，该算法特别解决了线性元胞自动机规则选择的问题。该选择方法在指数级规则空间中仅预先选择了少数有前景的候选规则。当应用于相关基准数据集时，所选规则的误差较低，最佳规则在总规则空间的前 5%。该算法基于对线性元胞自动机属性的数学分析开发，并通过近一百万次实验支持，累计运行时间接近一年。与其他先进的时间序列模型相比，与使用元胞自动机模型的沉积计算相比具有较低的计算复杂度和较低的误差。因此，我们的方法将培训和超参数优化所需的时间减少了数个数量级。
发现论文，激发创造
  • 潜在神经元细胞自动机实现资源高效图像恢复

    神经元元胞自动机是传统元胞自动机模型的演化，通过集成基于深度学习的转换函数进行增强。我们介绍了潜在神经元元胞自动机（LNCA）模型，这是一种新颖的架构，旨在解决神经元元胞自动机的资源限制问题。我们将模型应用于图像恢复领域，以从降质版本中重建高质量图像。此修改不仅降低了模型的资源消耗，还保持了适用于各种应用的灵活框架。我们的模型在保持高重建保真度的同时，实现了显著的计算资源要求降低。这种效率提高使得模型能够处理比当前最先进的神经元元胞自动机模型大 16 倍的输入，使用相同的资源。

    Mar, 2024

  • 智慧生命的游戏

    这篇论文介绍了神经元细胞自动机的概念，并探讨了其与卷积神经网络相结合在预测机器方面的应用，以及通过计算每个单元的适应性分数和随机性移动来优化神经元自动机。

    Jan, 2023

  • 学习局部交互离散动力系统：迈向高效数据和可扩展预测

    局部相互作用动力系统，如流行病传播、谣言传播和森林火灾，表现出由动态元素之间的局部、相对简单和通常随机的相互作用产生的复杂全局动态。我们提出了 AR-NCA（Attention Recurrent Neural Cellular Automata），通过以置换 - 不变的方式在相邻细胞之间关联时间信息，从而有效发现未知的局部状态转换规则。AR-NCA 在各种系统配置（即状态的空间分布）、极度数据有限的情况下，甚至在存在随机相互作用的情况下，显示出卓越的泛化能力、数据效率和鲁棒性，以及空间维度无关的可扩展性。

    Apr, 2024

  • 细胞自动机作为卷积神经网络

    本文探讨了如何使用卷积神经网络及多层感知器等深度学习技术识别复杂动力系统中的规律，着重研究了各类元胞自动机以及其内部规则和神经网络的内部表示方法。

    Sep, 2018

  • 机器学习实现的吸引子重构

    利用名为 “储集计算” 的机器学习方法成功地进行了混沌动力系统的短期预测和吸引子重构研究。我们提出了一个理论框架，描述了储集计算可以创建具有短期预测能力和准确长期遗传行为的经验模型的条件，并通过数值实验说明了这个理论。我们还认为这个理论适用于某些其他时间序列预测的机器学习方法。

    May, 2018

  • 细胞自动机、多值逻辑和深度神经网络

    深度神经网络可以从演化轨迹中学习元胞自动机的逻辑规则，使用 Lukasiewicz 命题逻辑描述了元胞自动机的一般性，并且可以通过连续的分段线性函数和深度 ReLU 网络从元胞自动机的演化过程中提取出相应的公式。

    Apr, 2024

  • 使用生成元胞自动机学习生成 3D 形状

    提出一种名为生成元胞自动机的概率三维生成模型，其能够产生多样化和高质量的形状，利用细胞自动机的局部更新规则有效减少了搜索空间，在稀疏卷积网络的支持下进行渐进生成，通过抽样与训练轮廓数据的匹配学习得到了本地均匀规则，并在概率形状补全和形状生成的实验中取得了竞争性的性能。

    Mar, 2021

  • 通过 RNN 实现线性时不变（LTI）系统的通用逼近：随机性在水池计算中的力量

    循环神经网络（RNN）被认为是在相对温和且普遍的条件下对动态系统进行普适逼近的工具，但通常在标准 RNN 训练中面临梯度消失和梯度爆炸问题。为解决这些问题，引入了一种特殊的 RNN，即储层计算（RC），其循环权重是随机化并且未经过训练，此方法在自然语言处理和无线通信等领域表现出卓越的实证性能，特别适用于训练样本极为有限的情况。本研究证明了 RNN 可以普遍逼近线性时不变（LTI）系统并提供了 RC 在泛化 LTI 系统中的解释。我们通过清晰的信号处理解释和理解，利用 RC 对一个通用的 LTI 系统进行了模拟。在这个设置下，我们分析了生成 RC 的未经训练的循环权重的最优概率分布函数，并进行了大量的数值验证。我们的工作提供了基于信号处理的 RC 模型可解释性，并为设置而非训练 RC 的未经训练循环权重提供了理论解释。这是朝着可解释机器学习（XML）的重要步骤，尤其适用于训练样本有限的应用。

    Aug, 2023

  • 离散时间特征和储备计算的随机性

    本文提出了新的几何解释，解释了库沃塞蓝计算的现象，将其构建为强普适性水库系统；随机投影所有状态空间系统的家族，以产生 Volterra 级数扩展，生成随机系数的状态仿射水库系统能够通过为每个不同的滤波器训练一个不同的线性输出来近似任何消退存储过滤器类中的元素。

    Sep, 2020

  • 用神经元细胞自动机学习时空模式

    神经元元胞自动机（NCA）结合了机器学习和机械建模的强大能力。我们通过对图像时间序列和 PDE 轨迹进行训练，使 NCA 学习复杂动态。我们的方法旨在识别支配大规模动态出现行为的潜在局部规则。我们将 NCA 扩展到在同一系统中捕捉瞬态和稳定结构，以及学习捕捉非线性偏微分方程（PDE）中图灵模式形成的规则。我们展示了 NCA 在 PDE 训练数据之外的广泛推广能力，演示了如何限制 NCA 以尊重给定的对称性，并探索了相关超参数对模型性能和稳定性的影响。能够学习任意动态使得 NCA 成为一种具有很大潜力的数据驱动的建模框架，尤其适用于生物模式形成建模。

    Oct, 2023