细胞自动机、多值逻辑和深度神经网络
提出了一种关于深层 ReLU 网络的新方法,将其视为 Lukasiewicz 无限值逻辑的电路对应物。介绍了一种从深层 ReLU 网络中提取多值逻辑公式的算法,适用于具有一般权重,包括实值权重的网络,可用于从数据上训练的深层 ReLU 网络中提取逻辑公式。
Jan, 2024
我们研究了神经元元胞自动机(NCA)模型的架构与其所产生的动态图案之间的关系,并发现 NCA 输出的紧密度和比例性与架构的两个变量之间存在强相关性,因此我们提出了用于创建动态 NCA 的设计原则。
Apr, 2024
通过使用基于神经细胞自动机 (NCA) 的超网络方法,我们可以在受到自组织系统和信息理论方法的启发下,以发育生物学为基础,生长出能够解决常见强化学习任务的神经网络,并探索了如何使用相同的方法来构建发育变形网络,以解决最初强化学习任务的变化版本。
Apr, 2022
神经元元胞自动机是传统元胞自动机模型的演化,通过集成基于深度学习的转换函数进行增强。我们介绍了潜在神经元元胞自动机(LNCA)模型,这是一种新颖的架构,旨在解决神经元元胞自动机的资源限制问题。我们将模型应用于图像恢复领域,以从降质版本中重建高质量图像。此修改不仅降低了模型的资源消耗,还保持了适用于各种应用的灵活框架。我们的模型在保持高重建保真度的同时,实现了显著的计算资源要求降低。这种效率提高使得模型能够处理比当前最先进的神经元元胞自动机模型大 16 倍的输入,使用相同的资源。
Mar, 2024
神经元元胞自动机(NCA)结合了机器学习和机械建模的强大能力。我们通过对图像时间序列和 PDE 轨迹进行训练,使 NCA 学习复杂动态。我们的方法旨在识别支配大规模动态出现行为的潜在局部规则。我们将 NCA 扩展到在同一系统中捕捉瞬态和稳定结构,以及学习捕捉非线性偏微分方程(PDE)中图灵模式形成的规则。我们展示了 NCA 在 PDE 训练数据之外的广泛推广能力,演示了如何限制 NCA 以尊重给定的对称性,并探索了相关超参数对模型性能和稳定性的影响。能够学习任意动态使得 NCA 成为一种具有很大潜力的数据驱动的建模框架,尤其适用于生物模式形成建模。
Oct, 2023
本研究试图从理论的角度解释神经网络的计算类型,通过将它们与自动机相关联,并使用定义 “实时网络有界精度接受语言” 的方法来解释网络内存度量,对可被各种循环网络、注意力和卷积网络接受的语言类别进行了表征。研究发现 LSTM 功能类似于计数器机,并将卷积网络与子正则层次结构相关联。这些理论洞察力有助于解释神经计算,以及神经网络与自然语言语法之间的关系。
Jun, 2019
本文利用深度学习和神经元元胞自动机,提出了一种可在硬件上成功应用的模块化 2D 机器人系统,该系统可以通过其组件的本地通信推断其自身的形状类别,实现了自分类的能力。
Mar, 2022
本文介绍了一种名为 Vision Transformer Cellular Automata(ViTCA)的定义在细胞自动机框架内基于自注意力机制的人工神经网络,并比较了其在线性降噪自编码任务上与其他神经网络的性能。
Nov, 2022