机器学习中的代数动力系统
我们提出了一种用于学习算法任务的原创方法,该方法受符号人工智能中的重写系统的启发,该系统由专门的模块组成的神经结构实现,通过系统地应用组合规则来解决超出分布的问题实例。
Feb, 2024
论文介绍了一种基于早期理论结果的算法,该算法基于反向传播和矩阵操作,可以训练前馈神经网络来近似动态系统,并将其转换为递归网络,以模拟原始系统的动态行为。
Dec, 2015
将不同类型的模型进行组合,提出了一种模型接口和新的通配拓扑方法,解决了代数环和不连续模型中的本地事件影响函数的挑战,并通过证明不同模型之间的连接拓扑关系来验证了方法的有效性。
Jun, 2024
通过将数据分解为由简单动态单元解释的片段并研究这些切换的行为,我们展示了一种新的模型类型 —— 递归式切换线性动态系统,以提供更深入的洞察力,并利用近年来的算法进展在这些模型中使用近似推理使贝叶斯推理变得轻松、快速且可扩展。
Oct, 2016
我们提出了一个关于通用框架,用于指定和研究深度学习架构的难题的见解。我们认为目前为止的关键尝试缺乏一个能够将模型必须满足的约束与其实现进行协调的桥梁。我们的提议是应用范畴论 —— 更具体地说,是参数化映射的范畴论,作为一个单一的理论,优雅地包含了这两种类型的神经网络设计。为了支持我们的观点,我们展示了这个理论如何恢复由几何深度学习引起的约束,并介绍了从神经网络的多样化领域中提取的许多架构的实现,如递归神经网络。我们还说明了这个理论如何自然地编码计算机科学和自动机理论中的许多标准结构。
Feb, 2024
数理力学和机器学习理论之间的数学等价性是自 20 世纪以来已知的,基于这种等价性的研究为理论物理和统计学习理论提供了新的方法论。本文回顾和展望了机器学习理论中的代数研究,介绍了最近的进展,即正在基于代数学习理论构建人工智能的理论基础。
May, 2024
电路的设计是计算机辅助工程中的重要部分,而有关可调参数对最终设计的影响的量化需要新的方法。本文介绍了一种基于机器学习和改进的节点分析的方法,通过解耦系统方程,只学习微分变量并使用解耦关系重构代数变量,从而保证了代数约束的准确性。
Sep, 2023
现代生成式机器学习模型展示出令人惊讶的能力,能够创造出超越其训练数据的逼真产出,如逼真的艺术作品、精确的蛋白结构或对话文本。这些成功表明生成模型学会了有效地参数化和采样任意复杂的分布。本文旨在将经典作品与大规模生成统计学习中的新兴主题联系起来,包括经典吸引子重构、隐空间模型中的潜在表示学习等。还介绍了早期利用符号近似进行比较的努力,与现代努力进行黑盒统计模型的精简和解释相关。新兴的跨学科研究桥接了非线性动力学和学习理论,如用于复杂流体流动的算子理论方法,或者检测生物数据集中打破了详细平衡的情况。我们预计未来的机器学习技术可能会重新审视非线性动力学中的其他经典概念,如信息传输衰减和复杂性 - 熵权衡问题。
Nov, 2023
以代数学习(Algebraic Learning)为核心的人工智能(AI)范式被提出,采用两个方法(即引导模型设计和二级测量)以增强模型的可解释性,弥补深度学习模型难以解释的不足。
Mar, 2022
该研究利用连续时间动力系统的方法,将深度残差网络理想化为动力系统,从逼近的角度研究其通用逼近性,并建立了新的近似理论,揭示了流映射逼近组合函数的新范例,促进了深度学习中有用的数学框架的建立。
Dec, 2019