Jun, 2024

连续时间数字孪生与模拟记忆电阻神经常微分方程求解器

PDF
TL;DR通过引入一个差分方程解为数字孪生体，本研究实现了捕捉连续时间动态并利用无限深度模型对复杂系统建模的能力，并通过模拟实验证明了其在速度和能效方面相对于传统数字方法的显著性能提升，从而加快了数字孪生体的发展速度，为工业 4.0 的需求提供了高效快速的解决方案。
digital twinsmemristive neural ode solvercontinuous-time dynamicscomplex systemsindustry 4.0
发现论文，激发创造
  • 基于抵抗性存储器的得分型扩散模型神经微分方程求解器

    通过利用新型电阻性存储器和时间连续的模拟神经微分方程求解器，实现了 AI 生成内容方法的突破，大幅提升了生成速度和能效，为边缘计算中的生成 AI 应用开辟了新的方向。

    Apr, 2024

  • 神经常微分方程

    提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

    Jun, 2018

  • 用神经微分方程学习神经网络连续学习规则的编程

    本研究将学习规则和神经 ODE 相结合，构建了连续时间序列处理网络，学习如何在其他网络的快速变化的突触连接中操作短期记忆，这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型，同时也解决了它们的根本可扩展性限制。

    Jun, 2022

  • 连续学习的原始对偶算法

    神经常微分方程（Neural ODEs）在深度学习文献中取得了巨大成功，最近提出了连续版本的 U-net 架构，在图像应用中显示出比离散版本更高的性能，并围绕其性能和鲁棒性提供了理论保证。本文探讨了使用神经 ODE 解决学习逆问题的可能性，尤其是在已知的学习 Primal Dual 算法中，并将其应用于 CT 重建。

    May, 2024

  • 使用潜变量神经常微分方程进行实时全心脏电机模拟

    本文提出了一种基于 LNODEs 的心脏数字孪生代理模型，并且使用全局敏感度分析和鲁棒参数估计，实现了未知时间系列的模拟和参数校准。

    Jun, 2023

  • 基于神经常微分方程的循环神经网络模型

    该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

    May, 2020

  • 非线性动力系统的数字双胞胎：一个视角

    对于非线性动力系统的数字孪生，其基本要求是能够生成系统的演化并预测潜在的灾难性紧急行为，以提供早期警示。数字孪生可以实时用于系统的 “健康” 监测和预测问题的解决。构建非线性动力系统的数字孪生有两种方法：稀疏优化和机器学习。本文描述了这两种方法的基本概念并讨论了它们的优势和注意事项。

    Sep, 2023

  • 分解神经常微分方程

    本文通过进一步开发连续深度神经微分方程模型，以期澄清几种设计选择对其底层动态的影响，进而解密其内部运作方式。

    Feb, 2020

  • 记忆神经微分方程及正交多项式投影

    本研究提出了 PolyODE，一种基于正交多项式投影的神经常微分方程模型，用于学习动态系统，以实现长期记忆和整体表示，优于先前的模型在数据重建和下游预测任务中的性能。

    Mar, 2023

  • 超级求解器：朝着快速的连续深度模型

    本研究介绍了一种名为 Hypersolvers 的神经网络模型，能够以较低的计算成本解决 ODE 问题，在与 Neural ODEs 相结合的情况下，使得基于连续深度模型的实际应用成为可能，实验结果表明 Hypersolve 和 Neural ODE 方法在连续变换计算中的 pareto 效率比传统数字方法更高。

    Jul, 2020