ACLMar, 2022

ODE Transformer: 序列生成的普通微分方程启发模型

PDF
TL;DR本文研究残差网络与解常微分方程的欧拉离散化之间的关系，并将欧拉离散化方法运用于 Transformer 中，提出一种新的 ODE Transformer 架构，实现简单高效，在机器翻译、摘要生成和语法错误修正等任务上具有较高的泛化能力和性能提升。
发现论文，激发创造
  • 用 Transformer 预测常微分方程

    我们使用基于 Transformer 的序列到序列模型，从单个解轨迹的不规则采样和嘈杂观测数据中恢复标量常微分方程（ODE）的符号形式。通过广泛的实证评估，我们证明我们的模型在各种环境下表现出更好或与现有方法相当的精确恢复能力。此外，我们的方法具有高效的可扩展性：在一次对大量 ODE 进行预先训练后，我们可以在模型的几次正向传递中推断出新观测解的控制规律。

    Jul, 2023

  • Transformer 层的神经 ODE 解释

    本文提出了一种修改 Transformer 层内部结构的方法，将多头注意力子层和 MLP 子层并行布置，并且结合使用神经 ODE 求解器的高级积分方案，提高了 Transformer 网络在多个任务中的性能。

    Dec, 2022

  • 基于神经常微分方程的循环神经网络模型

    该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

    May, 2020

  • 深度残差网络对神经常微分方程的隐式正则化

    深度残差网络与神经常微分方程之间的离散化联系被建立，证明了在特定条件下网络收敛至全局最小值。

    Sep, 2023

  • ODEFormer：使用 Transformer 进行动力系统的符号回归

    ODEFormer 是第一个能从单个解轨迹的观察中推断出符号形式的多维常微分方程（ODE）系统的 transformer。它在两个数据集上进行了广泛的评估，并且在噪音和不规律采样观测方面显示出明显改进的性能和更快的推断速度。代码、模型和基准数据集已公开发布。

    Oct, 2023

  • 神经常微分方程

    提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

    Jun, 2018

  • 利用 Transformer 作为具有有限规律性的微分方程求解的神经算子

    神经算子学习模型被证实为部分微分方程在各种应用中的高效代理方法，本文通过建立理论基础将变压器作为算子学习模型实现通用逼近性，并应用于预测具有不同初始条件和强迫项的有限正则性动力学系统的解。

    May, 2024

  • 可解释的张量神经普通微分方程用于任意步时间序列预测

    本文提出了一种新的连续神经网络框架 ETN-ODE，结合了可解释的 Tensorized Gated Recurrent Unit（Tensorized GRU）和普通微分方程（ODE），通过引入时间和变量注意力机制，创新性地解决了不同时间点的多步骤多变量时间序列预测问题，并通过实验证明该方法的有效性和解释性。

    Nov, 2020

  • 基于神经 ODE 的高性价比 FPGA 实现的微型 Transformer 模型

    使用神经 ODE 作为骨干架构，我们显著减少了混合模型的参数大小，并将提出的 FPGA 实现部署在资源有限的 FPGA 设备上，从而实现了 12.8 倍的加速和 9.21 倍的能量效率。

    Jan, 2024

  • 对称正则化的神经常微分方程

    通过将连续 LIE 对称性引入神经 ODE 模型，将其与损失函数相结合，本文研究了在连续时间框架中捕捉系统动力学的神经 ODE 模型对称正则化。这种结构属性的引入能显著提高模型的鲁棒性和稳定性。

    Nov, 2023