我们提出了一种物体为中心的模型，使用图神经网络中的对比学习在潜在空间中预测未来的状态，并注入了显式归纳偏置以帮助提高模型的预测准确性。我们的模型不仅可捕捉物体交互作用，而且能够提高物体位置的定位能力，且实验表明我们的模型在多个领域中具有显著的优势。

Jul, 2021

提出了一种方法，通过在一种框架内结合变分自动编码器和 (时空) 注意力机制，从高维经验数据中学习动力系统，以实现确定一定科学动力学不变的设计，这种方法允许在任何连续时刻有效推断系统行为，是从异构数据中高效学习动态模型的一种有前途的新框架。

Jun, 2023

我们介绍了一种自监督的结构化表示和生成方法，能够提取周期性或准周期性运动中的时空关系，通过在连续参数化的潜在空间中进行运动动力学，增强了运动学习算法的插值和泛化能力，为未来的运动表示和学习算法的发展开辟了新的可能性。

Feb, 2024

我们提出了一种对场景动态进行图像空间先验建模的方法，该先验是从包含自然振动运动（如树木、花朵、蜡烛和风中的衣物）的真实视频序列中提取的一系列运动轨迹学习得到的。通过一个经过训练的模型，我们使用一种频率协调扩散抽样过程来预测傅里叶域中每个像素长期运动表示，我们称之为神经随机运动纹理。这种表示可以转换为跨越整个视频的密集运动轨迹。结合基于图像的渲染模块，这些轨迹可以用于许多下游应用，例如将静止图像转换为无缝循环的动态视频，或者允许用户在真实图片中与物体进行真实交互。

Sep, 2023

通过图像学习环境动态、通过快速在线规划选择动作，利用深度计划网络（PlaNet）解决了连续控制任务中的挑战，同时使用的强度模型相对较少。

Nov, 2018

基于数据驱动的潜空间动力学识别方法通过嵌入热力学的第一和第二原理，利用自编码器作为非线性降维模型学习潜变量，并通过基于神经网络模型构建潜变量的动力学，遵循广义热动力学原理，从而产生了一种新的损失公式。潜编码器和潜动力学均通过最小化新损失进行训练，其泛化能力强，即使在外推情况下也表现出鲁棒性。此外，实证观察到潜空间中熵产生速率与完全状态解的行为之间存在着有趣的相关性。

Mar, 2024

本文提出一种物理知识指导的神经网络模型，能够从图像序列中估算预测旋转刚体的 3D 动力学，多阶段预测管道映射图像到与 SO (3) 同胚的潜在表示，通过学习得到的哈密顿表示，利用哈密顿运动方程预测未来的潜在状态。

Sep, 2022

从数据库中无监督地学习高维时间序列的潜在动力学是一个挑战，该论文从物理归纳偏差和学习 - 识别策略的角度研究了这个问题，并提出一种新颖框架 Meta-HyLaD，用于无监督元学习混合潜在动力学，既包括已知的数学表达式又包括描述未知误差的神经函数，并通过对五个物理系统和一个生物医学系统的广泛实验证据来说明 Meta-HyLaD 整合丰富的先前知识优势并识别其与观测数据之间的差距。

Mar, 2024

本文研究如何通过强化机器学习模型的物理先验知识来解决物理图像理解问题，提出了一种包含 17 个物理系统的数据集，对当前物理启发式机器学习方法进行了细致的对比分析，结果表明尽管这些方法通常可以学习到具有良好性质的隐藏空间，但没有显著提升标准技术的性能。

Nov, 2021

对于展现时空动态响应的系统的演化进行预测是促进科学创新的关键技术，传统基于方程的方法需要大规模并行计算平台和大量的计算成本。相比之下，我们提出了一种名为 Latent Dynamics Network 的新型架构，该架构使用降维和深度学习算法来描述系统演化的低维潜在空间，从而预测空间依赖场对外部输入的时间演化，并在几个测试案例上验证了该方法的高效性和精确性。

Apr, 2023