May, 2023

PastNet: 引入物理归纳偏置以进行时空视频预测

PDF
TL;DR本文介绍了一种基于物理辅助的时空网络（PastNet）的方法，该方法通过将谱卷积运算引入傅里叶域，有效地引入潜在物理定律的归纳偏差，并使用估计的内在维度的存储器库来离散化本地功能以降低计算成本和促进高分辨率视频预测。与现有的方法相比，PastNet 在高分辨率场景下的效率和效果更佳。
spatio-temporal video predictionphysics-assisted spatio-temporal networkspectral convolution operatorintrinsic dimensionalityhigh-resolution video prediction
发现论文，激发创造
  • 利用物理引导和频率增强的循环神经网络增强时空预测

    该研究论文提出了一种物理引导的神经网络，利用频率增强的傅里叶模块和矩损失来增强模型估计时空动态的能力，并提出了具有物理约束的自适应二阶龙格 - 库塔方法，以更准确地建模物理状态。实验结果表明，该模型在时空预测和视频预测任务中表现出色，在多个数据集上具有最佳性能，而参数数量却更少。

    May, 2024

  • 大规模随机循环神经网络的高保真视频预测

    该研究通过进行大规模的实证研究，针对视频帧预测问题，提出了一种不同于以往手工设计架构的方法：尽可能地降低归纳偏差，同时最大化网络容量，该方法表现良好并在三个不同数据集上进行了验证：建模物体交互、建模人类运动和建模汽车驾驶。

    Nov, 2019

  • 基于几何和时间条件的长期期货预测

    该研究旨在通过预测编码的概念以及诸如自动驾驶车辆之类的机器人应用，探索基于过去条件下生成未来传感器观测的任务。研究重点在于解决多模态未来视频建模的挑战，并利用图像扩散模型的大规模预训练来处理计算代价昂贵的视频处理问题。通过时间戳条件生成更好的采样计划，实验结果证明了学习以时间戳为条件和预测使用不变模态的重要性。

    Apr, 2024

  • 动态显著性预测的时空显著性网络

    本研究提出了基于深度学习的时空注意力预测模型，其中采用两条流网络架构，探究了不同的信息融合机制。实验结果表明，采用运动信息可以有助于静态注意力估计，并取得了与最先进模型相竞争的结果。

    Jul, 2016

  • 使用可微分物理学从视频中学习识别物理参数

    本研究提出使用可微的物理引擎在行动条件下的视频表示网络中学习物理潜在表示。我们使用监督和自监督学习方法来训练我们的网络，并确定物理属性。实验中，我们演示了我们的网络可以从视频和行动序列中学习编码图像并识别物理属性，我们还比较了我们的受监督和自我监督方法的准确性，并展示了我们的方法预测未来视频帧的能力。

    Sep, 2020

  • 面向结构模型视频预测的可解释潜空间

    我们提出了一种物体为中心的模型，使用图神经网络中的对比学习在潜在空间中预测未来的状态，并注入了显式归纳偏置以帮助提高模型的预测准确性。我们的模型不仅可捕捉物体交互作用，而且能够提高物体位置的定位能力，且实验表明我们的模型在多个领域中具有显著的优势。

    Jul, 2021

  • 深度时空网络编码的更深入探究：量化静态与动态信息

    本研究提出了一种新方法，以量化任何时空模型的静态和动态偏差，进而分析行为识别和视频对象分割两个任务中大多数研究所使用的一些时空模型对静态和动态信息的偏好，发现大多数模型都偏向于静态信息。

    Jun, 2022

  • 随机潜在残差视频预测

    介绍了一种基于残差更新规则的新型随机时间模型，可用于视频预测，并在复杂数据集上胜过先前的最先进方法。

    Feb, 2020

  • 探究时空多频分析用于实现高保真度和时空一致性的视频预测

    本文提出基于多级小波分析的视频预测网络，以应对图像失真和时间不一致等现有预测模型所存在的问题，大量实验结果表明，本方法相较其他最先进的方法，具有更高的保真度和时间一致性。

    Feb, 2020

  • 无监督视频预测中解开物理动力学和未知因素的区别

    介绍了一种两分支深度体系结构（PhyDNet）和新的递归物理单元（PhyCell），用于利用 PDE 描述的物理知识改进无监督视频预测方法，并且在四个不同的数据集上进行了广泛实验，表明了 PhyDNet 超越了现有方法的能力。

    Mar, 2020