我们提出了一种对场景动态进行图像空间先验建模的方法，该先验是从包含自然振动运动（如树木、花朵、蜡烛和风中的衣物）的真实视频序列中提取的一系列运动轨迹学习得到的。通过一个经过训练的模型，我们使用一种频率协调扩散抽样过程来预测傅里叶域中每个像素长期运动表示，我们称之为神经随机运动纹理。这种表示可以转换为跨越整个视频的密集运动轨迹。结合基于图像的渲染模块，这些轨迹可以用于许多下游应用，例如将静止图像转换为无缝循环的动态视频，或者允许用户在真实图片中与物体进行真实交互。

Sep, 2023

本文介绍了一种生成基于控制实验参数的运动云纹理电影的框架，这些刺激物通过稠密混合局部移动光栅与随机位置来定义。此外，本文还提出将该框架扩展到其他模态如色觉、触觉和听觉领域。

Aug, 2012

采用最优传输理论来生成纹理样本，提出了一种基于卷积神经网络的插值方法，同时应用于人和猴子的视觉感知和神经敏感度研究，拓展了对视觉处理的理解。

Jun, 2020

人类通过不断变化的视觉刺激来感知世界，其中场景可以移动、改变外观和距离。这篇研究论文针对动态视觉刺激的大多数研究聚焦于静态刺激，限制了对人类视觉的调查。与之相反，动态视觉刺激提供了更符合生态有效性的方法，但由于时空信息的相互作用，使得解耦稳定图像特征和运动表征的困难增加。为了解决这个问题，在动态输入情况下，我们明确地解耦了人脑中静态图像表征和运动表征的建模。三个结果证明了这个方法的可行性。首先，我们展示了视觉运动信息（如光流）可以从 fMRI 测得的脑活动中预测（或解码）出来。其次，我们展示了可以使用这个预测运动来使用基于运动条件的视频扩散模型（其中运动由 fMRI 脑活动驱动）逼真地使静态图像动画化。第三，我们展示了在相反方向上的预测：现有的视频编码器可以进行微调，从视频图像中预测 fMRI 脑活动，并且相较于图像编码器能更有效地进行预测。这项基础工作为解释人类大脑如何处理动态视觉信息提供了一种新颖且可扩展的框架。

Jun, 2024

本文提出，生成模型可以（而且应该）被用来描述与行为相关的感觉运动关系，而不是世界的精确账户，这与贝叶斯大脑假设、预测处理和变分自由能最小化相关。

Apr, 2019

本文提出了一种使用去噪扩散概率模型（DDPM）生成风格化人体运动的框架，将两个任务集成到一个管道中，与传统运动合成方法相比，具有更高的风格多样性，实验结果表明，该系统可以生成高质量且多样化的行走动作。

Sep, 2022

本文提出了一种感知框架，通过融合视觉和触觉反馈来预测动态场景中物体的运动，该框架利用一种新型的 STS 传感器来捕捉物体的视觉外观和触觉特性，利用多模态 VAE 将两种模态结合起来，可以推断未来物理交互的结果。

Jan, 2021

本文通过一个简单的基于代理的模型，展示了积极推理作为感知和行动的一种可能的统一理论，并且解释了行为和感知之间的深层对称性。

Jul, 2017

本文介绍了如何将动态运动原始 (Dynamic Movement Primitives) 重构为具有控制输入的概率线性动态系统。通过这种概率表示，本文显示了卡尔曼滤波和平滑等算法在执行期间对前感觉传感器测量进行推理的可直接应用。我们进一步展示了推理如何通过反馈项自动调节 DMP 的执行，并测量成功执行给定运动基元的可能性。在这种情况下，我们展示了使用概率模型在模拟运动基元数据集中检测执行失败的初步结果。

Dec, 2016

本文介绍了一种基于历史运动数据的视频预测模型，该模型在考虑动态背景的挑战性真实世界自动驾驶数据集上表现优异，相较于现有的随机模型表现显著提升。

Aug, 2021