- 从果蝇到机器人:具有动态停歇的小型四轴飞行器的倒立着陆
小型四旋翼飞行器通过模拟得到的控制策略以及领域随机化和系统识别技术实现了成功的倒置降落行为,模拟了在苍蝇中观察到的行为。
- 密集匹配器用于密集追踪
本研究论文扩展了 MFT 提出的将多个光流在对数间隔上结合的概念,证明了 MFT 与不同光流网络的兼容性,并展示了在 MFT 框架内的这些网络的简单而有效的组合,从而在长期跟踪应用中超越了它们的个体性能,并在位置预测准确性上与更复杂的非因果 - 基于 3D 可变形网格模型和光流的结构密集位移网络
本研究提出了一个网络,通过单目摄像头识别 RC 框架结构的位移。该网络由 FlowNet2 和 POFRN-Net 两个模块组成,FlowNet2 用于生成稠密光流,POFRN-Net 用于提取姿态参数 H。该研究展示了对第一视频的真实位移 - 使用动作线索监督低数据环境下的单帧身体姿势和形状估计
使用未标注视频作为监督信号,可以在没有足够的标注数据时提供额外的监督以优化网络权重,并与使用更多标注数据训练的方法相媲美。
- FlowVid: 克服不完美光流以保持一致的视频合成
这篇论文提出了一种一致的视频到视频合成框架,通过同时利用源视频中的空间条件和时间光流线索,处理流程中的不完美估计并实现了与现有 I2I 模型的无缝集成、高效和高质量视频合成。
- 基于外貌的目标中心运动分割优化
通过引入外观优化方法和视频流的时间一致性,我们提出了一种能够独立发现、分割和跟踪复杂视觉场景中独立移动物体的方法。该方法通过简单的选择机制识别准确的光流预测掩码,并基于示例信息优化有问题的掩码。我们的模型在多个视频分割基准上的性能表现验证了 - 零样本视频对象分割的分层图模式理解
本研究提出了一种新的层次化图形神经网络建构(HGPU)架构,用于零样本视频对象分割(ZS-VOS),该网络通过利用动态线索(即光流)增强目标帧邻居的高阶表示,并通过分层解析和理解变换的多模态背景来实现更准确和稳健的结果。
- StreamFlow: 视频序列的简化多帧光流估计
针对光流估计中的连续帧遮挡问题,我们提出了一个简化的批处理多帧(SIM)流程,包括高效的时空建模方法和全局时间回归器(GTR),可在解码过程中有效地探索时间关系。相对于以前的多帧方法,该方法不仅在 KITTI 和 Sintel 数据集上的性 - 光流反向传播的自监督运动放大
本文介绍了一种简单的自监督方法,用于放大视频中微小的运动:给定输入视频和放大因子,我们通过操作视频,使其新的光流按所需比例缩放。我们提出了一个损失函数来训练我们的模型,该函数估计生成视频的光流并惩罚其与给定放大因子的偏差程度。因此,训练涉及 - 视频修复的流引导扩散算法
Flow-Guided Diffusion model significantly enhances temporal consistency and inpainting quality in video inpainting by em - 通过同步多帧扩散实现高精细和时间一致的视频风格化
提出了一种基于文本引导的视频风格化方法,通过同步多帧扩散框架来维持视觉细节和时间一致性,实现了视觉细节和时间一致性的生成高质量和多样性的结果。
- MoVideo:使用扩散模型的运动感知视频生成
提出一种新的运动感知视频生成 (MoVideo) 框架,从视频深度和光流两个方面考虑运动,并通过稀疏 - 时间扩散模型生成视频深度和光流,然后在潜在空间中生成视频,最后利用光流对不同帧进行对齐和细化,实现了文本到视频和图像到视频生成中最先进 - 利用光流进行非接触呼吸频率检测
研究了一种利用运动检测算法光流进行非接触式呼吸速率检测的方法,并评估了在使用不同点集时光流的成功性。研究表明,胸部和面部运动可用于确定呼吸速率,但成功程度有所不同。这些发现凸显了光流作为一种无创呼吸速率检测方法的潜力,并强调了选择适当的点以 - 微妙信号:基于视频的婴儿非营养性吮吸的神经发育暗示
该研究介绍了一种基于视觉的算法,利用婴儿监视器的录像在自然环境中无接触地检测非营养吸吮活动,通过光流和时域卷积网络的综合研究,成功分类和分割婴儿视频,提供了两个标注的婴儿视频数据集。
- 动作识别的流动力学校正
基于光流和动作识别,本文研究不同类型的光流及从光流中提取的特征,通过对光流动态进行功率归一化以纠正流动态并提高性能,进一步将修正后的流动态集成到流行模型中,并通过简单的幻觉步骤翻译 CNN 特征图到不同尺度的光流特征,取得多个基准测试中的最 - 基于时间的视觉运动不变性的空间映射
本文研究基于视觉运动的不变性,从而获得三维点的表示,其中静态环境保持不变,确保形状恒定。通过利用可测量的光流的非线性函数,创造了一种新颖的表示方法,并称之为 “时间间隔” 和 “接触时间”。通过演示摄像机相对于三维物体的移动模拟和图像的变化 - FLATTEN: 光流引导的注意力技术用于一致的文本 - 视频编辑
FLATTEN 是一种用于文本到视频编辑的训练无关方法,通过在扩散模型的 U-Net 中引入光流来提高编辑视频的视觉一致性,并且能够无缝集成到任何基于扩散的文本到视频编辑方法中,提高其视觉一致性。
- UFD-PRiME: 通过像素级刚体运动估计进行光流和立体深度的无监督联合学习
用联合训练的方式估计光流与视差,进而获取更精细的遮挡与物体边界,同时估计动态物体的刚体运动。
- ICCVGAFlow:将高斯注意力融入光流
本文通过将高斯注意力引入光流模型,以强调表示学习过程中的局部特性并在匹配过程中强制实施运动相关性,提出了一种全新的高斯约束层(GCL)和高斯引导注意模块(GGAM)。GAFlow 网络是一个完整的模型,将这些高斯基于模块自然地融入传统的光流 - 移动单目相机的运动分割
本研究讨论了利用点轨迹和光流等方法相互融合,在移动的单目摄像头中识别和分割运动物体,实现对复杂场景中不同对象运动的模拟,最终取得了最先进的效果。