TransFlow 是一个基于 Transformer 结构的纯光流估计方法,通过利用空间自注意力机制和跨帧交叉注意力机制,实现更准确的相关性和可信匹配、通过长时序关联恢复更多的损失信息,并通过简单的自学习范式,消除复杂的多阶段预训练程序,在多个任务上实现了最先进的结果。
Apr, 2023
提出了一种名为 TVNet 的新型端到端可训练神经网络,能够从数据中学习类似光流的特征,通过端到端训练可以进一步微调 TVNet 的参数以学习更丰富的和任务特定的模式,实验证明该方法在动作识别方面比所有对比方法都更准确,同时在特征提取时间方面与当前最快的对手相当。
Apr, 2018
本文提出了一种基于事件驱动的非各向同性光流调整的端到端训练方法 A ^ 2OF,以建模两帧之间的复杂运动,这种方法在视频帧插值方面的性能优于之前的方法,将监督式事件驱动视频插值推向了更高的阶段。
Aug, 2022
提出一种新的框架以实现视频语义分割和光流估计的联合训练,通过联合训练利用视频中已标记和未标记的帧,使视频语义分割和光流估计更加稳健并在相应任务中表现优异。
Nov, 2019
无标注图像分割和定位是自主机器人学习将图像解析为个体对象的关键能力,本研究提出了一种新的损失函数,利用无标注视频中的光流信息辅助自我监督视觉转换器的特征优化,实现了无标注语义分割的优于现有技术的性能。
Jul, 2023
该研究提出了一种新的框架,利用 Transformer 网络从单个运动模糊图像中端到端地估计光流,并通过粗到细的方式评估了该模型的性能和应用。
Mar, 2021
本文提出了一种端到端可训练网络 SegFlow,用于同时预测视频中逐像素对象分割和光流,并通过统一框架双向传播对象分割和光流的有用信息。实验证明,引入光流可提高分割性能,同时改善了最先进算法的结果。
Sep, 2017
本研究使用自监督学习辅助提高 CNN-based 光流估计在实际情境中的性能,在合成和真实场景下混合训练神经网络并采用样本多变量多任务结构,以预测 next-flow 代替当前光流估计,并取得了较好的性能,实验结果表明总体改善了在实际 KITTl 基准测试中的光流估计。
Dec, 2016
采用动态光流来监督静态图像的表示,通过学习嵌入像素以达到其光流向量之间的相似性,我们设计了一种无需手工标注的学习卷积神经图像表示的新方法,这个新方法优于以往的运用动态光流学习卷积神经网络的方法,并在语义分割等领域首屈一指。
Jul, 2018
使用光流作为 motion 信息的 FTGAN 模型,包含 FlowGAN 和 TextureGAN,实现了在无监督学习的情况下生成更真实的视频,可帮助提高动作分类的性能。
Nov, 2017