ICMLJun, 2022

学习利用物理动力学估计和优化流体运动

PDF
TL;DR本文提出一种基于无监督学习的预测 - 校正方案，通过 PDE 约束的光学流预测器给出速度场的估计，并通过基于物理的校正器进行精细化处理，取得了比光学流方法更好的效果，在基准数据集上表现出与现有监督学习方法具有竞争力的结果。
fluid flowoptical flow methodsunsupervised learningpde-constrained optical flow predictorphysical corrector
发现论文，激发创造
  • 通过单个运动模糊图像的光流估计

    该研究提出了一种新的框架，利用 Transformer 网络从单个运动模糊图像中端到端地估计光流，并通过粗到细的方式评估了该模型的性能和应用。

    Mar, 2021

  • 重新思考以动力学视角预测光流

    本文提出了一种新的方法，通过从图像提取特征直接预测光流，同时考虑到光流估计的运动学视角和外观视角，采用可微分的变形操作解决了由于运动不准确造成的误差及遮挡问题，并通过自监督损失函数将运动特征与外观特征相结合，实验证明该方法在光流预测上表现优于现有方法，尤其在包含遮挡和快速运动的情况下效果更好。

    May, 2024

  • 利用时间动态建模在多帧动态环境中进行无监督光流学习

    本文提出了一种基于时空动态模型的无监督光流估计方法，使用视图合成的自我监督学习来提供可靠的运动先验信息，利用邻帧的运动先验来改善光流估计中遮挡区域的监督，采用自我监督知识蒸馏来让模型理解物体在连续动态环境中的运动模式，实验证明该方法在无监督光流估计中取得了最先进的性能并具有记忆开销优势。

    Apr, 2023

  • 动作识别的流动力学校正

    基于光流和动作识别，本文研究不同类型的光流及从光流中提取的特征，通过对光流动态进行功率归一化以纠正流动态并提高性能，进一步将修正后的流动态集成到流行模型中，并通过简单的幻觉步骤翻译 CNN 特征图到不同尺度的光流特征，取得多个基准测试中的最佳性能。

    Oct, 2023

  • 深度学习光流在获取活性液晶的速度场方面优于 PIV

    基于深度学习的光流（DLOF）通过使用深度卷积神经网络在相邻视频帧中提取特征来估计像素级别的物体间动作，并对不同标记条件下的 MT 活性液晶的自发流动进行了数量化能力评估。我们比较了 DLOF 和常用技术粒子成像测速仪（PIV）的效果，发现对于密集标记的样品，DLOF 产生的速度场比 PIV 显著更准确。我们展示了 PIV 的故障是因为该算法在高密度情况下无法可靠区分方向平行于液晶导向子的对比度变化。而 DLOF 克服了这个限制。对于稀疏标记的样品，DLOF 和 PIV 的结果具有类似的准确度，但 DLOF 提供更高分辨率的场。我们的工作将 DLOF 确立为一种在广泛的活性、柔性和生物物理系统中测量流体流动的多功能工具。

    Apr, 2024

  • 从静止图像中学习光流

    本文介绍了一种从真实图片中快速生成大量准确的光流标注的框架，该框架利用单目深度估计网络构建可能的点云，通过虚拟相机运动合成新视角和对应的光流场，实现对现有数据的有效利用，并提高了视觉光流网络在真实场景中的泛化和特化性能。

    Apr, 2021

  • 大部分为刚体场景下的光流

    文章提出了一种综合了静态和非约束场景下光流方法的算法，可以同时估计运动物体的分割和相机运动的 3D 结构，具有更高的精度。

    May, 2017

  • 传感器引导的光流

    本文提出了一种框架，该框架可以使用外部提示来引导光流网络，从而在已知或未知领域中实现更高的准确性。实验结果表明，我们的框架在模拟和实际条件下都具有很好的效果。

    Sep, 2021

  • GelFlow：光流的自监督学习用于基于视觉的触觉传感器位移测量

    本论文提出了一种基于深度学习的自监督光流方法，通过精确测量标记物的位移来实现基于视觉触觉传感器的高精度测量，以支持机器手指更灵巧的操作。

    Sep, 2023

  • 无监督深度极线流算法用于静态或动态场景

    本文提出了一种基于全局几何约束的无监督深度学习光流方法 - Deep Epipolar Flow，并通过对多种强制使用对极约束的光流评估方式进行研究以及提出低秩约束和子空间并集约束来训练以缓解动态场景中存在多个运动时可能出现的 “鸡生蛋” 的问题。该方法在各种基准数据集上表现出卓越的性能，具有与监督方法相当的竞争性，并且优于最先进的无监督深度学习方法。

    Apr, 2019