Mar, 2024

将光流融入 nnU-Net 框架用于手术器械分割的研究

PDF
TL;DR通过使用光流估计在手术器械分割任务中作为额外输入 nnU-Net 框架的 OF 图，可以在进一步不修改架构的情况下提高其性能。使用 CholecSeg8k 数据集，结果显示 OF 图的使用可以提高具有高运动的类别的检测效果，即使这些类别在数据集中很少出现。
surgical instrument segmentationlaparoscopynnu-net architectureoptical flowcholecseg8k dataset
发现论文，激发创造
  • 对无监督手术器械分割中低质量光流的重新思考

    通过我们的方法，在低质量光流的困境下，从光流直接提取边界、选择性地丢弃质量较差的帧，并使用可变帧率的微调过程，我们在 EndoVis2017 VOS 数据集和 Endovis2017 Challenge 数据集上展现了有希望的结果，分别达到了 0.75 和 0.72 的平均交并比。我们的研究结果表明，我们的方法可以大大减少临床环境中手动标注的需求，并可能促进新数据集的注释过程。

    Mar, 2024

  • 每一帧都很重要：视频分割和光流联合学习

    提出一种新的框架以实现视频语义分割和光流估计的联合训练，通过联合训练利用视频中已标记和未标记的帧，使视频语义分割和光流估计更加稳健并在相应任务中表现优异。

    Nov, 2019

  • 利用光流网络从短轴 Cine MRI 进行左心室分割：保留心动运动的时间连贯性

    提出了一种基于卷积神经网络的新的左心室分割算法，能够充分利用心脏运动的时间一致性，从而显著提高左心室分割的精度。该算法在 Cardiac Atlas 数据库上进行了训练和测试，结果表明，在 Dice 系数和平均垂直距离等指标上都明显优于原有的 U-net 模型。

    Oct, 2018

  • 利用深度学习的光流生成移动物体候选框进行视频物体分割

    本研究提出了一种先进的神经网络结构，通过训练无监督的卷积神经网络对光流进行估计，然后将光流网络的输出渲染到完全卷积 SegNet 模型中，从而准确高效地获取运动目标提案。

    Feb, 2024

  • SegFlow: 视频目标分割和光流联合学习

    本文提出了一种端到端可训练网络 SegFlow，用于同时预测视频中逐像素对象分割和光流，并通过统一框架双向传播对象分割和光流的有用信息。实验证明，引入光流可提高分割性能，同时改善了最先进算法的结果。

    Sep, 2017

  • 光流引导特征：视频动作识别的快速稳健运动表示

    本研究提出了一种名为 OFF 的紧凑型动作表示法，通过直接计算深度特征图的像素空间梯度，能够嵌入现有的 CNN 网络进行视频动作识别，从而快速提取时空信息，实现了比两种流（RGB 和光流）快 15 倍的速度和与之相似的精度。

    Nov, 2017

  • NeuFlow：在边缘设备上实时高精度机器人光流估计

    我们提出了一种高效的光流架构 NeuFlow，通过全局到局部的匹配方案，在不同计算平台上显著提高了效率，并成功在小型机器人如无人机上实现了复杂的计算机视觉任务，如实时定位与地图构建（SLAM）。

    Mar, 2024

  • 任务导向流的视频增强

    本研究提出了一种基于任务的流程（TOFlow），该方法采用自我监督的方式以任务特定的方式学习运动表示，并在视频插值、视频去噪 / 去块以及视频超分辨率等三个视频处理任务上超越了传统的光流方法。

    Nov, 2017

  • 光流提升无监督定位和分割

    无标注图像分割和定位是自主机器人学习将图像解析为个体对象的关键能力，本研究提出了一种新的损失函数，利用无标注视频中的光流信息辅助自我监督视觉转换器的特征优化，实现了无标注语义分割的优于现有技术的性能。

    Jul, 2023

  • 基于光流的无约束场景实时移动物体检测

    该研究论文提出了一种基于光流的移动物体检测框架，利用单应性矩阵在线构建光流背景模型，并设计了一个双模式判断机制来提高系统对复杂场景的自适 应性，实验证明该方法优于现有的方法，具有适应不同场景的优势。

    Jul, 2018