Jun, 2023

外科手术视频语义分割的时空网络

PDF
TL;DR在手术视频中进行语义分割在术中导航、术后分析和手术教育方面有应用价值。我们提出了一种用于建模视频时间关系的新架构，通过改善帧之间的时间一致性以提高视频语义分割精度，并在两个数据集上验证了其性能提升。
semantic segmentationsurgical videosanatomical structurestemporal consistencyvideo information
发现论文，激发创造
  • 利用时间性进行半监督视频分割

    本文提出了一种端到端可训练的深度学习模型，利用时间信息来利用易于获取的未标记数据，从而解决了视频分割中标签稀缺的问题。实验结果表明，该模型能够显著优于基线方法和逐帧图像分割。

    Aug, 2019

  • 从视频学习时空一致性以提高语义分割

    利用无监督学习深度、自我运动和相机内在参数，通过在视频帧之间施加三维几何和时间一致性，从而提高单图像语义分割性能。

    Apr, 2020

  • 基于语音查询的视频角色空间 - 时间协同建模分割

    本文提出了一种基于协作的时空编码器 - 解码器框架，其中包含一个三维时间编码器和一个二维空间编码器。在解码器中，提出了一种语言引导的特征选择模块和一种交叉模态适应调制模块，以动态重新组合语言特征和时空相关特征。与以往的方法相比，我们的方法在两个流行的基准测试中实现了新的最先进性能，并且计算开销更小。

    May, 2021

  • Video-SwinUNet：VFSS 实例分割的时空深度学习框架

    本文提出了一个基于深度学习的医学视频分割框架，通过时间特征融合和 Swin Transformer 编码强大的全局空时特征以及使用 UNet 编码解码结构，实现了在 VFSS2022 数据集上分割性能显著优于其他方法的效果。

    Feb, 2023

  • 将手术视频编码为隐式时空图，用于对象与解剖驱动的推理

    利用潜在时空图对外科视频进行建模，以表示其组成的解剖结构和工具随时间的变化，通过添加长期时间边增加对手术场景演化的建模，并引入新颖的图编辑模块，评估了两项下游任务，取得了强大的结果，证明了学到的表示的质量和灵活性。

    Dec, 2023

  • 通过门控循环流传播进行语义视频分割

    本文提出了一种利用未标记数据改进的视频语义分割训练模型，该模型结合了卷积架构和时空转换器循环层，并能够通过光流适应性地门控使时间上的标记信息传递，模型通过未标记帧来改善视频分割准确性，并在基于多个深度架构中进行了广泛实验。

    Dec, 2016

  • 深度语义分割的三重审视：注重效率、时间性和深度感知的设计

    本文针对自主行驶场景下的语义分割问题进行了调研，从模型开发、RGB-D 数据集集成、时域信息模型三个方面讨论了目前最相关和最新的深度学习方法，旨在为读者提供关于这一激动人心和具有挑战性的研究领域的最新进展。

    Mar, 2023

  • STFCN：用于语义视频分割的时空 FCN

    本文提出了一种包括时空特征的方法来解决语义视频分割问题，使用卷积神经网络和长短时记忆结构相结合的深度学习模型取得了 Camvid 和 NYUDv2 数据集的最先进语义分割性能。

    Aug, 2016

  • 基于逐帧推理的高效语义视频分割

    本文提出了一种有效的语义视频分割方法，借鉴于现有方法中将结果传播到相邻帧或使用其他帧提取帧表示时可能会导致不准确的结果或不平衡的延迟问题，我们在推理过程中采用逐帧方式处理，其中显式考虑帧与帧之间的时间一致性，并将此一致性嵌入到语义分割网络中。通过新的知识蒸馏方法，我们成功地缩小了紧凑型模型与大型模型之间的性能差距。我们的结果在 Cityscapes 和 Camvid 等流行基准测试中优于先前的基于关键帧的方法，并提高了与独立训练每帧的对应基线的时间一致性。

    Feb, 2020

  • 低延迟视频语义分割

    本研究提出了一种视频语义分割框架，该框架利用特征传播模块和自适应调度器相结合的方法，通过时间间隔自适应地融合特征并根据准确性预测动态分配计算量，以实现低延迟和高语义分割质量。实验结果表明，在与现有模型的比较中，该模型在 Cityscapes 和 CamVid 这两个数据集上获得了竞争性的性能，并将延迟从 360 ms 降低到 119 ms。

    Apr, 2018