ECCVOct, 2022

全局光谱滤波记忆网络用于视频物体分割

PDF
TL;DR本研究提出了 Global Spectral Filter Memory 网络以提高半监督视频对象分割的内框交互，并通过 Low（High）Frequency Module 有效地学习长期空间依赖性，显着优于基准方法并达到了最先进的表现。
semi-supervised video object segmentationintra-frame interactionglobal spectral filter memory networklong-term spatial dependencieslow (high) frequency module
发现论文，激发创造
  • 快速视频语义分割的局部内存注意力

    本文提出了一种新颖的神经网络模块，可以将现有的单帧语义分割模型转化为视频语义分割流水线，并将过去帧中的语义信息聚合到内存模块中，并通过关注机制来对其进行访问。通过将这些提示与当前帧的编码进行融合，可以改善 Cityscapes 数据集上的分割性能，并只需增加 1.5ms 的推理时间。

    Jan, 2021

  • GLFNET：用于高效医学图像分割的全局 - 局部（频率）滤波网络

    我们提出了一种名为全局 - 局部滤波网络（GLFNet）的新型 Transformer 风格架构，用于医学图像分割，证明了其具有最先进的性能。我们用全局 - 局部滤波块取代了自注意机制，以优化模型效率。全局滤波器从整个特征图中提取特征，而局部滤波器以适应性方式作为相同特征图的 4x4 补丁生成并添加受限的尺度信息。特征提取发生在频率域而不是常用的空间（图像）域，以实现更快的计算。来自空间和频率空间的信息融合创建了一个在复杂性、所需数据和性能方面效率高的模型。我们在三个基准数据集上测试了 GLFNet，在所有数据集上都实现了最先进的性能，而在 GFLOP 操作方面几乎提高了一倍的效率。

    Mar, 2024

  • 全局卷积网络用于图像分类

    GFNet 是一个简单而高效的架构，它通过频域中的长期空间依赖性来替换自注意力层，在 ImageNet 和下游任务中表现出有竞争力的准确性 / 复杂性权衡。

    Jul, 2021

  • 利用时空记忆网络进行视频对象分割

    提出了一种用于半监督视频对象分割的新型解决方案，通过利用内存网络中的可用线索和遍历所有可用源中的相关信息来实现更好的处理外观变化和遮挡等挑战，从而实现了最先进的性能。

    Apr, 2019

  • 基于频谱引导的多粒度视频对象分割

    当前的参考视频对象分割（R-VOS）技术从编码（低分辨率）视觉语言特征中提取条件内核，用于分割解码的高分辨率特征。我们发现这导致显著的特征漂移，分割内核在前向计算过程中难以感知。为了解决漂移问题，我们提出了一种谱导向的多粒度（SgMg）方法，它直接在编码特征上进行分割，并利用视觉细节进一步优化蒙版。此外，我们提出了谱导向的跨模态融合（SCF），以在频谱域中进行帧内全局交互，实现有效的多模态表示。最后，我们扩展了 SgMg 以执行多对象 R-VOS，这是一种能够在视频中同时分割多个引用对象的新范式。这不仅使 R-VOS 更快，而且更实用。广泛的实验证明，SgMg 在四个视频基准数据集上实现了最先进的性能，在 Ref-YouTube-VOS 上超越了最接近的竞争者 2.8 个百分点。我们的扩展 SgMg 实现了多对象 R-VOS，在保持满意性能的同时运行速度大约快 3 倍。

    Jul, 2023

  • 基于记忆的语义学习网络用于时序句子定位

    提出了一种名为记忆引导语义学习网络（MGSL-Net）的内存增强网络来学习和记忆 TSG 任务中常见且罕见的内容，通过动态地关联常见和罕见情况，缓解模型忘记的问题，并在测试阶段通过检索存储的记忆来增强罕见情况，实现更好的泛化。

    Jan, 2022

  • 视频物体分割的鲁棒高效记忆网络

    该研究提出 REMN，一种稳健高效的记忆网络，用于半监督视频物体分割，通过引入本地注意机制和动态记忆库，解决了非局部匹配和高时间冗余的问题，实验表明 REMN 在 DAVIS 2017 和 YouTube-VOS 2018 上均取得最新的成果，具有较高的推理速度和相对较少的计算资源。

    Apr, 2023

  • 双时序记忆网络用于高效的视频目标分割

    本文提出了一种端到端的网络来解决视频对象分割中时间建模的根本挑战，包括短期记忆子网络和长期记忆子网络，通过图形学习框架提高局部区域间的可视一致性，在三个常用的数据集上取得了非常好的性能。

    Mar, 2020

  • 视频目标分割的高效区域存储网络

    该研究论文提出了一种局部匹配的解决方案，即区域性记忆网络（RMNet），用于半监督视频对象分割技术，旨在消除空间 - 时间记忆网络中的全局匹配误差并提高计算效率。实验表明， RMNet 在 DAVIS 和 YouTube-VOS 数据集上的表现优于现有的技术。

    Mar, 2021

  • 视频目标检测的记忆增强全局 - 局部聚合

    本文提出一种基于记忆增强的全局局部聚合（MEGA）网络，该网络融合了全局语义信息和局部定位信息，并通过新设计的长期记忆模块让关键帧可以获得比之前任何方法更多的内容，从而在 ImageNet VID 数据集上取得了最先进的性能。

    Mar, 2020