基于情节图记忆网络的视频目标分割
本文提出了一种基于神经网络的视频分割方法,用于区分视频帧中独立运动的物体,并利用对象运动、外观和时间一致性等多个信息源,通过对数据进行训练得到模型,经过评估表明该模型在DAVIS、Freiburg-Berkeley运动分割数据集和SegTrack等数据集上表现良好。
Dec, 2017
提出了一种用于半监督视频对象分割的新型解决方案,通过利用内存网络中的可用线索和遍历所有可用源中的相关信息来实现更好的处理外观变化和遮挡等挑战,从而实现了最先进的性能。
Apr, 2019
本文提出了一种端到端的网络来解决视频对象分割中时间建模的根本挑战,包括短期记忆子网络和长期记忆子网络,通过图形学习框架提高局部区域间的可视一致性,在三个常用的数据集上取得了非常好的性能。
Mar, 2020
本研究提出了一种称为记忆聚合网络的统一框架,以更高效的方式解决交互式视频对象分割的问题,通过将交互和传播操作整合到单个网络中,并提出一种简单而有效的记忆聚合机制,大大提高了发现有挑战性的感兴趣对象的鲁棒性。在DAVIS Challenge 2018基准验证集上进行了广泛的实验,特别地,我们的MA-Net在没有任何更多附加的部分下达到了76.1%的J@60分数,超过了最先进的技术 2.7%以上。
Mar, 2020
该研究提出了一种新型的时空图神经网络(STG-Net)方法,它通过利用所有Object Proposals并捕捉它们之间的关联来更精确地重建视频对象分割的遮罩,并通过滑动窗口方法以及记忆模型来捕捉时态相关信息。该方法在四个大型数据集上实现了最新的表现,并展示了其有效性。
Dec, 2020
本文提出了一种新颖的神经网络模块,可以将现有的单帧语义分割模型转化为视频语义分割流水线,并将过去帧中的语义信息聚合到内存模块中,并通过关注机制来对其进行访问。通过将这些提示与当前帧的编码进行融合,可以改善Cityscapes数据集上的分割性能,并只需增加1.5ms的推理时间。
Jan, 2021
该论文介绍了一种简单而有效的方法来建模视频对象分割中的时空对应关系,使用对应关系实现内存高效且鲁棒的框架,并且使用负平方欧氏距离计算亲和力,实现了多对象的高速分割,并获得了最新的最高性能结果。
Jun, 2021
XMem使用Atkinson-Shiffrin模型的多个独立特征存储器来解决长视频对象分割中的内存资源限制问题,通过记忆强化算法实现主动储存工作内存元素到长期内存中,使得预测效果突破先前最优结果并在短视频数据集上与当今最优算法表现持平。
Jul, 2022
该研究提出了一种质量感知的动态记忆网络方法,该方法考虑了内存帧的分割质量,通过动态更新内存库来提高模型的实用性,并通过广泛的实验验证了其在视频目标分割领域的优越性能。
Jul, 2022
该研究提出REMN,一种稳健高效的记忆网络,用于半监督视频物体分割,通过引入本地注意机制和动态记忆库,解决了非局部匹配和高时间冗余的问题,实验表明REMN在DAVIS 2017和YouTube-VOS 2018上均取得最新的成果,具有较高的推理速度和相对较少的计算资源。
Apr, 2023