本文提出了一种称为 AR-Seg 的改变分辨率框架，旨在通过使用低分辨率来减少非关键帧的计算成本，同时避免降采样引起的性能下降，CReFF 模块能够更好地进行空间对齐和聚合，FST 策略能够通过显式相似性损失和隐式约束提高分割准确性，CamVid 和 Cityscapes 等多个数据集上，AR-Seg 在不同分割骨干网的情况下实现了最先进的性能。

Mar, 2023

视频语义分割（VSS）通过为视频序列中的每个像素分配语义标签来完成。本文提出了一种名为 MPVSS 的高效掩码传播框架，通过利用学习到的查询生成一组与关键帧的掩码预测相关的面向片段的流图，并将这些掩码 - 流对变换为非关键帧的掩码预测，从而在保证精度的同时大幅降低计算成本。经过 VSPW 和 Cityscapes 等数据集的大量实验证明，我们的框架在准确性和效率方面取得了 SOTA 水平的折衷，最佳模型在 VSPW 数据集上使用 Swin-L 骨干网络相比于 SOTA MRCFA（使用 MiT-B5）的 mIoU 提高了 4.0%，只需要 26% 的 FLOPs。此外，与单帧 Mask2Former 基线相比，我们的框架在 Cityscapes 验证集上降低了高达 4 倍的 FLOPs，仅引起 2% 的 mIoU 降低。

Oct, 2023

我们提出了一个用于视频语义分割（VSS）的新解决方案 THE-Mask，首次引入了时态感知的分层物体查询，并利用简单的两轮匹配机制，在训练过程中以最小代价匹配更多的查询对象，同时在推理过程中无需任何额外代价。为了支持多对一的分配，我们设计了一种分层损失来训练带有相应主次层级关系的查询。此外，为了有效捕捉帧间的时态信息，我们提出了一个时态聚合解码器，以无缝融入 VSS 的掩码分类模型，利用时态敏感的多级查询方法，在最新的具有挑战性的 VSS 基准 VSPW 上取得了最先进的性能。

Sep, 2023

该论文介绍了一种简单而有效的方法来建模视频对象分割中的时空对应关系，使用对应关系实现内存高效且鲁棒的框架，并且使用负平方欧氏距离计算亲和力，实现了多对象的高速分割，并获得了最新的最高性能结果。

Jun, 2021

该研究提出了一种空间 - 时间多层次关联框架，以解决现有半监督视频对象分割方法在空间特征匹配和时空特征建模方面的限制，并通过空间 - 时间记忆库实现充分的目标交互和高效的并行处理，从而提高视频对象分割的效果。

Apr, 2024

本文介绍使用 Transformer 结合注意力机制来改善弱监督语义分割的问题，提出了 Affinity from Attention 和 Pixel-Adaptive Refinement 模块来学习和精华像素标签和相似度，本方法在多个数据集表现非常出色。

Mar, 2022

本文介绍了一种通过使用音频视觉神经处理技术解决从视频中分离个别语音信号的方法，提出了使用交叉模态亲和力网络（CaffNet）解决由于传输延迟不匹配或抖动引起的两种模态之间的帧不连续问题，并在复杂光谱领域上扩展该模型，实验结果表明此方法在各种数据集上优于传统方法，具有在实际场景中的优势。

Mar, 2021

提出了一种基于多尺度时间特征亲和力学习框架的解决医学视频分割中存在的噪声标签问题的方法，在人工合成和真实世界标签噪声的实验中表现出优异的性能。

Jul, 2023

提出 AuxSegNet + 框架，使用正好标定过的图片级别标签，通过关联任务 -- 显著性检测和多标签图像分类以及交叉任务亲和学习机制，改进了弱监督语义分割的性能，并在 PASCAL VOC 和 MS COCO 数据集上取得了新的最先进结果。

Mar, 2024

本研究提出了名为 ConMH 的一阶段自监督视频哈希方法，该方法通过采用编码器 - 解码器结构重构视频以捕获视频语义信息，并通过最大化两个视频增强视图之间的协议以充分利用视频之间 的相似性关系。实验结果表明 ConMH 方法在大规模视频数据集上表现出色，是当前最佳方法之一。

Nov, 2022