STint:自标注时序插值的地理数据
本文提出了一种 基于空时插值一致性训练 (STICT) 框架的视频阴影检测方法,使用未标记的视频帧与标记的图像一起训练深度神经网络,通过空间插值和时间插值一致性约束增强像素级别分类任务的泛化性能和鼓励时间连续预测。此外,还提出了一种适用于图像的多尺度的阴影知识学习的 Scale-Aware Network 和稍微有一点尺度一致性约束的测量方法,结果表明,即使没有视频标签,该方法也比大多数现有的监督、半监督或无监督的图像 / 视频阴影检测方法和相关任务的其他方法更好。
Jun, 2022
本文提出了一种基于循环一致性和伪监督的无监督技术,用于实现从低帧率视频直接合成高帧率视频。实验证明,该技术可以在不使用任何额外数据的情况下,显著提高预先训练模型在新目标域上的性能,从而大幅增加 PSNR 值。
Jun, 2019
本文提出了一种新的 Spatio-Temporal Self-Supervised Learning (ST-SSL) 交通预测框架以解决现有方法中存在的空间异质性和时间异质性问题,其中结合了时间和空间卷积以及自我监督辅助任务,实验结果表明,该方法在四个基准数据集上表现良好而且可适用于其他时空应用。
Dec, 2022
本文提出了一种空间 - 时间自我监督学习方法,通过对无标注图像的对比学习来提取空间特征,并通过重构学习利用无标注视频中的时间线索增强特征,以在视频分析任务上取得比现有自我监督方法更好的表现,并进行了削减研究以验证两步设计以及蒸馏损失的有效性。
Sep, 2022
本研究提出了一种自监督学习的方法,通过利用非遮挡像素估计可靠的光流,用于学习虚假的遮挡。同时,通过设计一个简单的 CNN 来利用多帧的时间信息来获得更好的光流估计。该方法在 MPI Sintel、KITTI 2012 和 2015 等多个挑战基准测试中取得了最佳性能,并且该自监督预训练模型为监督微调提供了极好的初始化,其微调后的模型在三个数据集上均取得了最先进的结果。
Apr, 2019
通过自我监督学习方法,将地理空间活动时间序列转化成任务无关的时间嵌入表示,然后使用深度语义分割,将这些嵌入转换成用于下游任务的基于图像通道的表示,实现对住宅区和商业区等不同类型用地的分类。
Apr, 2023
本文提出了一种基于时空动态模型的无监督光流估计方法,使用视图合成的自我监督学习来提供可靠的运动先验信息,利用邻帧的运动先验来改善光流估计中遮挡区域的监督,采用自我监督知识蒸馏来让模型理解物体在连续动态环境中的运动模式,实验证明该方法在无监督光流估计中取得了最先进的性能并具有记忆开销优势。
Apr, 2023
地理空间活动与土地利用类型之间存在相关性。提出一种新颖的自监督方法,基于运动活动时间序列对景观进行分层。时间序列信号首先转换到频域,然后通过压缩自编码器转换为与任务无关的时间嵌入,该方法保留了时间序列中观察到的循环时间模式。通过深度语义分割,将像素级嵌入转换为类似图像的通道,可用于基于任务的异模态建模和下游地理空间任务的建模。实验证明,时间嵌入是时间序列数据的语义有意义的表示方法,并且在不同的任务中如分类住宅区和商业区等有着良好的效果。时间嵌入将时空运动轨迹数据转换为语义有意义的类似图像的张量表示,可以与其他数据模态(如 RBG 图像、道路网络的图嵌入、被动采集的 SAR 图像等)相结合进行多模态学习,从而促进地理空间计算机视觉中的多模态学习。多模态计算机视觉对于训练地理空间特征检测的机器学习模型以保持地理空间映射服务实时更新是至关重要的,可以显著提高用户体验和用户安全。
Oct, 2023
使用自我监督训练改进现有的有监督模型,通过将数据标记和训练分为两个不同的阶段,并结合简单的技术来稠密化和重平衡伪标签,从而在实际视频中实现可靠的增益,适用于短期(基于流)和长距离(多帧)像素跟踪。
Jan, 2024