STARFlow:面向现实世界场景流的空间时序特征重新嵌入与注意力学习
作者提出了一种新的全对全 (SOTA) 流嵌入层,具有向后可靠性验证并解决了同时考虑局部和全局与前后方向点云的三维场景流估计问题,在 FlyingThings3D 和 KITTI 场景流数据集上表现出至少 38.2%和 24.7%的 SOTA 性能。
Jul, 2022
提出了一种基于可学习的空间 - 时间采样 (LSTS) 模块、分散递归特征更新 (SRFU) 和密集特征聚合 (DFA) 模块,实现了视频目标检测中的准确空间对应关系,增强特征更新,提升检测性能,并在 ImageNet VID 数据集上取得了最先进的表现和实时速度。
Nov, 2019
本文中,我们提出了 Semantic Flow,一种从单 ocular videos 中学习动态场景的神经语义表示。与以往的 NeRF 方法不同,它通过包含丰富的三维运动信息的连续流来学习语义。我们考虑从二维视频帧中提取三维流特征时视线方向上的二维到三维模糊问题,将体积密度视为描述流特征对帧语义贡献的不透明度先验。我们首先学习流网络预测动态场景中的流,并提出流特征聚合模块从视频帧中提取流特征。然后,我们提出流注意模块从流特征中提取运动信息,随后是语义网络输出流的语义 logits。我们将 logits 与视线方向上的体积密度相结合,以在视频帧上监督流特征与语义标签的学习。实验结果表明,我们的模型能够学习多个动态场景,并支持一系列新任务,如实例级场景编辑、语义补全、动态场景跟踪和对新场景的语义适应。可在此 https URL 获取代码。
Apr, 2024
本文介绍了一种使用带有空间和时间注意力层的方法来提取点云中的 3D 场景流信息,该方法名为 FESTA,相比其他基于场景流估算的新方法,在场景流估算准确度和性能方面有了显著的提升。
Apr, 2021
本研究介绍了一种名为 SceneTracker 的基于学习的长期场景流估计(LSFE)网络,通过迭代方法来近似最优轨迹,并同时动态索引和构建外观和深度相关特征,并采用 Transformer 探索和利用轨迹之间的长程连接。通过详细实验,SceneTracker 展示了处理三维空间遮挡和深度噪声干扰的卓越能力,非常适合 LSFE 任务的需求。SceneTracker 的代码可在此 URL 获取:https:// 该网址。
Mar, 2024
本文研究了使用两个连续的三维点云来估计场景流的问题,并提出了一种新的分层神经网络架构和双重注意力方法来精细地估计和监督不同级别的场景流和 LiDAR 位置跟踪。
Oct, 2020
地理空间活动与土地利用类型之间存在相关性。提出一种新颖的自监督方法,基于运动活动时间序列对景观进行分层。时间序列信号首先转换到频域,然后通过压缩自编码器转换为与任务无关的时间嵌入,该方法保留了时间序列中观察到的循环时间模式。通过深度语义分割,将像素级嵌入转换为类似图像的通道,可用于基于任务的异模态建模和下游地理空间任务的建模。实验证明,时间嵌入是时间序列数据的语义有意义的表示方法,并且在不同的任务中如分类住宅区和商业区等有着良好的效果。时间嵌入将时空运动轨迹数据转换为语义有意义的类似图像的张量表示,可以与其他数据模态(如 RBG 图像、道路网络的图嵌入、被动采集的 SAR 图像等)相结合进行多模态学习,从而促进地理空间计算机视觉中的多模态学习。多模态计算机视觉对于训练地理空间特征检测的机器学习模型以保持地理空间映射服务实时更新是至关重要的,可以显著提高用户体验和用户安全。
Oct, 2023
提出了一个新问题 -- 顺序场景流估计(SSFE),旨在从给定序列中估计所有点云对的三维场景流。引入 SPCM-Net 架构来解决该问题,利用时间和空间的多尺度相互关系以及顺序不变的循环单元来聚合关联。通过实验验证表明,与仅使用两个帧相比,处理点云序列的递归处理结果更好。这一方法可有效地修改为顺序点云预测(SPF)的问题,并使用自监督训练和评估指标进行实验结果的评估。提供了新的基准数据集,对多帧估计和预测进行测试,这将在未来的研究中起到重要作用。
Nov, 2021
本文提出了一种新颖的特征学习框架,用于视频中的人物再辨识,主要利用视频序列中的适当时间信息和解决运动行人的空间对齐问题,并设计了一个时间残差学习(TRL)模块和一个空间 - 时间转换器网络(ST^2N)模块。经过广泛实验验证,提出的方法在各大数据集上都取得了一致优秀的表现,并超越了绝大多数最新的最先进方法。
Feb, 2018
本文提出一种不同于传统 CNN 的可微分全局流本地注意力框架来进行姿势引导的人体图像生成,该模型通过预测流场来进行全局相应,通过提取特征图中的局部补丁对局部注意力系数进行计算来生成新的人体图像,实验结果表明该方法优于传统方法,同时也适用于其他要求空间变换的任务。
Mar, 2020