CaSPR: 学习规范时空点云表示

Aug, 2020

CaSPR: Learning Canonical Spatiotemporal Point Cloud Representations

Davis Rempe, Tolga Birdal, Yongheng Zhao, Zan Gojcic, Srinath Sridhar...

TL;DR提出了一种名为 CaSPR 的方法，用于学习动态移动或演变对象的面向对象的规范时空点云表示，旨在使信息聚合在时间上，并在过去的任何时空邻域中查询对象状态，该方法通过将时间显式编码，将输入点云序列映射到时空标准化的对象空间来划分问题为两个子任务，其表示具有空间时间连续性，对变量和不规则时空采样点云具有鲁棒性，并且适用于未见过的对象实例。

Abstract

We propose CaSPR, a method to learn object-centric Canonical Spatiotemporal Point Cloud Representations of dynamically moving or evolving objects. Our goal is to enable information aggregation over time and the interrogation of object state at any spatiotemporal neighborhood in the pas

canonical spatiotemporal point cloud representations object-centric neural ordinary differential equations dynamically evolving shapes continuous spatiotemporal sequence reconstruction

发现论文，激发创造

3D 点云时空自监督表示学习

本文介绍了一种利用自监督学习学习无标签 3D 点云的时空表示学习 (STRL) 框架，通过从 3D 数据中获得富含的时空线索来应对 3D 情景理解任务中预训练模型泛化性差的困境，实验证明该方法能显著提高 3D 点云中的表示学习性能。

Sep, 2021

规范姿态下的自监督胶囊

本研究提出了一种自监督胶囊体系结构用于 3D 点云，其通过置换等变性注意力计算对象的胶囊分解，并通过随机旋转对象对进行训练。我们的关键思想是将注意力掩码聚合成语义关键点，并使用这些来监督满足胶囊不变性 / 等变性属性的分解，从而使训练具有语义一致的分解，同时还可以学习一种使对象集中化推理的标准化操作。通过自监督学习对象集中的表示，我们的方法在 3D 点云重建，规范化和无监督分类方面优于最先进的方法。

Dec, 2020

空间 - 时间图形循环神经网络用于点云预测

提出一种端到端学习网络，用于预测点云序列中的未来帧，其中网络以点云的拓扑信息作为几何特征学习初始层，形成代表性的时空邻域，在多个 Graph-RNN 单元中学习点的动态（即 RNN 状态），并与时空邻近点一起处理。测试结果表明，我们的方法在忽略几何特征信息的基准线方法上表现出色，应用于包括 MINST 运动数字、合成人体动作和 JPEG 动态人体数据集的预测中。

Feb, 2021

PRIN/SPRIN: 关于提取点旋转不变特征的研究

本文提出了一个全新的点集学习框架 PRIN，即点式旋转不变网络，通过密度感知自适应抽样构建球形信号来解决点云在球形空间上的扭曲分布，运用球形体素卷积和点重采样来提取每个点的旋转不变特征，同时将 PRIN 扩展到一种稀疏版本 SPRIN，直接操作于稀疏点云。两种方法都适用于从对象分类、部分分割到三维特征匹配和标签对齐等任务，结果表明，对于随机旋转点云的数据集，SPRIN 实现了比最先进的方法更好的性能，且无需使用任何数据增强。我们还为方法实现的点式旋转不变性提供了深入的理论证明和分析。

Feb, 2021

宁静之云：用神经网络学习点云时空相干特征

研究介绍了一种用于 Lagrangian 形式下的点云的机器学习方法，该方法可以学习稳定和具有时间相关性的特征，以解决在这些方法中存在的固有问题，例如点云形成的 halo 结构。

Jul, 2019

CAPNet：使用 2D 监督的连续近似投影进行 3D 点云重建

提出了一种名为 CAPNet 的不可分辨投影模块，采用多个前景掩膜作为监督数据，通过连续逼近点云点来建立投影模型，通过 'affinity loss' 损失公式规避了稀疏投影问题，显著优于现有基于投影的方法，可在缺乏大量 3D 数据的情况下构建高质量 3D 重建。

Nov, 2018

基于空间导向的点云 3D 密集描述 Transformer

该研究提出了一种基于 transformer 的 encoder-decoder 结构的 3D 密集描述方法，包含相对空间感知机制，可以精准地为 3D 场景中的每个场景对象实现目标检测和自然语言描述生成。在两个基准数据集 ScanRefer 和 ReferIt3D 上，该方法均优于基线模型 Scan2Cap。

Apr, 2022

概率和自适应场景表示的在线学习

本文提出一种贝叶斯非参混合模型来表示场景信息，通过在线学习过程实现了实时更新场景信息，在不同数据规模下实现了动态调整，实验结果表明该方法具有较高准确率和良好的效率。

Mar, 2021

动态 3D 点云序列作为 2D 视频

通过将动态 3D 点云序列作为 2D 视频进行重新组织，我们提出了一种名为 SPCV（Structured Point Cloud Videos）的新型通用表示方法，利用其结构化的特性，使得现有的 2D 图像 / 视频技术能够高效有效地处理和分析无结构的 3D 点云序列，以及解决包括动作识别、时间插值和压缩在内的 3D 点云序列处理问题。

Mar, 2024

深度卷积在非规则采样时间点云中的应用

本论文提出了一种使用深度学习模型对不规则采样的连续空间时间过程进行直接学习和预测的方法，并验证了该模型在真实天气数据和星际争霸 II 中的有效性。

May, 2021