Oct, 2023

用于高效动态场景重建的掩码空时哈希编码

PDF
TL;DR提出了一种名为 “Masked Space-Time Hash encoding (MSTH)” 的新方法，用于高效地从多视角或单目视频中重建动态 3D 场景。该方法通过将动态场景表示为 3D 哈希编码和 4D 哈希编码的加权组合，通过可学习的遮罩来表示两个组件的权重，以反映每个 3D 位置的空间和时间重要性。通过避免对静态区域进行冗余查询和修改，该方法可以降低哈希碰撞率，使得能够使用小尺寸的哈希表来表示大量的时空体素。此外，该方法不需要独立地适应大量的时态冗余特征，易于优化，并且仅需 20 分钟的训练时间即可收敛。MSTH 方法在只有 20 分钟的训练时间和 130 MB 的内存存储的情况下，始终比以前的方法表现更好。
masked space-time hash encodingdynamic 3d scenesreconstructionmulti-view or monocular videoshash collision rate
发现论文，激发创造
  • 对比遮蔽自编码器用于自监督视频哈希

    本研究提出了名为 ConMH 的一阶段自监督视频哈希方法，该方法通过采用编码器 - 解码器结构重构视频以捕获视频语义信息，并通过最大化两个视频增强视图之间的协议以充分利用视频之间 的相似性关系。实验结果表明 ConMH 方法在大规模视频数据集上表现出色，是当前最佳方法之一。

    Nov, 2022

  • 基于掩模引导的谱域变换器，用于高效的高光谱图像重建

    本文提出 Mask-guided Spectral-wise Transformer (MST) 框架，通过 Spectral-wise Multi-head Self-Attention 和 Mask-guided Mechanism 的组合，可以有效解决 CNN-based 方法捕捉波谱相似性以及长距离依赖性上的局限性，而且能够充分利用 CASSI 系统中物理屏的信息对高保真度的 HSI 重建有提升作用。

    Nov, 2021

  • 基于运动捕捉的动作识别的时空网格变换器（STMT）

    本文提出一种利用 Spatial-Temporal Mesh Transformer（STMT） 直接对网格序列进行建模的方法，通过使用层次 Transformer 结构和自监督任务来实现骨架表示和点云表示无法达到的以空间 - 时间域的非局部关系为基础的人类动作识别，实验结果表明该方法在 MoCap 基准测试上表现卓越。

    Mar, 2023

  • 空时中的乘法残差哈希神经视频分解

    我们提出了一种视频分解方法，可以对具有时空变化照明和运动效果的视频进行基于层次的编辑。我们的神经模型将输入视频分解为多个分层表示，其中包括 2D 纹理贴图、原始视频的掩码以及表征光照条件时空变化的乘法残差。通过对纹理贴图进行单个编辑，可以在整个视频帧的对应位置传播并保持其他内容的一致性。通过坐标哈希，我们的方法可以以每帧 25 秒的速度高效学习 1080p 视频的基于层次的神经表示，并在单个 GPU 上以 71 帧每秒的速度实时渲染编辑结果。在定性方面，我们运行该方法在各种视频上展示其生成高质量编辑效果的有效性。在定量方面，我们提出采用特征跟踪评估指标来客观评估视频编辑的一致性。

    Sep, 2023

  • MST：遮蔽式自监督变压器用于视觉表示

    本文提出了 MST 方法，它可以显式捕捉图像的局部上下文并保留全局语义信息，在密集预测任务上有更好的性能，在多个数据集上得到验证，并优于同等时期的监督方法和其可比的变体 DINO。

    Jun, 2021

  • 一种基于空间哈希的实时场景重建的高效体网格表示

    本文提出了一种创新的框架，采用体积表示法对网格进行紧缩、更新和细化，同时采用哈希方法实现 O (1) 的访问，引入 Hamming 距离方法进一步改善三角形一致性，同时使用基于锁和无锁操作实现 GPU 并行计算，实验证明该方法在在线重建过程中能够显著减少网格内存占用且速度快。

    Mar, 2018

  • 多尺度动作感知和时空通道上下文编码网络用于学习视频压缩

    提出一种基于运动感知、空时域通道上下文编码的视频压缩网络 (MASTC-VC)，该网络利用变分自编码器 (VAEs) 学习隐藏表示，捕捉帧内像素和帧间运动的特征，并通过多尺度运动感知模块 (MS-MAM) 和空时域通道上下文模块 (STCCM) 提高编码效率。在三个公共基准数据集上进行的综合实验表明，MASTC-VC 在 PSNR 度量上对 H.265/HEVC (HM-16.20) 平均 BD - 速率有 10.15％的节省，对 H.266/VVC (VTM-13.2) 平均 MS-SSIM 度量上有 23.93％的 BD - 速率节省。

    Oct, 2023

  • 基于深度 3D 掩模体的动态场景视图合成

    使用 Deep 3D Mask Volume 算法，基于自定义的 10 相机固定拍摄装置拍摄的 96 个高质量场景的多视角视频数据集，解决了动态场景视频视野合成中存在的一些挑战，实现了从静态相机拍摄的双目视频中的视角扩展，具有比逐帧静态视点合成方法或使用 2D 遮罩的方法更好的时间稳定性和较少的闪烁伪影，且允许更大的平移运动。

    Aug, 2021

  • STS：多视角三维检测的全景时空立体视觉

    利用 Surround-view Temporal Stereo 技术结合单眼深度算法实现深度学习，通过时间轴上的帧之间的几何对应来提高准确性，从而显著提高 3D 检测能力。

    Aug, 2022

  • 动作引导的掩模技术用于时空表示学习

    我们提出了一种运动引导的掩蔽算法 (MGM)，通过利用运动矢量来引导每个掩蔽的位置，从而更高效地利用视频显著性，与先前的最先进方法相比，在两个具有挑战性的大规模视频基准 (Kinetics-400 和 Something-Something V2) 中，我们为视频 MAE 提供了 MGM 中的关键装备，并取得了高达 +1.3% 的改进。此外，我们的 MGM 只使用了最多 66% 的训练时期，就可以获得与先前的视频 MAE 相等的性能。最后，我们展示了 MGM 在 UCF101、HMDB51 和 Diving48 数据集上对下游迁移学习和领域自适应任务的更好泛化能力，与基线方法相比，取得了高达 +4.9% 的改进。

    Aug, 2023