ICMLMay, 2022

无监督深度隐式粒子图像表示学习

PDF
TL;DR提出一种新的视觉数据表示方法 Deep Latent Particles (DLP)，其中用空间 - softmax 和 Chamfer 距离先验驱动学习生成低维潜在颗粒表示，并表明其对多个动态对象构成的场景视频预测等下游任务具有实用性，同时给出颗粒位置的不确定性估计。
visual data representationdeep latent particlesvaeunsupervised keypoint detectionprobabilistic interpretation
发现论文，激发创造
  • DDLP：使用深度动态隐变量粒子进行无监督的物体中心视频预测

    本研究提出了一种基于深度潜在粒子网络的物体中心视频预测算法（DDLP），相比于现有的基于插槽或裂纹的表示方法，DDLP 使用一组带有学习参数的关键点来建模场景，具有高效和可解释性，可用于 “如果” 事态的生成以及基于扩散的非条件视频生成，且在多个具有挑战性数据集上实现了最先进的物体中心视频预测结果。

    Jun, 2023

  • 实时数据同化带有不确定性量化的深度潜空间粒子滤波器

    使用神经网络的替代模型，Deep Latent Space Particle filter (D-LSPF) 可以在低维潜在空间中进行数据融合和实时的不确定性估计，运行速度比高保真粒子滤波器快一个数量级，并且比其他方法快 3-5 倍，精度可达一个数量级，从而实现实时的物理系统数据同化和不确定性量化。

    Jun, 2024

  • 从 RGB-D 视频中学习基于粒子的 3D 模拟器

    通过视觉粒子动力学以及端到端学习的方式，我们提出了一种从观测数据中直接学习模拟器的方法，避免了对特殊的信息的依赖，从而实现更加真实可信的仿真。这一方法的 3D 结构使得场景编辑和长期预测成为可能，为视频编辑和机器人规划等应用提供了新的路径。

    Dec, 2023

  • 离散潜在角度学习用于分割和检测

    通过离散的潜在视角透视学习（DLPL）的新框架，提高机器学习和计算机视觉中对图像不同视角的理解和一致的语义解释。DLPL 包括 3 个模块：视角离散分解，视角单应性变换和视角不变注意力，通过离散化视觉特征、转换视角和融合多视角语义信息来增强网络在不同场景和任务中描绘图像的能力。

    Jun, 2024

  • 非本地隐变量关系蒸馏用于自适应三维人体姿态估计

    本研究提出了一种自我监督的适应方法，将 3D 姿势学习转换为源域标记到未标记目标域的知识转移，通过两个显式映射推断图像到姿势，提出关系蒸馏作为一种方法来对齐未配对的跨模态样本，并使用新的非局部关系来表征长程潜在姿态相互作用，在标准基准测试中展示了最先进的 3D 人体姿态估计性能。

    Apr, 2022

  • 从图像集合中发现三维部件

    本文提出了一种自我监督的方法（LPD）来发现只有 2D 图像的物体的三维部件，并使用新的部件形状先验学习足够简单而又能忠实地匹配物体形状的部件，这种方法在实验中表现良好，比现有方法具有更好的重构精度。

    Jul, 2021

  • 通过潜在表示分析的深度透明预测

    通过提取 Deep Neural Networks 中的潜在信息来获取简洁的表示形式，并实现有效、统一的分析以进行预测，从而结合透明度和高预测准确性的目标，提高在 healthcare 领域的可信性和个性化的问题。

    Sep, 2020

  • 学习将表示分解和解缠以进行视频预测

    提出一种基于结构化概率模型和深度学习的自动编码器框架，能够将高维的视频序列自动地分解成易于预测的低维时序动态，并且无需显式监督，在多个数据集上进行实验表明该方法具有较好的预测能力。

    Jun, 2018

  • 用高密度视觉粒子动力学模拟现实世界

    通过处理包含 10 万 + 粒子的大规模潜在点云，我们提出了一个学习的世界模型 —— 高密度视觉粒子动力学（HD-VPD），它可以模拟真实场景的物理动力学。为了在这一规模上实现高效率，我们引入了一种新颖的点云变换器（PCTs）家族，称为 Interlacer，利用交织的线性注意力 Performer 层和基于图的邻居注意力层。相比之前的图神经网络方法，我们的 Interlacer 动力学速度是原来的两倍，预测质量相同，并且使用 4 倍的粒子可以实现更高的质量。我们展示了 HD-VPD 在建模具有高自由度的双手机器人与两个 RGB-D 相机的动力学方面的能力。我们演示了 HD-VPD 如何通过机器人推箱和抓取任务来评估运动计划的质量。请在此 https URL 上观看通过 HD-VPD 渲染的视频和粒子动力学。

    Jun, 2024

  • 潜在扩散模型中的场景表示：超越表面统计

    本文研究了潜在扩散模型在产生逼真图像时的内在机制，通过使用线性探针发现，LDM 的内部激活编码了简单场景的几何和显著对象 / 背景区别的线性表示，并且这些表示出现在去噪处理的早期阶段，对 LDM 图像合成具有因果作用，并可用于简单的高级编辑。

    Jun, 2023