Mar, 2024

通过预测学习三维物体为中心的表示

PDF
TL;DR利用仅依赖于大脑可访问的信息进行训练的图像序列和自我运动，我们开发了一种新颖的网络架构，能够同时学习从离散图像中分割对象、推断其三维位置和感知深度，从而作为预测学习的副产品有效地学习对象的表示。
objectsmental representation3d environmentsnetwork architectureobject representations
发现论文，激发创造
  • 使用神经网络捕捉视觉对象

    本研究回顾了关于人类目标感知和深度神经网络模型在目标识别方面的相关工作，并探讨了这两个领域如何相互促进，提供了发展新实验任务和推动深度神经网络模型中的目标识别的基准的认知文献和实验任务。

    Sep, 2021

  • ROOTS: 3D 场景的对象中心表示和渲染

    本文提出了一种概率生成模型，用于学习从多个物体场景的部分观察中构建模块化和组合化的三维物体模型，该模型可以推断 3D 物体表示并从任意视角呈现场景。

    Jun, 2020

  • 可证明学习物体为中心的表达

    通过引入组合性和不可约性假设，分析了何时可以在无监督情况下学习对象为中心的表示，并通过在合成数据上的实验验证了结果。还提供了证据表明该理论具有现有对象为中心模型的预测能力。

    May, 2023

  • 从单幅图像理解 3D 物体交互

    本文提出一种基于 Transformer 的模型以实现机器的多物体理解，物体控制及 3D 场景探索，主要方法为预测物体的 3D 位置，物理属性及可访问性，通过自己收集和验证数据集来证明该模型对网络视频，比如第一人称视角视频和室内图像产生较好泛化能力。

    May, 2023

  • 神经世界模型与计算机视觉

    该研究提出了一种基于计算机视觉概念，使用深度神经网络从摄像头观测和专业演示数据中训练世界模型和政策的通用框架，该模型可以预测鸟瞰图空间中动态汽车的未来轨迹，并在城市驾驶环境中联合预测静态场景、动态场景和特定行为。

    Jun, 2023

  • 迭代变分推断多物体表示学习

    本篇论文探讨了通过学习对象的语义分割和表示方法，从而实现对场景的复原和整合，不需要监督并且具有泛化能力。

    Mar, 2019

  • ImageNet3D：面向通用对象级别 3D 理解

    通过与 ImageNet 数据集相结合，ImageNet3D 数据集提供了 200 个类别的 2D 和 3D 信息，从而为构建具有更强的通用性目标级三维理解的视觉模型提供了潜力。

    Jun, 2024

  • 通过互动学习物体的几何表示

    从不受限制的各种观测中提取代理和外部物体在物理空间中的位置的表示学习框架，仅依靠代理执行的动作作为唯一的监督信号，并假设物体通过未知动力学被代理移动，能够确保从中推断出等度量表示，并正确提取它们的位置。

    Sep, 2023

  • 贝叶斯大脑：利用感知计算来识别三维物体

    该论文研究通过拟合贝叶斯假设模拟人类感知能力，以识别基于视图的 3D 物体，并实现了感知计算。

    Nov, 2022

  • 基于条件的视频目标中心学习

    该论文提出了一种弱监督学习方法，以对象为中心的表示和光流条件模型，可提高现实数据下的实例分割和追踪效果，改进了查询模型的灵活性，并扩展了应用范围。

    Nov, 2021