ICCVMar, 2016

DeepContext：用于 3D 完整场景理解的上下文编码神经路径

PDF
TL;DR本文提出通过将 3D 上下文信息嵌入到神经网络拓扑中以实现整体场景理解的方法，为此我们采用了一个神经网络对接收到的深度图像进行对齐并推断其中物体的存在和位置，以及使用部分虚构的深度图像生成数据集，所有实验结果都表明了本算法的有效性。
deep neural networksholistic scene understanding3d contextneural network topologyobject recognition
发现论文，激发创造
  • DeepPanoContext: 全景三维场景理解，基于整体场景上下文图和基于关系的优化

    本研究提出了一种基于全景图像的新颖的三维场景理解方法，通过设计基于图神经网络的上下文模型来预测物体之间的关系和房间布局，以及可微分的基于关系的优化模块来优化物体排列，实现对全景三维场景的理解， 并制备了具有多样化房间布局和家具摆放的真实感合成数据集，在几何精度和目标布置方面优于现有方法。

    Aug, 2021

  • PanoContext-Former：基于 Transformer 的全景场景理解

    本文提出了一种使用深度先验的方法，从单个全景图中同时复原物体形状、定向边界框和三维房间布局，为了充分利用丰富的上下文信息，设计了一个基于 transformer 的上下文模块来预测场景各组成部分之间的表示和关系。实验表明，我们的方法在布局估计和三维物体检测方面优于先前的全景场景理解方法。同时，本文还引入了一个包括照片逼真的全景图、高保真深度图、精确注释的房间布局和定向物体边界框和形状的真实世界数据集。

    May, 2023

  • 从单个视角深度学习的全 3D 物体补全

    通过结合深度卷积神经网络体系结构和自编码器，从深度图中隐含学习 3D 几何特征，大大提高了新方法的重建准确度，并使其适用于实时应用。

    Aug, 2018

  • 使用隐式表示从单张图像中全面理解三维场景

    本文提出了一种基于单幅图像的全面三维场景理解的新管道，该管道可以预测物体形状、物体姿态和场景布局，利用最新的深度隐式表示方法解决了物体形状和布局的不精确估计的问题，通过物理违规损失函数避免了物体之间的错误场景。实验结果表明，该方法在物体形状、场景布局估计和三维物体检测方面优于现有最先进技术。

    Mar, 2021

  • 通过层次特征对齐预训练和区域感知微调的通用标签高效三维场景解析

    通过使用预先训练的视觉 - 语言模型和无监督的区域级语义对比学习方案，本研究提出了一种通用且简单的框架，用于处理有限标记情况下的 3D 场景理解，从而在数据效率学习和开放世界少样本学习方面展现了有效性。

    Dec, 2023

  • 走向全面的场景理解：语义分割与更多

    本论文介绍了视觉场景理解的各方面研究，特别是通过使用语义分割网络在不同数据集上进行训练来提高分割性能和泛化性以及训练效率，以及通过多种方法来实现弱监督学习和部分感知全景分割等新任务，为实现全面、丰富、可持续的视觉场景理解铺平了道路。

    Jan, 2022

  • 使用上下文 - CNN 进行场景分类的对象级上下文建模

    本文介绍一种模型语境感知的深度神经网络，该模型利用 LSTM 单元结合物体提议来捕捉物体和场景之间的关系，并且通过对学习到的特征进行可视化和分析，证明了模型具有很好的语境建模能力。

    May, 2017

  • 利用全局上下文嵌入进行场景解析

    本文提出了基于参数化和非参数化模型的全局语境信息来进行场景解析，使用场景相似性训练上下文网络生成特征表示来生成空间和全局先验知识，然后将这些特征表示和先验知识嵌入到分割网络作为额外的全局上下文提示。实验表明该方法可以消除与全局上下文表示不兼容的误报，且在 MIT ADE20K 和 PASCAL Context 数据集上表现良好。

    Oct, 2017

  • 利用深度学习进行多媒体数据分类的智能 3D 网络协议

    本文中介绍了一种基于 3D 卷积神经网络和 Spatiotemporal fusion 的混合深度学习架构，用于视频分类和动作识别，在研究方面取得了良好的性能，可以识别出 UCF101 数据集中的动作（准确率达到 95%）

    Jul, 2022

  • 使用人工神经网络探究依赖于海马的任务中场景感知的神经表示

    该研究通过使用三元组损失训练深度神经网络，使其学习场景感知任务和无监督的目标分割，在编码和解码中使用分解的潜在空间，实现在视角变换时实现场景的转换和重建。

    Mar, 2023