Mar, 2016

快速场景理解：生成模型的参考、推理与重复

PDF
TL;DR提出了一种针对结构化图像模型进行高效推断的框架，可以通过使用循环神经网络执行概率推断实现对场景元素进行有意识的处理，从而在部分特定的 2D 模型（大小可变的变分自动编码器）和完全指定的 3D 模型（概率渲染器）上进行推断而不需要监督学习，从而实现在单次正向神经网络传递中对包括多个对象的 3D 图像进行分解、计数、定位和分类等功能。同时，该文研究还表明，相比较于监督学习，采用该网络结构可以产生更加准确的推断，并且具有良好的泛化能力。
发现论文，激发创造
  • 迭代消息传递的场景图生成

    研究使用视觉图像中的基于场景图谱的结构化表示，通过端到端模型建模图像中对象之间的关系，通过消息传递技术可以更好预测对象及其关系， 实验表明该模型显著优于以前的方法。

    Jan, 2017

  • 通过专家竞争实现因果生成场景模型

    通过训练专家生成模型的集合，鼓励系统具有模块化特征的认知偏差，从而达到控制采样和可重组性的目的，并且在处理深度分层和遮挡方面具有优势。

    Apr, 2020

  • 基于混合表示的场景合成深度生成建模

    本论文提出了一种基于深度生成模型的室内环境场景建模技术，使用前馈神经网络将先验分布映射到室内场景中的主要物体分布，并结合 2D 和 3D 物体排列表示的区分器损失对该模型进行训练，并在多个基准数据集上验证了该模型在场景插值和补全方面的有效性。

    Aug, 2018

  • 通过学习图像描述实现深度结构场景解析

    本文提出了一种基于深度架构的场景理解方法，通过一个卷积神经网络和一个递归神经网络分别提取图像特征和分层物体结构，结合基于描述性语句的弱监督训练，实现场景图像的自动解析，该方法在 PASCAL VOC 2012 数据集上表现出色。

    Apr, 2016

  • 使用视觉注意力的神经图像字幕生成

    该论文介绍了一种基于注意力机制的模型，通过机器翻译和物体检测实现图像内容的自动描述，通过最大化变分下界确定性训练该模型，并展示了该模型在生成输出序列时能够自动学习聚焦于显著物体。三个基准数据集上的性能表现也证明了该模型的有效性。

    Feb, 2015

  • 快速灵活的室内场景综合：基于深度卷积生成模型的方法

    本文提出了基于卷积生成模型的室内场景综合的新型、快速和灵活的流水线，通过预测物体的类别、位置、方向和尺寸，将其逐步插入场景。该流水线支持自动完成部分场景的生成，生成结果在以数据质量和视觉质量而言优于其他深度生成场景模型。

    Nov, 2018

  • 一种概率硬注意模型，用于顺序观察场景

    本文阐述了一种利用 Bayesian Optimal Experiment Design 来选择信息区域的视觉 Hard Attention Model。通过合成未观察到的区域的特征来预测信息增益（EIG），并在 EIG 最大的位置上实际观察内容。这种模型使用递归特征聚合器维护递归状态，使用线性分类器来预测类别标签，并使用部分变分自编码器来预测未观察到区域的特征。我们使用可微分的目标函数对模型进行训练，并在五个数据集上进行测试。与基线模型相比，当两者只看到几个方向时，我们的模型获得了 2-10％更高的准确度。

    Nov, 2021

  • 使用主动推理实现以物体为中心的场景表征

    本文提出了一种基于层次化对象中心生成模型的场景理解方法，利用神经启发式的行动和感知框架实现了代理的对象类别和姿态的推断，并提出了一个新的基准来评估主动视觉代理的行为，并表明我们的主动推理代理在平衡认知觅食和目标驱动行为方面表现优异，远胜于监督和强化学习基线。

    Feb, 2023

  • MONet: 无监督场景分解与表示

    该论文介绍了 Multi-Object Network 模型，它可以将复杂的 3D 场景拆分为对象和背景等语义组件，从而更好地表示场景中的抽象要素和关系，提高数据效率和转移性能。

    Jan, 2019

  • 使用神经网络组合图模型以获取结构化表示和快速推断

    提出了一种将概率图模型和深度学习相结合的模型框架，通过将神经网络用于观测模型，提高了潜在变量的图形结构；针对推断，使用了可视化的自编码器，利用识别网络输出共轭潜力的图形模型近似分布；所有的这些模型组件都是同时学习的，从而得到了一种可扩展的算法，利用了随机变分推断、自然梯度、图形模型信息传递和重参数化技巧。此模型框架的示例模型和应用程序向小鼠行为表型学方法提出了有效的解决方案。

    Mar, 2016