Feb, 2022

循环双向交互的基于短语的可供性检测

PDF
TL;DR本文提出了一种基于视觉 - 语言角度的，循环双边一致性增强网络（CBCE-Net）来检测与对象互动的可能性，通过对公开的 Purpose-driven Affordance Dataset (PAD) 进行扩展，使用短语注释了能力类别。实验结果证明了我们的方法在目标评价指标和视觉质量两方面均优于相关领域的九种典型方法。
affordance detectionvision-languagecbce-netaffordance propertiespad
发现论文，激发创造
  • 学习正确的行为：从图像预测和解释可供性

    本文提出使用图神经网络对场景中的操作、物体可用性进行详细的推理，并解决了在特定环境下不应该采取某些行动以及采取这些行动后可能发生的情况的问题。

    Dec, 2017

  • 基于贝叶斯深度学习的图像感知分割

    提出了一种基于深度贝叶斯网络的探测物体可提供的作用及分布的算法，使用 Monte Carlo Dropout 优化了模型的准确度并在 Mask-RCNN 结构上做了修改，利用新的概率模型检测出语义和空间上的不同，并通过比较二进制掩码而非预测边界框的方法来评估概率分割，同时分析出照相机噪音和视觉难点导致的随机和确定性方差。

    Mar, 2023

  • 3D AffordanceNet：视觉物体可供性理解的基准测试

    本论文介绍了一个名为 3D AffordanceNet 的数据集，其中包含来自 23 个语义对象类别的 23k 个形状，注释了 18 个视觉可用性类别，并提供了三个评估视觉可用性理解的基准测试任务。作者评估了三种最先进的点云深度学习网络，并研究了半监督学习设置探索利用未标记数据的可能性。综合结果表明，视觉可用性理解是一个有价值但具有挑战性的基准测试。

    Mar, 2021

  • 具有融入字幕的可自解释性可行动性学习

    通过将可视管理学习和自我解释能力相结合，本研究提出了一种新的模型，能够有效地解决行为模糊性问题，并通过实验验证了其有效性。

    Apr, 2024

  • 弱监督可支配分割的自适应二值化

    本文提出了一种基于稀疏关键点学习卷积神经网络进行可供性分割的迭代方法，并提出了一种自适应的二值化方法，经过两个可供性数据集的实验，我们的方法在弱监督可供性分割领域取得了最好的表现。

    Jul, 2017

  • AffordanceNet: 一种端到端的深度学习方法，用于检测物体的可供性

    本文介绍了一种名为 AffordanceNet 的新型深度学习方法，可以从 RGB 图像中同时检测多个对象及其负载承载能力，实验结果表明 AffordanceNet 的性能优于现有最先进的方法，适用于实时机器人应用。

    Sep, 2017

  • 基于可支配性迁移学习的人 - 物互动检测

    引入了一种可用于检测新物体的人 - 物互动以及识别物体能力的 “可供性转移学习方法”，有效提高了对新物体的 HOI 检测表现，并能够通过已知关于物体能力的表示信息来推断新物体的能力，并在 HICO-DET 以及 HOI-COCO 两个数据集上取得了显著的性能提升。

    Apr, 2021

  • 走向视觉功能学习：一个为功能分割和识别设定的基准

    本文介绍了一个大规模多视角 RGBD 视觉可供性学习数据集及其基准测试方法，它包含了来自 37 种对象类别、配有 15 种视觉可供性类别和 35 种杂乱 / 复杂的场景的 47210 个 RGBD 图像。我们提出了一个名为 ARNet 的【可供性识别网络】，证明了该数据集的挑战性以及提出的新的强大的可供性学习算法的明确前景。

    Mar, 2022

  • 指导机器人探索的视觉可供性预测

    通过学习视觉契合来指导机器人探索，并使用基于 Transformer 的模型来学习 VQ-VAE 潜在嵌入空间中条件分布，从而展现模型的组合泛化能力。训练完成的契合模型可用于机器人操作策略学习中的目标抽样分布。

    May, 2023

  • CoTDet：专注于任务驱动的物体检测的能力知识引导

    本文提出了基于任务驱动的物体检测方法，通过探索基本意义而非物体类别来提取关键属性，并使用多级思维链激励法从大规模语言模型中提取与任务、物体示例和关键视觉属性相关的知识。进一步，我们提出了一种知识条件检测框架 CoTDet，有效利用知识来增强物体识别和定位，并得到支持物体检测的合理解释。实验证明，我们的 CoTDet 方法在性能上显著优于当前最先进的方法（提升 15.6 个方框 AP 值和 14.8 个掩膜 AP 值）。

    Sep, 2023