Mar, 2017

基于度量学习的空间关系推广到新对象

PDF
TL;DR该论文介绍了使用距离度量学习的新方法来解决自主机器人在富含各种空间关系的人类中心环境中的空间关系学习问题，从而使其能够以灵活的方式学习任意的关系并进行泛化，这在非专家用户的辅助下以一个小数量的例子交互式地完成。
autonomous robotsspatial relationsdistance metric learninglifelong learninggeneralization
发现论文，激发创造
  • 超越卷积的优化：利用端到端度量学习推广空间关系

    本文提出了一种基于距离度量学习的端到端方法来推广空间关系，通过训练神经网络将对象的 3D 点云转换为捕捉所述空间关系相似性的度量空间，使用梯度优化来计算物体姿态来模仿任意目标关系，实验结果表明该方法使机器人能够在未知对象上推广空间关系。

    Jul, 2017

  • Transformer 能否捕获物体之间的空间关系？

    当前计算机视觉系统在识别实物基础空间关系方面的性能较差，通过提出了精确的关系定义以允许对基准数据集进行一致的标注，并利用 Transformer 模型的长程注意力能力对这一任务提出新的方法进行评估。我们提出了一种名为 “RelatiViT” 的简单架构，并证明其胜过所有当前方法，这是第一种在实际场景中令人信服地优于朴素基准的空间关系预测方法。

    Mar, 2024

  • 具有韧性和可解释性的关系网络空间参考基础

    本论文提出一种文本条件化的关系网络模型，通过跨模态的注意力机制动态计算参数以捕获实体之间的精细空间关系，从而实现对文本中空间参照的理解，具有可解释性和鲁棒性，在三个任务中实现了 17% 和 15% 的表现改进，从而解决了在自主导航和机器人控制中学习空间概念表示的关键挑战。

    May, 2020

  • 超越二元监督的深度度量学习

    本文引入了一种基于连续标签的深层度量学习新方法，包括使用连续标签进行三元组损失和适应连续标签的三元组挖掘策略，同时实验结果显示该方法在三种不同的图像检索任务中表现出较优异性能。

    Apr, 2019

  • 移动机器人的深度生成空间模型学习

    我们提出了一个新的概率框架，允许移动机器人自主学习跨越多个抽象层次的环境的深度生成模型。

    Oct, 2016

  • 文本到图像生成中的空间关系基准测试

    本文研究基于大规模文本到图像合成 (T2I)，研究其中的空间理解能力，并提出了一个评估指标 VISOR，并引入一个大规模的数据集 SR2D 以及自动化评估管道，对 T2I 模型进行了大规模实验，发现其在多对象和空间关系生成方面存在严重限制和偏差，并提供了数据集和评估指标以支持 T2I 空间推理研究。

    Dec, 2022

  • 具有泛化保证的监督度量学习

    本篇论文提出一种新的核函数以及一种新的编辑相似性模型，可以更好地优化距离和相似度函数，提高 k 近邻算法的性能，并在学习相似性时考虑到泛化能力与算法的稳定性， 解决了当前度量学习方法的局限性，为特征向量和结构化对象（如字符串或树）的度量学习提供了新方法。

    Jul, 2013

  • 空间关系图和图卷积网络用于目标导航

    该论文介绍了一种针对目标导航任务的框架，其中机器人需要从随机起始位置找到并移动到最近的目标对象类的实例。该框架利用机器人轨迹的历史记录来学习空间关系图和基于图卷积网络的嵌入，以便估计不同语义标签区域的接近度以及这些区域中不同的对象类别的出现。在评估期间，机器人使用贝叶斯推断和空间关系图来估计可见区域，并使用已学习的图卷积网络嵌入来排名可见区域并选择下一个探索区域。

    Aug, 2022

  • CHORUS: 学习从无限合成图像中的规范化三维人体 - 物体空间关系

    我们提出了一种教导机器以自监督方式理解并建模多种 3D 人物 - 物体相互作用的基础空间常识的方法。我们利用生成模型生成高质量的 2D 图像，并展示了这些合成图像足以学习 3D 人物 - 物体之间的空间关系。

    Aug, 2023

  • 基于感知的空间推理的表示学习

    本文提出了一个在模拟环境中进行空间推理的模型，使用强化学习和广义值迭代方法进行训练，取得了目标定位误差减少 45% 的成果。模型以指令文本为引导，学习世界的表示，对语言和环境进行联合推理，实现了本地邻域与对应词汇的精准对齐，同时处理指令中的全局参照。

    Jul, 2017