Oct, 2023

LoCUS：从姿态图像学习多尺度三维一致特征

PDF
TL;DR自主机器人的关键挑战是在遮挡、未曾见过的视角和长时间跨度中，维持对世界的空间和时间一致的模型。研究探索如何在无监督情况下训练一种多用途的神经表示。通过构建精心筛选的检索集，并调整空间容限来平衡检索和可重用性，优化检索结果的平均精度，并选择具有高平均精度的关键点，最终构建了稀疏的多尺度语义空间地图，应用于地标检索、定位、语义分割和实例分割。
autonomous agentsneural representationpatch retrievalreusabilitysemantic spatial maps
发现论文，激发创造
  • S3K: 自监督语义关键点多视角一致性用于机器人操作

    本文探讨机器人行动的基本局限性和现有的视觉表征学习方法存在的问题，并提出利用语义三维关键点作为视觉表征的方法，通过半监督训练，使其精度达到毫米级别，能够帮助定义强化学习的奖励函数并作为代理训练的有效表征。

    Sep, 2020

  • 多层次三维卷积神经网络学习多尺度空间特征

    本文提出了一种基于多层体素网格的端到端多级学习方法来解决现有 3D 目标识别中结构化和非结构化数据表示的缺陷，结果表明该方法在节约内存的同时能够实现与密集体素表示相当的目标识别性能。

    May, 2018

  • 大规模实时视觉惯性定位重访

    本文提出了一种基于图像的定位方法，使用本地特征和稀疏的三维模型进行全球规模的离线和在线实时客户端姿态融合，实现低延迟本地化查询，证明了该方法在大规模模型上的有效性。

    Jun, 2019

  • 基于多尺度深度特征的视觉显著性

    本文介绍了使用卷积神经网络进行图像视觉显著性建模的方法，采用新的神经网络结构和改进的空间相关性方法，同时使用多重分割提高了性能，实验表明我们提出的方法在公共基准测试中的表现优于目前已发表的最先进技术。

    Mar, 2015

  • 从合成训练数据中学习在新环境中进行定位

    本文提出了一种可以适应不同场景的视觉定位方法，包括改进的模型架构、层次相关层和尺度和不确定性信息的利用。该方法优于使用 SIFT 特征的 5 点算法和之前训练在不同数据上的学习方法，并在只有很少的参考图像可用的情况下，明显优于现有的学习和经典方法。

    Nov, 2020

  • 基于高效注意力的特征增强场景解析

    本文提出了一种新颖的特征增强网络，通过从多个特征提取级别收集空间上下文，并计算每个表示级别的注意力权重以生成最终的类别标签。该模型还学习了低分辨率下的空间上下文信息以保留场景元素之间的抽象空间关系并降低计算成本，最终的特征集合中融合了空间注意力特征，并在 ADE20K 和 Cityscapes 数据集上优于所有现有模型。

    Feb, 2024

  • 超越补丁：基于强化学习的高分辨率遥感图像的尺度自适应语义分割

    在遥感图像分析中，针对通过滑动窗口局限性的问题，提出了一种动态尺度感知框架 GeoAgent，根据不同的地理对象自适应地捕捉图像块外的合适尺度上下文信息，通过全局缩略图和位置蒙版表示每个图像块的状态，利用尺度控制代理进行尺度选择动作来切换分割网络的尺度和上下文分支，实现了多尺度图像块特征的提取和融合，通过调整网络参数来执行合适的尺度选择动作，实验证明 GeoAgent 在大规模制图应用中优于传统分割方法。

    Sep, 2023

  • 跨视角基于学习的关系对象匹配

    本论文提出了一种基于 RGB 图像的目标检测匹配的学习方法，结合了局部关键点与新颖的物体级特征，通过关联图神经网络训练，在许多视图上具有较好的性能并优于现有的纯关键点匹配方法。

    May, 2023

  • 面向视觉地点识别的大规模深度学习特征

    该研究通过训练两个卷积神经网络 (CNN) 架构来实现特定位置识别任务，并采用多尺度特征编码方法生成具备不变性的特征。通过建立具有变化外观的特定场所数据集 (SPED)，该研究综合评估了所训练的网络，并证明相对于其他场所识别算法和预训练的 CNN，其性能平均提升了 10%。

    Jan, 2017

  • 多尺度注意力学习视觉地点识别语义

    本研究旨在通过多尺度注意力模块，实现从视觉和语义内容中学习鲁棒全局嵌入以及动态引导的分割过程，以提高视觉地点识别的准确性，同时提出第一个适用于地点识别和分割任务的合成世界数据集，实验证明方法在不同情景下具有良好性能。

    Jan, 2022