Feb, 2024

基于高效注意力的特征增强场景解析

PDF
TL;DR本文提出了一种新颖的特征增强网络，通过从多个特征提取级别收集空间上下文，并计算每个表示级别的注意力权重以生成最终的类别标签。该模型还学习了低分辨率下的空间上下文信息以保留场景元素之间的抽象空间关系并降低计算成本，最终的特征集合中融合了空间注意力特征，并在 ADE20K 和 Cityscapes 数据集上优于所有现有模型。
scene parsingspatial relationfeature-boosting networkattention weightsspatial context
发现论文，激发创造
  • SCA-CNN：用于图像字幕的卷积网络中的空间和通道注意力

    本文介绍了一种新的卷积神经网络 SCA-CNN，其中引入了空间和通道注意力，用于图像描述任务，结果表明 SCA-CNN 明显优于现有的基于视觉关注的图像描述方法。

    Nov, 2016

  • 利用全局上下文嵌入进行场景解析

    本文提出了基于参数化和非参数化模型的全局语境信息来进行场景解析，使用场景相似性训练上下文网络生成特征表示来生成空间和全局先验知识，然后将这些特征表示和先验知识嵌入到分割网络作为额外的全局上下文提示。实验表明该方法可以消除与全局上下文表示不兼容的误报，且在 MIT ADE20K 和 PASCAL Context 数据集上表现良好。

    Oct, 2017

  • 基于层级注意力融合的地理定位

    该论文提出了一种基于层次化注意力融合网络和多尺度特征的 2D 图像检索方法，通过自监督训练控制特征强调的权重，实现了对地理定位场景的精确定位。实验结果表明，该方法优于现有的最先进方法。

    Feb, 2021

  • 无监督的对象导向场景表示：基于空间注意力和分解的方法

    本文提出了一种称为 SPACE 的生成潜变量模型，通过并行的空间注意力可以同时实现前景物体的因式分解表示以及解析复杂形态的背景细节，解决了以往模型中可扩展性有限的问题，从而更好地模拟真实场景。

    Jan, 2020

  • 场景文本识别的视觉注意力模型

    本文提出了一种无词典的场景图像文本识别方法，该方法基于一种基于 LSTM 的软视觉注意模型，该模型从卷积特征中学习。通过导出与图像不同区域对应的中间卷积层的一组特征向量，实现了对空间信息的编码，从而使框架能够学习如何选择性地聚焦于图像的不同部分。除此之外，我们还展示了通过将显式语言模型集成到束搜索算法中来修改改良的束搜索算法可以导致更好的识别结果，以标准的 SVT 和 ICDAR'03 场景文本数据集为基础，证明了我们方法在无约束文本识别中的卓越表现。

    Jun, 2017

  • LoCUS：从姿态图像学习多尺度三维一致特征

    自主机器人的关键挑战是在遮挡、未曾见过的视角和长时间跨度中，维持对世界的空间和时间一致的模型。研究探索如何在无监督情况下训练一种多用途的神经表示。通过构建精心筛选的检索集，并调整空间容限来平衡检索和可重用性，优化检索结果的平均精度，并选择具有高平均精度的关键点，最终构建了稀疏的多尺度语义空间地图，应用于地标检索、定位、语义分割和实例分割。

    Oct, 2023

  • 高效 LiDAR 全景分割的稀疏跨尺度注意力网络

    通过稀疏跨尺度注意力网络，结合全局体素编码注意力捕捉实例上下文的长距离关系，以提高过分割大型对象的回归精度，并采用实例中心的稀疏无类表示来处理面积聚合点，实现稀疏卷积以减少网络计算量。在 SemanticKITTI 数据集上，我们的方法在 3D LiDAR 全景分割任务中取得了很大进展，以实时推理速度获得了第一名。

    Jan, 2022

  • 快速注意力实时语义分割

    该论文提出一种新的 CNN 模型结构和快速空间注意力机制，能够在实时高分辨率图像和视频上进行语义分割，同时实现更好的准确性和速度。在 Cityscapes 数据集中，该模型在单个 Titan X GPU 上实现了 74.4％ mIoU 的 72 FPS 和 75.5％ mIoU 的 58 FPS，比现有方法快约 50％，并保持相同的准确性。

    Jul, 2020

  • 室内场景识别的语义引导上下文建模

    本文提出了一种基于语义分割的新方法 SpaCoNet，旨在同时模拟对象的空间关系和共现情况，进而在室内场景识别任务中生成语义引导的特征表示，该方法具有良好的通用性和效果。

    May, 2023

  • SACANet：用于遥感图像语义分割的场景感知类别注意力网络

    本文提出了一种基于场景感知注意力的空间注意力模块和局部 - 全局类注意力机制，以此构建一种应用于遥感图像语义分割的场景感知类别注意力网络（SACANet），试验表明 SACANet 的性能优于其他最先进的方法并验证了其有效性。

    Apr, 2023