使用 LSTM 进行基于图像定位的结构化特征相关性

Nov, 2016

使用 LSTM 进行基于图像定位的结构化特征相关性

Image-based localization using LSTMs for structured feature correlation

Florian Walch, Caner Hazirbas, Laura Leal-Taixé, Torsten Sattler, Sebastian Hilsenbeck...

TL;DR本研究提出了一种新的基于 CNN+LSTM 的摄像机姿态回归方法，该方法针对室内和室外场景，并且通过 CNN 可学习适合的特征表征来进行定位，使用 LSTM 作为特征向量的结构化降维方法，在定位性能方面取得了极大的改善，并针对基于 CNN 和 SIFT 的定位方法进行了广泛的定量比较，还提出了一种新的基于激光扫描的大型室内数据集，实验结果表明，我们的方法在定位图像时性能优于现有的深度体系结构，在具有挑战性的环境下都能够成功定位。

Abstract

In this work we propose a new CNN+LSTM architecture for camera pose regression for indoor and outdoor scenes. CNNs allow us to learn suitable feature representations for localization that are robust against motion blur<

cnn+lstm architecture camera pose regression localization motion blur illumination changes

发现论文，激发创造

LSTM 姿势机

本文提出一种采用循环神经网络 (RNN) 的姿态估计方法，该方法通过权重共享进行优化，成功地解决了多阶段卷积神经网络在视频中应用中的问题，并在两个视频姿态估计基准测试中显著优于当前的最佳方法。

Dec, 2017

相机定位的场景标记检测改进

基于场景地标检测的摄像头定位方法，采用卷积神经网络（CNN）检测少量特定的场景 3D 点或地标，并从相关的 2D-3D 对应中计算摄像头姿态，具有与基于 3D 结构的方法相当的准确性，但速度更快且使用存储空间更少。

Jan, 2024

从图像中学习本地特征的 LF-Net

本研究提出了一种新颖的深度架构和训练策略，利用图像集合学习本地特征流水线，无需人工监督；通过利用深度和相对相机姿态提示创建一个虚拟目标，并在一个图像上限制网络，同时保留不可区分性来优化网络。我们在室内和户外两个数据集上进行训练，并在稀疏特征匹配方面的模型性能表现优于现有技术，同时对 QVGA 图像运行速度达到 60+ fps。

May, 2018

使用 CNN-LSTM 结构增强面部防攻击的动态提示

本论文提出了一种基于 CNN-LSTM 网络的人脸反欺诈方法，专注于视频帧间的运动线索，在回放攻击和 MSU-MFSD 数据库上表现出目前最先进的性能和更好的泛化能力。

Jan, 2019

基于 LSTM 和 CNN 的骨架动作识别

该研究使用 3D 骨架数据和卷积神经网络 (CNN) 和长短期记忆 (LSTM) 方法进行 3D 人体行为分析，证明 CNN 和 LSTM 的分数融合方法可以更有效地捕获空间 - 时间信息，并在 NTU RGB+D 数据集上取得了最先进的结果，在深度视频中的大规模 3D 人体动作分析挑战中排名第一。

Jul, 2017

基于相关性学习的多目标跟踪

本文提出了基于局部相关性模块的密集对应和可学习相关算子来增强模型的判别能力和对时间上下文的捕捉能力，从而在多目标跟踪方面取得了最先进的效果，并在 MOT17 数据集上实现了 76.5% 的 MOTA 和 73.6% 的 IDF1。

Apr, 2021

使用上下文 - CNN 进行场景分类的对象级上下文建模

本文介绍一种模型语境感知的深度神经网络，该模型利用 LSTM 单元结合物体提议来捕捉物体和场景之间的关系，并且通过对学习到的特征进行可视化和分析，证明了模型具有很好的语境建模能力。

May, 2017

基于 CNN 的绝对相机姿态回归的局限性理解

本研究旨在解决场景中精确的相机姿态估计的视觉定位问题，传统方法使用 3D 几何学，而新近出现的卷积神经网络则直接从输入图像中学习相机姿态，但是并未达到 3D 方法的精度。本论文提出了一种理论模型来预测 pose regression 技术的失败案例，并证实了我们的预测。作者进一步表明，pose regression 与图像检索非常相似，而不是与 3D 结构的准确姿态估计。最重要的是，当前方法并不能持续超越手工图像检索基线，因此需要进一步的研究。

Mar, 2019

从合成训练数据中学习在新环境中进行定位

本文提出了一种可以适应不同场景的视觉定位方法，包括改进的模型架构、层次相关层和尺度和不确定性信息的利用。该方法优于使用 SIFT 特征的 5 点算法和之前训练在不同数据上的学习方法，并在只有很少的参考图像可用的情况下，明显优于现有的学习和经典方法。

Nov, 2020

基于时空相关性的混合深度学习框架的短期交通流量预测

本文提出了一种新颖的基于 CNN 和 LSTM 结合的深度学习体系结构来预测未来的交通流量，通过开放数据集进行实验，结果表明该方法具有显著的优势，并从 Granger 因果性的角度对其进行了分析探讨。

Dec, 2016