我们提出了一种 CNN-Transformer 混合学习框架（称为 IA-VFDnet），其中包括统一的高质量多模态特征匹配模块（AKM）和融合模块（WDAF），可以应用于烟雾和野火检测，并通过对 M3FD 数据集的实验证明了其在传统注册条件下的最佳检测性能。此外，此论文还公开提供了第一个未注册的多模态烟雾和野火检测基准。

Jul, 2023

本文提出了一种基于生成和配准的深度学习方法，用于无监督热红外图像和可见光图像的融合，通过生成伪红外图像并使用多级配准网络实现图像配准，在特征交互融合模块中，对所选择的特征进行融合，以提高融合质量和鲁棒性。

May, 2022

创新的无监督特征互学习融合网络用于融合三维磁共振成像（MRI）和正电子发射断层成像（PET）图像，提高医生和研究人员的信息获取能力，并在性能度量方面优于传统二维图像融合方法。

Oct, 2023

提出一种新颖的基于翻译的无监督可变形图像配准方法，该方法利用双流方式调节变形场以实现更好的配准性能，并使用计算效率高的相似度度量对多模态配准网络进行有效训练，并在两个临床数据集上验证了其优越性能。

Jul, 2020

本研究提出了一种基于图像外观的补丁级信息来预测图像变形的方法，通过设计一个深度编码器 - 解码器网络来学习图像外观与图像配准参数之间的像素 / 体素映射，特别针对 LDDMM，通过预测 LDDMM 动量参数化，使计算时间大幅减少。同时，我们创建了贝叶斯概率版本的网络，允许在测试时间使用 dropout 的蒙特卡罗采样来评估变形场的不确定性。

Jul, 2016

本研究提出了一种基于粗 - 精匹配的框架，在该框架中，将图片和点云转化为局部表示，并利用了 attention 来捕捉全局和跨模态上下文，并通过设计良好的采样和精细匹配来细化点到像素的对应关系，从而解决了图像与点云匹配的问题，并在大规模室外数据集上取得了优于现有方法的结果。

Jul, 2023

提出了一种相位聚合的双分支注册网络（PDRNet），通过在高分辨率的相关信息和低分辨率的纹理特征之间引入双分支结构与多阶段交互，在感知局部细微差异的同时保证全局稳定，从而聚合了传统方法和基于深度学习的方法的优势，实验证明了在准确性和鲁棒性上达到了最先进的注册性能，同时在效率上也具有相当的竞争力。

Apr, 2024

采用标签驱动式表达，利用卷积神经网络的密集位移场，通过最小化变形移动标签和固定标签的交叉熵函数，使医学图像的标志物在不同模态之间匹配，改进了医学图像的对齐性。

Nov, 2017

采用 2D3D-MATR 方法，我们提出了一种无需检测的方法，用于图像和点云之间的准确且鲁棒的配准。该方法在粗匹配的基础上，通过学习全局上下文约束和跨模态相关性，通过 transformer 实现多尺度金字塔和图像块焦点学习，解决了尺度不确定性问题，从而获得了比之前的最优模型 P2-Net 更高的配准率和稳定度。

Aug, 2023

图像与点云之间的特征匹配问题是图像到点云配准的基本问题。通过预训练的大规模模型来统一图像和点云之间的模态，并在同一模态内建立可靠的对应关系。我们利用深度到图像扩散模型提取的中间特征即扩散特征在图像和点云之间具有语义一致性，这使得粗糙但稳健的跨模态对应关系的建立成为可能。在由单目深度估计器产生的深度图上进一步提取几何特征，通过匹配这些几何特征，显著提高了扩散特征产生的粗糙对应关系的准确性。在三个公共室内外基准测试上，通过直接利用这两种特征，该方法平均提高了 20.6％的内点比率、三倍的内点数目和 48.6％的配准召回率相比现有最先进方法。

Oct, 2023