基于图像定位的语义描述符训练
提出了 UniSeg3D,这是一个统一的三维分割框架,可以在一个模型内完成全景、语义、实例、交互、指向性和开放词汇的语义分割任务。该方法将六个任务统一为由相同 Transformer 处理的统一表示,促进了任务间的知识共享,从而提升了对三维场景的综合理解。通过利用任务连接,通过设计知识蒸馏和对比学习方法,在多任务统一化的基础上提高了性能。在三个基准测试中的实验证明了 UniSeg3D 的优越性,即使是那些专门针对特定任务的方法也无法与之相比。希望 UniSeg3D 能够作为一个坚实的统一基准,并激发未来的研究。
Jul, 2024
为了解决多光谱遥感图像语义分割任务中存在的问题,本文首次提出了一种基于指标 - 空间 - 波状态叠加变换器(ISWSST)的方法,通过量子力学的启发,将指标、空间和波状态进行叠加或融合,以模拟量子叠加状态,并通过自适应投票决策来提高分类器的精度和分割准确性;设计了无损小波金字塔编码器 - 解码器模块,实现了图像的无损重构,并基于小波变换和逆小波变换模拟了量子纠缠,从而避免了边缘提取损失;提出了结合多光谱特征的方法,以准确提取原始分辨率图像中的地面物体,并引入量子力学原理解释了 ISWSST 的优越性。实验证明,ISWSST 在多光谱遥感图像语义分割任务上优于现有的架构,有效提高了分割和边缘提取的准确性。
Jul, 2024
通过使用开放性全景分割任务,以及采用可变形适配器网络和随机全景等距投影数据增强方法,我们提出的 OOOPS 模型在三个全景数据集上均取得了令人瞩目的性能提升,特别是在野外环境 WildPASS 上达到了 + 2.2%,在室内环境 Stanford2D3D 上达到了 + 2.4%的平均交并比(mIoU)
Jul, 2024
本研究提出了余弦相似度融合网络 (CSFNet) 作为实时的 RGB-X 语义分割模型,通过设计余弦相似度注意力融合模块 (CS-AFM) 在不同模态之间有效地整合和融合特征,提高了交叉模态特征在低层的融合,使得高层可以采用单支路网络,从而实现更快速和准确的预测,并在 RGB-D/T/P 语义分割任务中验证了其效果和高效性。
Jul, 2024
通过引入 PPTFormer 网络,我们提出了一种新的伪多视角转换网络,通过创建伪视角来增强多视角学习,并通过 Pseudo Multi-Perspective Attention(PMP Attention)和融合,实现了卓越的无人机图像分割结果。该方法在五个无人机分割数据集上达到了最先进的性能,验证了其能够有效模拟无人机飞行视角并显著提高分割精度,从而在无人机场景理解方面取得了具有开创性的突破,并为语义分割的未来发展树立了新的基准。
Jun, 2024
提出了 DEC,这是一个灵活的多源数据集的 UDA 框架,通过将语义类别进行分类,并使用仅在合成数据集上训练的集成模型将它们的输出融合,来解决研究中的合成多源数据集的挑战,以获得最终的分割掩模,并可以与现有的 UDA 方法相结合,在 Cityscapes、BDD100K 和 Mapillary Vistas 上实现了最先进的性能。
Jun, 2024
通过分割和像素级别的置信度评估,开发了用于遥感语义分割算法的置信度模型,并在 Copernicus Sentinel-2 卫星数据的地表覆盖分类等任务中表现出比其他基准模型更好的效果。
Jun, 2024
使用潜在扩散模型生成合成数据集的方法,通过自我关注来实现基于头部信息的语义信息提取,从稳定扩散潜变量中直接获取类别无关的图像分割,并利用文本到像素的交叉关注进行先前生成掩膜的分类,最后通过仅使用稳定扩散输出图像进行掩膜精化步骤的提出。
Jun, 2024
我们提出了 LOGCAN++,一种针对遥感图像定制的语义分割模型,通过全局类别感知(GCA)模块和多个局部类别感知(LCA)模块来解决复杂背景、尺度和方向变化以及大类内差异等问题,实验证明其在速度和准确性之间取得了更好的平衡。
Jun, 2024
我们提出了一个使用卷积神经网络对鲫鱼心脏进行自动分割的新框架,该框架可以推断出样本的三维分割,从而避免了三维卷积神经网络的高计算成本,并且可以显著减少新样本分割所需的时间,实现对高分辨率鲫鱼心脏形状的快速微增强分析。
Jun, 2024