RedNet:用于室内 RGB-D 语义分割的残差编码器 - 解码器网络
提出了一种有效的轻量级编码器 - 解码器网络以及其他相关模块,用于在移动机器人中进行 RGB-D 语义分割,通过跨模态相关性和补充线索可以准确提取多层次 RGB-D 特征,实验结果表明该方法在分割准确性、推理时间和参数方面具有更好的权衡。
Aug, 2023
本文提出了一种底层交互式融合结构来建模编码器之间的相互依赖关系,其中引入了交互流来互联编码器,并求解编码器的互补特征。基于这种结构,本文提出了 RGB-D 语义分割的深度多模态网络 RFBNet,并通过两个数据集的实验验证了这种方法达到的最新成果。
Jun, 2019
本研究提出了一种轻量级的三维密集预测任务算法 ——Dimensional Decomposition Residual network (DDR),该网络使用分解卷积层和多尺度融合机制来提高三维场景补全和语义分割速度和准确率,与最新的同类型算法 SSCNet 相比,我们只使用了 SSCNet 网络参数的 21%,计算量的 16.6%,但在 SC-IoU 和 SSC-IoU 上分别提升了 5.9% 和 5.7%。
Mar, 2019
本研究提出了一种创新的编码器 - 解码器网络结构,利用残差连接增强了传统 SegNet 架构在图像语义分割任务中的准确性。通过多重残差连接策略有效地保留了不同图像尺度上的细节,从而最小化了下采样过程中的信息丢失。此外,为了增强网络训练的收敛速度并减轻样本不平衡问题,我们设计了一种修改后的交叉熵损失函数,引入了平衡因子来优化正负样本的分布,从而提高了模型训练的效率。实验评估结果表明,我们的模型在信息损失减少和语义分割准确性改善方面取得了显著的成果。特别地,在数据集上,与传统 SegNet 相比,提出的网络架构在精细注释的平均交并比(mIoU)上有着明显的改进。该提出的网络结构不仅降低了人工检查的成本,还可以扩大 AI 驱动的图像分析在不同领域中的应用规模。
May, 2024
本文提出了一种新的方法 ACNet,通过 Attention Complementary Module (ACM) 和 三个并行分支的结构,ACNet 能够从不同通道提取更多高质量的特征,在 SUN-RGBD 和 NYUDv2 数据集上得到了更好的表现,特别地,在 NYUDv2 测试集上,ResNet50 取得了 48.3% 的 mIoU 得分,并在 https URL 上发布了源代码和经过训练的分割模型。
May, 2019
本论文提出了一种基于循环编码器 - 解码器网络模型的实时视频人脸对齐方法,该方法预测由检测和回归损失正则化的 2D 人脸关键点热力图,同时在空间和时间维度上独特地利用循环学习。在空间上,我们通过输出响应图和输入之间的反馈环连接,使单个网络模型实现迭代粗略到精细的人脸对齐,而不是依赖于传统的级联模型集成。在时间上,我们首先将网络瓶颈中的特征解耦为时变因素和时不变因素,例如姿态和表情和身份信息。然后应用于解耦的时变特征上的时态循环学习。我们展示了这种特征解耦产生更好的泛化效果,在标准数据集上优于现有技术和本方法的几种变体的全面实验分析。
Jan, 2018
本文介绍了一种使用 NVIDIA TensorRT 进行优化的高效且稳健的 RGB-D 分割方法,该方法可作为场景分析系统的公共初始处理步骤。我们通过使用 ESANet 在 NYUv2 和 SUNRGB-D 室内数据集上进行评估,展示了 RGB-D 分割优于仅处理 RGB 图像的效果,并证明当网络架构精心设计时仍可实时完成。此外,我们在 Cityscapes 的室外数据集上进行评估,显示了我们的方法也适用于其他应用领域,并展示了我们在一个室内应用场景中的定性结果.
Nov, 2020
本文介绍一种新策略,通过边缘检测和翻转截断有符号距离来在 3D 空间中编码颜色信息,同时提出了 EdgeNet,一种能够处理深度和边缘信息的新型端到端神经网络结构,实验结果表明该方法相比现有技术在真实数据上提高了 6.9 % 的性能表现。
Aug, 2019
本文介绍一种名为 LEDNet 的轻量级网络,采用了不对称的编码器 - 解码器架构和 ResNet 作为骨干网络,以及每个残差块中的两种新操作:通道分割和随机洗牌。在解码器中采用注意金字塔网络 (APN) 来进一步减轻整个网络的复杂性。实验证明,我们的模型在速度和准确性方面均取得了最好的结果,并在 CityScapes 数据集上实现了最先进的结果。
May, 2019
本文提出了一种名为 RFNet 的实时融合语义分割网络,该网络可在自动驾驶汽车应用中快速运行,利用多个数据集进行训练,实现对意外小障碍的识别和面对现实世界中未预见到的危险,达到了显著的分割精度和 22Hz 推理速度。
Feb, 2020