非局部解耦神经网络
本文提出了一种新的视角,将非局部模块看作在完全连接的图上生成的一组图滤波器,并使用 Chebyshev 图滤波器推导出了一种统一的公式以解释和分析现有的非局部模块,并提出了一种更加高效和稳健的谱非局部模块,该模块可以更好地捕获深度神经网络中的长距离依赖,实验结果表明,该方法在图像分类、动作识别、语义分割和人员重识别任务中具有明显的改进和实际适用性。
Aug, 2021
本文提出了残差非局部注意力网络用于高质量图像恢复,利用局部和非局部注意块来提取长程依赖的特征并对挑战性部分进行更多关注,在局部和非局部注意力学习中加入残差机制以增强网络的表征能力,可以被推广应用于各种图像恢复应用中,如图像去噪,去马赛克,压缩失真减少和超分辨率。实验结果表明,我们的方法在定量和定性指标上都取得了可比或更好的结果。
Mar, 2019
本文提出了基于全局相似性的非局部关注块来进行上下文建模,在熵编码中应用该方法,进而在联合速率失真优化中引导分析转换与合成转换网络的训练,并最终使用 U-Net 块增加转换的宽度,从而在 Kodak 和 Tecnick 数据集上实现了超越现有标准与最新深度图像压缩模型的低失真压缩。
May, 2020
本论文提出了全局上下文网络 (GCNet),它通过一个基于无查询的公式的简化网络来实现比 Non-Local Network (NLNet) 更轻量级的全局上下文建模,并在多个骨干网络层次上使用它来构建全局上下文网络。在各种识别任务的主要基准测试中,GCNet 通常优于 NLNet。
Dec, 2020
本文旨在通过对卷积神经网络中的非局部操作权重矩阵进行频谱分析,提出了新的非局部块正则化形式。通过这种方式,我们不仅可以学习非局部交互,还可以获得稳定的动态响应,从而允许更深的非局部层级结构。同时,本研究还揭示了非局部网络与其他非局部模型之间的内在关联。
Jun, 2018
本文介绍了一种新的非对称非局部神经网络,通过引入金字塔采样模块和特征融合模块,这种网络能显著降低计算和内存消耗,并在语义分割基准测试中实现了最新的性能表现。
Aug, 2019
研究了利用自然信号的自相似性进行非局部方法,提出了一种对 KNN 选择规则进行连续确定性松弛的方法,即通过温度参数逐渐接近零将原始 KNN 保持为极限,利用提出的神经最近邻块 (N3 块) 用于现代神经网络建筑中,并展示了其在图像恢复等任务中的有效性。
Oct, 2018
针对医学图像分割的局限性,我们提出了一种新的架构,Perspective+ Unet。该架构具有三个主要创新点:在编码器阶段引入了双通道策略,通过结合传统和扩张卷积的结果,既保持了局部感知域又显著扩展了它,从而更好地理解图像的全局结构;采用高效的非局部变换块 ENLTB 来有效地捕捉长程依赖关系,具有线性计算和空间复杂性;采用空间交叉尺度集成策略,在模型阶段跨级别细化特征,以协调全局和局部信息。我们在 ACDC 和 Synapse 数据集上进行了实验,结果验证了我们提出的 Perspective+ Unet 的有效性。
Jun, 2024