深度图像抠像的亲和力感知上采样学习
通过将特征图抽象成由具有相同语义含义的点组成的非重叠语义簇,我们引入了点隶属的概念。在核心基于动态上采样的框架下,我们证明了一个上采样点可以利用它的低分辨率解码器邻居和高分辨率编码器点来推理隶属,条件是它们之间的相似性。因此,我们提出了一种生成相似性感知上采样核的通用公式,并证明这样的核不仅鼓励了语义平滑,而且也鼓励了边界锐度。这个公式构成了一种新颖、轻量级和通用的上采样解决方案,即相似性感知点隶属(SAPA)。
Jul, 2023
该研究提出了一种基于自学习的指标引导的编码器 - 解码器框架,通过自适应地从数据中学习指标来指导池化和上采样操作,实现了对现有的上采样运算符进行统一的方法,并在自然图像抠图任务中取得了良好的效果。
Aug, 2019
我们提出了一种刷新的基于相似性的特征上采样框架(ReSFU),通过明确可控的查询 - 关键特征对齐和构建参数化的配对中心差分卷积块,实现了直接高倍率上采样,并在不同分割应用中实现了令人满意的性能。
Jul, 2024
该论文介绍了一种使用直接监督的简单、快速但有效方法来利用结构信息来提高语义分割模型的性能,该方法要求网络显式地预测语义分割以及扩张亲和力,后者是一种稀疏版本的成对像素亲和力,能够直接建立像素间的关系并增强分割质量。
Jul, 2019
本文提出了基于结构语义分割输出中成对像素协同模式的特征不变性,利用源域和目标域之间的亲和力空间进行领域自适应,提出了两种亲和力空间自适应策略,在多个具有挑战性的语义分割问题上,所提出的方法优于现有方法。
Sep, 2020
使用指导上下文关注模块的全新的端到端方法,以解决通过利用周围信息来估计本地不透明度的问题,并利用深度神经网络学习的丰富特征,成功地优于自然图像抠图中最先进的方法。
Jan, 2020
采用转移学习方法,使用大规模数据源自动估算源类和目标类之间的关系,建立类亲和矩阵并将其作为源模型的第一层,然后将源模型进一步微调来适应目标领域,并应用于基于 GAN 和扩散的体系结构,实现语义图片合成技术的迁移,该方法在现有的生成图像模型的迁移方法上实现了显著改进。
Apr, 2023
本文提出了一个神经网络框架,该框架能够联合学习时空下采样和上采样,并提出了两个新模块以解决时空去混叠问题和提高重建性能。实验证明,该方法显著提高了时空重构质量,并且能够应用于任意视频重采样、模糊帧重建和高效视频存储。
Mar, 2022
提出无监督学习方法,通过改善金字塔网络的上采样和学习来估计光流,具有自引导上采样模块和金字塔蒸馏损失,并将两个组件相结合,该方法在多个基准测试中均取得了最佳性能。
Dec, 2020
本文提出了一种名为 Guided Upsampling Network 的神经网络,它由多分辨率结构和引导上采样模块(GUM)组成,可用于基于编码器 - 解码器结构的语义分割模型中,并在 Cityscapes 数据集上进行了定量和定性实验,证明了该模型的效果优越。
Jul, 2018