Affinity CNN: 学习基于像素的成对关系用于图形 / 背景嵌入
我们提出了一种新的用于语义分割的算法 —— 自适应亲和场(Adaptive Affinity Fields, AAF),通过在训练过程中学习空间结构验证,能够捕捉和匹配相邻像素之间的语义关系,实现更高效的分割性能和跨领域的鲁棒性。
Mar, 2018
本文提出了基于像素 embeddings 的深层卷积神经网络,利用嵌入学习像素之间的距离来推断像素是否属于同一区域,并证明其与 DCNN 结合使用可以显著提高每个像素分类的准确性。
Nov, 2015
本文提出了一种用于弱监督下的图像标注的全新框架 ——AffinityNet。该框架通过训练一个深度神经网络,使其能够预测一对相邻图像坐标之间的语义亲和性,从而通过随机游走来实现语义的传播,以生成图像的分割标签。实验表明,使用我们的方法生成的分割标签训练的 DNN,甚至比其它依赖于更强监管的模型表现更为优秀。
Mar, 2018
该研究提出了一种基于迭代算法的学习方法,利用像素点之间的强关联性来生成密集分割地图,并通过信任区域来确保像素关联的可靠性以在没有准确标记的情况下学习亲和力矩阵,实验表明该方法在 PASCAL VOC 2012 和 COCO 数据集上性能优越。
Feb, 2020
本研究提出了一种空间传播网络,用于学习视觉任务的亲和矩阵。通过构建行 / 列线性传播模型,可以精确构建空间变化的转换矩阵,作为精确构建全局对偶关系的亲和矩阵,从而建模图像的密集、全局对偶关系。此网络是一个通用框架,可以应用于包括图像抠图、分割和上色等多个领域。实验证明空间传播网络提供了一种生成高质量分割结果的通用、有效和高效的解决方案。
Oct, 2017
我们提出了一种基于像素亲和力信息的示例分割方案,其中像素亲和力是两个像素属于同一个实例的关系。通过使用两个具有相似结构的神经网络,一个用于预测像素级语义分数,另一个则用于推导像素亲和力,并将像素视为顶点和亲和力视为边,我们提出了一个简单而有效的图并算法将像素聚类到实例中,实验结果表明,我们的方案可以生成细粒度的实例掩码。使用 Cityscapes 训练数据,该方案在测试集上达到 27.3 AP。
Nov, 2018
本篇论文提出了一种名为 SpectralNet 的深度学习方法,通过在大量的未标注数据上训练,将输入的数据转换为与其相连的图拉普拉斯矩阵的特征空间的向量,并成功地应用于谱聚类,实现了对谱聚类中可扩展性以及广义化转化的双重突破。
Jan, 2018
我们提出了一种从大规模预训练视觉模型的行为中提取空间布局和语义分割的方法,通过分析神经网络激活中的分组信息,利用所有层的特征实现对网络激活状态的整体分析,而无需猜测模型的哪个部分包含相关信息。通过基于梯度下降的优化目标在各个层中的特征比较得到一组亲和矩阵,从而解决了这一优化问题。对预训练的生成转换器进行分析揭示了这类模型所学得的计算策略,而通过将亲和性与关键字查询相似性等同起来,可以得到编码场景空间布局的特征向量,而通过将亲和性与值向量相似性定义为特征向量,则可以得到编码对象身份的特征向量。这个结果表明,关键字和查询向量根据空间接近度协调关注信息流(一种 “在哪里” 路径),而值向量则用于完善语义类别表示(一种 “是什么” 路径)。
Dec, 2023
本文提出了一种使用基于神经网络的特征函数实现光谱聚类的方法,将神经网络特征作为输入,通过轻量级的神经特征函数实现密集预测,实验结果表明该方法在 Pascal Context、Cityscapes 和 ADE20K 基准测试上具有显著的性能优势。
Apr, 2023
该研究论文提出了两种新的方法,一种基于函数分析原则和核方法,另一种是基于训练优化原则变分损失的深度网络,以构建数据的谱嵌入,并提供了一个新的采样算法,以在单个步骤中利用学习的表示来生成新样本。
Jun, 2023