基于补丁的图形对比学习用于图像翻译
本文介绍了一种新的无监督和半监督领域适应方法,利用对比学习通过对跨域中的结构相似标签块的特征进行对齐来弥合域差距,以便更容易训练和提高性能。此方法在两个具有挑战性的领域适应分割任务中始终优于现有的无监督和半监督方法,特别是当目标域注释数量很小时。
Apr, 2021
本文提出了一种新的语义相关性一致性(SRC)正则化方法和解耦的对比度学习方法,利用单个图像的图像块之间的异构语义来关注多样的语义,进一步通过利用语义关系的困难负样本挖掘来提高性能,并验证了我们的方法在单模态和多模态图像翻译以及图像翻译的 GAN 压缩任务中的最先进性能。
Mar, 2022
提出了一种基于对比学习的图像翻译方法,通过最大化两个元素之间的互信息来鼓励相应图像块之间的相似性,从而实现不同领域之间的图像转换,该方法可在单个图像条件下进行一侧图像转换,同时提高了合成图像的质量和减少了训练时间。
Jul, 2020
该论文提出了一种对比学习方案 Contrastive Transformer,它可以使现有的对比学习技术(通常用于图像分类)受益于密集下游预测任务(如语义分割)。通过对基于地面真实掩模的斑块进行监督级别的对比学习,选择用于挑选难负样本和难正样本的斑块。该方案适用于所有视觉 Transformer 体系结构,易于实现,并引入最少的额外内存占用。同时,该方案无需使用大批量,因为每个斑块都被视为一张图片。最终的结果在各个类别上得到了一致的增加平均 IoU,并且测试表明该方案具有推广性。
Mar, 2023
本文提出了一种深度学习框架,用于准确的视觉对应,并证明了其在几何和语义匹配中的有效性,提出了一种卷积空间变换器来模仿传统特征(如 SIFT)中的补丁归一化,广泛的 KITTI,PASCAL 和 CUB-2011 数据集的实验表明,与使用手工构建或学习特征的先前作品相比,我们的特征具有显着优势。
Jun, 2016
提出了一种新颖的 ECGAN 用于具有挑战性的语义图像合成任务,通过使用边缘作为中间表示,并采用注意力引导的边缘传输模块进行图像生成,设计了一个有效的模块来选择性地突出显示根据原始语义布局的类依赖特征图,通过对比学习方法和多尺度对比学习方法,强化了同一语义类别的像素嵌入生成更相似的图像内容,并利用多个输入语义布局的标记像素结构来明确地探索更多的语义关系。
Jul, 2023
本文提出了一种基于空间图的联合特征和度量学习模型,构建了一个以图顶点表示贴片、以边捕捉空间邻域信息的空间图,并通过理论分析证明了我们框架下匹配和不匹配对应的条件分布之间的信息距离最大化,通过在多个街景数据集上的评估我们证明了该方法达到了最先进的匹配结果。
Nov, 2023
本文提出了一种具有图形卷积网络的无序、语义感知的图形素描表示方法,该方法通过计算采集的素描嵌入之间的余弦相似性,将裁剪的素描补丁链接起来,并通过图卷积网络聚合消息,从而实现稳健的补丁嵌入和精确的素描表示,进而在可控素描合成和素描修复方面显著提高性能。
Nov, 2022
通过引入知识蒸馏,我们提出了一种新颖的层次化拓扑同构专家嵌入图对比学习方法,用于增强 GCL 模型学习层次化拓扑同构专业知识,包括图层和子图层。与传统的 GCL 方法相比,我们的方法在贝叶斯分类错误上获得更紧的上界,并在真实世界基准测试中表现出了超越候选 GCL 方法的性能优势。
Dec, 2023
本文提出了一种半参数神经风格迁移框架,使用图神经网络和基于注意力的异构消息传递来建立准确和细粒度的内容风格对应关系,在局部补偿全局统计特征的同时消除了补丁拟合不足带来的瑕疵,并引入了变形图卷积操作进行跨尺度风格匹配,实现了单一模型多样化补丁风格化。实验结果表明,该方法在保留全局外观和精致细节方面取得了令人鼓舞的效果。
Jul, 2022