DropMix:更好的图形对比学习与更困难的负样本
研究表明,在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量,本文提出了一种基于特征水平的硬负例混合策略,并在多个任务上验证其有效性。
Oct, 2020
提出了一种基于对抗样本生成机制的无监督图学习方法 CGC,它能够让模型获取高质量的正负样本对,避免了传统无监督学习方法中出现的 False Negative 问题,其在多个数据集上与传统无监督学习方法和一些 SOTA 图对比学习方法相比实现了令人满意的结果。
Jul, 2022
论文提出 ProGCL 模型,通过硬负采样的方式,结合相似度和真实性的概率带来了显著的性能提升,成为当前无监督学习领域的 state-of-the-art 模型之一。
Oct, 2021
本文介绍了一种基于 UnReMix 的 hard negative sampling 策略,该策略考虑了锚点相似度、模型不确定性和代表性,实验结果表明,与现有的对比学习方法相比,UnReMix 可以改进负样本的选择,从而提高下游任务的性能。
Jun, 2022
本文提出了一种特征级方法,即采样合成难负样本用于对比学习(SSCL),以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本,然后通过控制锚定样本与其他负样本的对比度的方式进行采样,并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能,并可以轻松集成到现有方法中。
Apr, 2023
本研究提出了一种新的 Cumulative Sample Selection (CSS) 算法,将其集成到名为 NegAmplify 的图对比学习框架中,通过综合考虑负样本的质量、变化和数量来解决图对比学习范式中的过拟合问题,在九个图节点分类数据集上与先进方法进行了比较,其中七个数据集的节点分类准确性提高了最多 2.86%。
Jun, 2024
提出基于全局聚类关系的新型数据扩增方法 ——Global Mixup,其中通过将先前的一阶段扩增过程分解为两阶段,从而将生成虚拟样本的过程与标记过程分离,并根据生成样本的全局关系计算子集对生成样本的标签重新标记,从而在更大的采样空间中生成更可靠的虚拟样本。在 CNN、LSTM 和 BERT 上的五项任务的广泛实验表明,Global Mixup 明显优于现有最新技术基线。
Jun, 2022
本文通过结构感知的硬负样本挖掘方案提出了一个基于自监督学习的对比学习方法,可以在少量标记数据的情况下提高异构图分析模型的准确性,并通过三个真实数据集的实证研究验证了该方法的有效性。
Aug, 2021
本文提出了一种新的基于数据的非线性 mixup 机制,为样本对及其标签提供不同的 mixup 功能,通过在公共潜在特征空间上投射图形数据并探索非线性数据驱动的 mixup 策略,结合凸聚类生成一个最佳的数据增强方法来提高图分类的性能。
Oct, 2022