本文研究基于对比学习的监督式分类学习策略,提出了一种混合网络结构,用于从不平衡的数据中学习更好的图像表征,以提高分类精度。具体而言,我们探索了两种对比损失的变体,以推动特征学习,从而实现更好的分类器。实验结果表明,基于对比学习的混合网络在长尾分类中优于传统方法。
Mar, 2021
本论文提出了一种用于训练神经网络的生成模型和判别模型的混合方法,其中关键的想法在于高斯耦合 softmax 层,该层可以嵌入神经网络分类器中,允许分类器估计类的后验分布和类条件数据分布,而且该混合模型适用于半监督学习和置信度校准。
May, 2023
通过改进 CD 训练方法, 研究表明难以计算但可以计算出来的梯度对于避免训练不稳定性很重要,并可以使用数据增强和多尺度处理来提高模型的鲁棒性和生成质量,通过在多个基准测试中评估模型架构的稳定性,以及在图像生成,OOD 检测和合成生成等用例中表现出改进的性能。
Dec, 2020
本文提出了一种自洽学习的框架,利用生成对抗网络的生成模型和判别模型的博弈优化,使两者协同训练,避免了 GAN 训练不稳定的问题,并在句子语义匹配问题上实现了较好的性能。
Mar, 2023
使用 InfoNCE 系列的 feedforward 模型通过隐式反转观察数据的基础生成模型来实现使学习到的表示方法适用于大量下游任务的目标,这种理论强调了对比学习,生成建模和非线性独立成分分析之间的基本联系,为推导出更有效的对比损失提供了理论基础。
Feb, 2021
探索了一种基于能量的对比学习方法,将对比学习与基于能量的模型相结合,可以用于学习小型和中型数据集中的视觉表示,其在 MNIST、Fashion-MNIST、CIFAR-10 和 CIFAR-100 等数据集上都表现出了很好的结果,并相对于其他方法有 X4 到 X20 倍的加速。
Feb, 2022
本文提出了一种生成 - 判别式互补学习方法,称为互补条件 GAN(CCGAN),通过建模条件(判别)和实例(生成)分布来提高预测普通标签的准确性和生成高质量实例的能力,同时拥有弱监督下检索真实条件分布的能力,可有效解决缺乏高质量标注数据的问题。
Apr, 2019
本论文提出了一个统一的异构学习框架,通过结合加权无监督对比损失和加权有监督对比损失来解决对比学习中的假阴性对问题,从而模拟多种异构性的数据。实验结果表明,该方法在模拟复杂数据时具有较好的效果和高效性。
May, 2021
本文介绍了一种基于对比学习的自我监督表征学习方法,并将其推广到全监督设置中。其中,相同类别的样本点在嵌入空间中被拉在一起,而来自不同类别的样本则被同时推开,以实现更好的分类性能。实现简单,最佳损失函数表现优于交叉熵。
Apr, 2020
本文提出了一种基于边界的理论框架,并推导出了一种新的有监督对比损失(epsilon-SupInfoNCE)和一种有效的去偏差正则化损失(FairKL),这些方法可以用于从偏差数据中学习无偏模型,并在多个偏差数据集上实现了最先进的性能。
Nov, 2022