- 关于在具有硬负采样的监督和非监督对比学习中的神经和维度崩塌
对于一种广泛研究的数据模型和一般损失和样本硬化函数,我们证明了监督对比学习(SCL)、强制对比学习(HSCL)和无监督对比学习(UCL)的风险在表现出神经塌缩(NC)的表示下被最小化,即类别平均值形成一个等角紧框架(ETF),同一类别的数据 - SimMMDG: 一个简单而有效的多模态领域泛化框架
通过在多模态情境中将特征分为模态特定和模态共享组件,并运用监督对比学习对模态共享特征施加距离约束,以促进多样性,并引入跨模态转换模块来规范学习特征,以达到领域泛化的目标。
- SSLCL: 一个高效的模型无关的自监督对比学习框架,用于对话情感识别
利用监督对比学习的高效模型无关框架 SSLCL,通过将离散标签转化为密集嵌入,同时最大化样本特征与其对应的真实标签嵌入的相似性,并最小化样本特征与不同类别标签嵌入的相似性,从而实现在情感识别任务中提高性能的目标。
- 在多领域数据集上训练的有监督对比学习所学到的表示的可迁移性
使用多领域数据集的超级对比学习模型相比使用交叉熵模型,平均在 7 个下游数据集上表现更好,结果显示其学习到的表示更具鲁棒性且可跨领域转移。
- 比特币:基于双向标记和监督对比学习的联合关系三元抽取框架
BitCoin 是一种创新的双向标记和监督对比学习的联合关系三元组提取框架,通过考虑主体和客体之间的多个正例,引入惩罚项来防止过度相似度,并实现了从主体到客体和从客体到主体的三元组提取。实验结果表明,BitCoin 在基准数据集上取得了最先 - 联合多种意图检测和槽位填充的受监督对比学习和自蒸馏方法
我们提出了一种通过双向联合模型以及监督对比学习和自我蒸馏的训练方法来解决多意图检测和槽填充问题,并且实验证明该方法在这两个任务中的表现优于最先进的模型。
- FaceTouch:使用监督对比学习检测手触脸以协助追踪传染病
通过利用计算机视觉和深度学习方法,该研究提出了一个名为 FaceTouch 的框架,用于检测复杂城市场景或室内的手脸接触,通过分析人的行为和身体姿势来识别面部接触动作。该框架表现出强大的验证效果,并有潜力在实际应用中得到部署。
- SupEuclid: 用监督对比学习和欧几里得距离实现极其简单、高质量的非样本外检测
使用 ResNet18 结合监督对比学习 (Supervised Contrastive Learning),通过欧几里得距离作为评分规则,得到了针对近程和远程 Out-of-Distribution 检测基准的开箱即用的最先进结果,这可能 - 通过监督对比学习实现强大的欺诈检测
为了解决开放式欺诈检测的挑战,我们提出了一种名为 ConRo 的鲁棒监督对比学习框架,它在只有少量具有有限多样性的恶意会话可用的情况下进行操作。通过采用有效的数据增强策略生成多样的潜在恶意会话,并利用这些生成的和可用的训练集会话,ConRo - ICCV基于粗 - 细提案生成和模仿学习的小目标检测
CFINet 是一种针对小物体检测的两阶段框架,通过粗到细的策略和特征模仿学习来提高小物体检测性能。它包括 Coarse-to-fine RPN(CRPN)和 Feature Imitation(FI)分支,并引入监督对比学习的辅助模仿损失 - 应对肺结节恶性程度分级的标签噪声问题
提出了 Unimodal-Regularized Label-noise-tolerant (URL) 框架,用于在肺结节恶性分级中处理标签噪声并建模类别之间的排序关系。通过使用受控对比学习和生成假标签的方法来训练模型,并引入了单模态正则化 - 提高样本外检测的三个因素
通过引入自我知识蒸馏损失、采样半难例离群数据和使用监督对比学习,我们的方法在分类准确性和离群检测性能之间取得平衡,同时提高了两个性能指标。
- 基于图嵌入和动态特征的变化电力网络拓扑的瞬态稳定性监控
传输稳定性预测模型使用图嵌入动态特征及监督对比学习来预测能源网络结构变化下的瞬态稳定性。
- ASCON:一种用于低剂量 CT 去噪的解剖感知监督对比学习框架
本文提出了一种新颖的解剖感知监督对比学习框架,名为 ASCON,它在低剂量 CT 去噪中探索解剖语义并提供解剖学可解释性,该框架由两个新设计组成:高效的自注意力 U-Net(ESAU-Net)和多尺度解剖对比网络(MAC-Net)。实验结果 - 可解释且成本敏感的深度神经网络通过监督对比学习进行肠胃疾病分类
本文介绍了一种新方法,通过利用费用敏感的预训练深度卷积神经网络和有监督对比学习分类胃肠疾病,以捕获与疾病相关的关键特征,并考虑样本之间的相似性关系,从而为医疗保健中的准确疾病分类提供帮助。作者还结合了可解释人工智能的梯度技术,提高了模型的可 - ECL:长尾皮肤病变分类的类增强对比学习
通过类增强对比学习方法,使用平衡的代理模型和参数优化策略,配合平衡的加权交叉熵损失函数,对于不平衡肌肤病变数据的分类问题进行了实验,证明了该方法的卓越性和有效性。
- 自适应分类标准在任务增量连续学习中缓解灾难性遗忘
本文介绍了一种用于持续学习的有监督对比学习框架,旨在通过保存少量的数据和适应的分类准则来解决在学习新任务时可能产生的灾难性遗忘问题,实验表明其表现优异。
- UOR:预训练语言模型的通用后门攻击
本论文提出了一种新的后门攻击方法 UOR,通过将手动选择转化为自动优化,定义了毒化监督对比学习,使用梯度搜索选择适当的触发词并针对不同 PLMs 和词汇表进行自适应,取得了比手动方法更好的攻击表现,并证明了该方法的普适性。
- 通过人工智能反馈提高对比学习句子嵌入
CLAIF 方法:利用大型预训练语言模型的人工智能反馈来构建有细粒度样本相似度得分的样本对以改善对比学习,并结合人工反馈和 AI 反馈提供更好的训练信号,实验结果显示在语义文本相似性和迁移学习任务上,与其他半监督和监督对比学习方法比较,CL - 异质相似度下的监督对比学习用于分布偏移
本文提出了一种利用监督对比学习的新型正则化方法,通过将余弦相似度扩展到更一般的相似度度量,建议在比较样本与正 / 负例子时使用不同的参数,并在此基础上提出了一种具有优势的方法,用于处理数据分布变化的问题,这种方法尤其适合使用高度代表性的模型