对抗性对比估计
本文中介绍了一种新的图像对比学习方法,该方法采用有条件的负采样策略来优化互信息估计,与传统的噪声对比估计相比,该方法在多个标准数据集上都获得了 2-5% 的准确度提升,并且在物体检测、实例分割、关键点检测等下游任务中也获得了更好的性能表现。
Oct, 2020
该研究探讨语言概率模型参数估计中遇到的计算问题及其解决方案,针对噪声对比估计与负采样方法的异同进行分析,发现 NCE 是一种渐近无偏的通用参数估计技术,而负采样则适用于学习词表示,但不适用于通用估计器。
Oct, 2014
本文提出了一种 Momentum 对比学习模型(MoCoSE),用于为句子嵌入提供正负样本,验证了负样本队列的历史信息对模型性能的影响,结果表明历史信息处于某个特定范围时,模型性能最佳。在语义文本相似度(STS)任务中测试,取得平均 Spearman‘s 相关系数为 77.27% 的结果。
Feb, 2022
本文提出了一种特征级方法,即采样合成难负样本用于对比学习(SSCL),以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本,然后通过控制锚定样本与其他负样本的对比度的方式进行采样,并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能,并可以轻松集成到现有方法中。
Apr, 2023
本文探讨了在噪声对比估计中选择负面案例的重要性,发现硬负面案例 —— 在模型下得分最高的不正确案例是有效的,我们开发了分析工具以理解硬负面案例的作用,并通过将负面分布设置为模型分布来减少误差,同时将硬负面案例与适当的评分函数相结合,取得了强大的零 - shot 实体链接结果。
Apr, 2021
本文考虑了基于 NCE 的条件模型估计,通过分析两种条件模型变体:一种基于分类目标,另一种基于排序目标,证明了基于排序的 NCE 变体在较弱的假设下提供了一致的参数估计,同时分析了两种方法的统计效率,并在合成数据和语言建模实验中展示了两种方法的效果和权衡。
Sep, 2018
我们提出了一种新方法,通过在密度估计问题中将噪声样本的生成与观察到的数据联系起来,旨在比噪声对比估计更好地估计未规范化模型的参数,并在深度学习中证明了其适用性。
Jun, 2018
通过引入不对称信息最大化损失函数(asymmetric InfoNCE objective),从而区分对待对抗样本,提高对抗鲁棒性。该方法在多种微调模型下均能取得优异的效果。
Jul, 2022