momentum contrastive learning | BriefGPT

关键词momentum contrastive learning

搜索结果 - 7

MoMA: 动量对比学习与基于多头注意力的知识蒸馏在组织病理学图像分析中的应用
利用已有的模型通过知识蒸馏来解决计算病理学中与隐私和伦理问题相关的数据质量不足的问题，从而提高目标模型的准确性和鲁棒性。
PDF10 months ago
mcBERT: 利用 BERT 进行动量对比学习以进行零 - shot 槽填充
本研究提出了一种名为 mcBERT 的模型，利用 BERT 进行动量对比学习，以提高零 - shot slot filling 模型的性能。通过在 SNIPS 基准上进行实验，证明了 mcBERT 的优越性，并阐述了 mcBERT 的每个组
PDF2 years ago
ACL探究对比学习中负样本对句子嵌入影响的案例研究
本文提出了一种 Momentum 对比学习模型（MoCoSE），用于为句子嵌入提供正负样本，验证了负样本队列的历史信息对模型性能的影响，结果表明历史信息处于某个特定范围时，模型性能最佳。在语义文本相似度（STS）任务中测试，取得平均 Spe
PDF2 years ago
基于文本的有限数据人物搜索
本文提出了一种框架，利用跨模态动量对比学习和转移学习方法，来解决限定数据所带来的问题，进一步提高了图像库中针对性描述查询的效率，并在 CUHK-PEDES 数据集上达到了新的最高表现。
PDF3 years ago
KNN-BERT：使用 KNN 分类器微调预训练模型
本文介绍了利用监督动量对比学习框架和 KNN 分类器结合 fine-tuning 的方法，以学习聚类表示来提高预训练模型的 Robustness 和 Stability，测试结果表明此方法可显著提高文本分类任务中的准确度和对抗性鲁棒性。
PDF3 years ago
对比表示学习用于手部姿态估计
本文基于无监督学习的最新进展，在单目手部形状估计方面进行了改进。通过 HanCo 数据集和先进的背景去除技术，结合已有的对比学习算法，我们获得了更适合手部形状估计任务的表示方法，并相比 ImageNet 预训练方法显示了 4.7% 的网格误
PDF3 years ago
基于原型动量对比学习的自监督文本无关说话人验证
本研究针对发音者验证（SV）探索了自我监督表示学习方法，其中，提出了一种动量对比学习框架的简单对比学习方法（SimCLR），使用排队机制的 MoCo 说话人嵌入系统来维护大量负面例子，通过波形的变形处理方法等方式以规范化两个随机部分的内在发
PDF4 years ago