- 细化点击率预测模型的相互学习
通过模型之间的相互学习算法,提高了点击率(CTR)预测模型在 Criteo 和 Avazu 数据集上的性能,相对提升了 0.66%。
- 走向人工智能与人类共同学习:一种新的研究范式
这篇论文描述了一种研究人类与人工智能合作的新范式,称之为 “人工智能相互学习”,它定义为人类与人工智能智能代理在合作中保留、交换和改进知识的过程。我们描述了该范式下的相关方法论、动机、领域示例、益处、挑战和未来研究议程。
- 医学视觉引导(MVP):一种用于多功能和高质量医学图像分割的统一框架
准确分割病变区域对于各种疾病的临床诊断和治疗至关重要。本研究提出了一种新颖的医学视觉提示 (MVP) 框架,借鉴了自然语言处理 (NLP) 的预训练和提示概念,通过整合 SPGP、IEGP 和 AAGP 三个关键组件,使得分割网络更好地学习 - ML-LMCL:提升口语理解中自动语音识别鲁棒性的相互学习和大边界对比学习
通过互相学习和大间距对比学习,提出一种新的框架 ML-LMCL 来提高自动语音识别在对话系统中口语理解的鲁棒性。通过在手动转录和自动识别转录之间共享知识,引入距离极化正则化器以尽量避免推开簇内成对样本,使用周期性退火调度缓解 KL 关于消失 - R-Block: 卷积网络的正则化 Dropout 块
通过引入互相学习的训练策略,即 R-Block,结合两个不同 dropout 区域的互补子模型,该方法能够减小卷积层中的随机性,提高了性能和一致性。
- 基于显著性引导的少样本细粒度视觉识别互学习网络
本文提出了一种名为 SGML-Net 的框架,用于 few-shot 细粒度视觉识别。它通过利用显著性检测模型强调每个子类别的关键区域,提供了代表性学习的强大先验知识,并在互相学习的范式下实现了有效的转移。实证评估表明,所提出的方法具有优越 - 基于集成自注意力相互学习的文档图像分类网络
该论文提出了一种使用自注意力融合模块与互相学习方法来进行文档图像分类的新模型, 在单模态和多模态数据集上均优于当前最先进技术。
- 无监督抽取式摘要中句子相似度估计的改进
研究了两种新策略以提高自动抽取摘要的句子相似度估计,其中对比学习优化了文本级目标,同时使用互相学习增强句子相似度估计与句子重要性排名之间的关系。实验结果显示了策略的有效性。
- 有礼貌的教师:互相学习和伪标签阈值的半监督实例分割
Polite Teacher 使用相互学习框架,结合有限的监督信息和无标定实例,通过 confidence thresholding 和 mask scoring 来过滤噪声,进而在 anchor-free detector 上提高了 8% - AAAI一种标签依赖感知的多层隐性语篇关系识别序列生成模型
本研究提出了一种标签依赖的序列生成模型,对多层次的隐式话语关系识别进行条件化标签序列生成,实现全局和局部与标签相关的表示,利用自下而上和自上而下的相互学习方法提高建模性能。
- PP-OCRv2: 超轻量 OCR 系统的绝招
本研究提出了一种更强健的 OCR 系统 PP-OCRv2,采用协作式互相学习、拷贝粘贴、深度神经网络、CTCLoss 等技巧来训练更好的文本探测器和识别器。实验表明,在相同推断成本下,PP-OCRv2 的精度比 PP-OCR 高 7%。
- ICCV双目互相学习以提高少样本分类
本研究提出了一种统一框架,Binocular Mutual Learning(BML),通过 intra-view 和 cross-view modeling 实现全局视角和局部视角的兼容性,将双目嵌入聚合在一起支持决策,从而大大提高了分类 - 跨模态共识网络用于弱监督时间动作定位
本文提出了一种跨模态共识网络以解决弱监督时间动作定位任务中现有特征提取器提取的不是任务特定特征的问题,并使用了跨模态注意机制和相互学习来产生更有代表性的特征。在 THUMOS14 和 ActivityNet1.2 数据集上的实验结果表明,此 - CVPR自我监督学习中在线知识蒸馏
本文提出了一种基于单阶段在线知识蒸馏的自我监督学习法 Distill-on-the-Go (DoGo),采用深度互联策略,通过对齐两个模型的相似度得分的 softmax 概率来提供更好的表征质量,实验结果表明,该方法在存在噪声和有限标签以及 - ECCV深度度量学习的多元化互相学习
本文提出了一种名为多样化互惠度量学习的有效互惠学习方法,通过利用互相学习中的三种多样性来增强嵌入模型的互惠学习,从而传递深层度量学习的关系性知识。试验表明,该方法显著提高了单个模型以及其集合的性能,并在常规数据集上取得了最好的回忆率 @1 - ECCV领域自适应人员身份识别的多专家头脑风暴
本文提出了一个用于领域自适应人员重新识别的多专家头脑风暴网络(MEB-Net),采用相互学习策略,通过多个具有不同体系结构的网络专家模型进行预训练,在专家模型之间进行头脑风暴,以适应领域,增强适应的重新识别模型的区分能力,并通过引入关于专家 - CVPR场景文本识别中的词汇依赖性
本文研究场景文本识别中的 “词汇依赖” 现象,发现现有算法普遍存在这种特征,提出基于注意力和分割的模型在处理词汇外的文本识别时表现良好,同时提出了一种名为 “mutual learning” 的简单而有效的模型训练策略,这种方法成功缓解了词 - 跨模态知识蒸馏用于动作识别
研究如何将针对 RGB 视频训练的行动识别网络适应于识别 3D 人体姿势序列这样的另一个模态,提出了一种基于互相学习的小型学生网络集成和交叉模态知识蒸馏的方法,使得几乎达到了使用完全监督训练的学生网络的精度。
- 改进基于多列卷积神经网络的人群计数学习
本文提出了一种新颖的多列互学习策略(McML)以改善人群计数中规模表示的不变性,指出现有的多列网络存在显著冗余参数的问题,且采用异步参数更新过程的 McML 可以更有效地减少参数的冗余性并改善泛化能力,实验证明该方法在各项挑战性基准上显著提