teacher-student approach | BriefGPT

关键词teacher-student approach

搜索结果 - 5

通过迁移学习能力来改善知识蒸馏
本文介绍了一种名为 SLKD 的新方法，用于解决现有知识蒸馏方法中存在的教师 - 学生方法忽视教师和学生网络学习能力差异所导致的容量差距问题。
PDFa year ago
纠错学习的最优传输
本文介绍了一种广义的纠正学习方法，在优化输运的框架下，利用一个专家代理来改善学习代理的参数估计，该方法可以估计更复杂的特征，并考虑了多个干预策略。
PDFa year ago
动量自监督学习中的动量平方教师：利用动量统计量的动量教师
本文提出了一种新的基于动量的师生自监督学习方法，使用小批量大小（例如 128），在 ImageNet 线性评估协议下，无需特殊硬件的大批量训练（如 TPU）或跨 GPU 操作（例如洗牌 BN，同步 BN），能够取得 74.5％的最新成果。
PDF3 years ago
WSDM通过学习中间监督信号提高多跳知识库问答
该研究提出一种新的师生网络方法来解决多跳知识库问答（KBQA）中中间缺乏监督信号的问题，利用前后向推理设计师网络产生更可靠的中间监督信号，并在三个基准数据集上展示了算法的有效性。
PDF3 years ago
用于资源高效人工智能应用的三元神经网络
本文提出了基于三值神经网络和师生模型的新型深度学习方法，并在 FPGA 和 ASIC 硬件上实现；相比现有技术，该方案在提高准确率的前提下，节约了高达 3.1 倍的能源。
PDF8 years ago