teacher-student paradigm | BriefGPT

关键词teacher-student paradigm

搜索结果 - 7

学生如何成为教师：通过谱方法的学习和遗忘
在本研究中，我们通过基于线性信息传递的谱表示的全新优化方案，成功地分离出一种稳定的学生子结构，其在计算神经元、路径分布和拓扑属性方面反映了教师的真实复杂性；当按照优化后的特征值排名修剪训练后的学生的不重要节点时，在达到有效教师规模的阈值以上
PDF8 months ago
ICCVDriveAdapter：突破全自主驾驶中感知和规划之间耦合的界限
直接采用强教师模型进行规划，而让学生模型更专注于感知部分，并通过 DriveAdapter 使用特征对齐目标函数来解决性能问题。
PDFa year ago
ACL消除调制语言模型中的容量差距
本文介绍了一种基于最小化专家组 (MiniMoE) 的模型压缩框架，以解决预训练语言模型中师生之间的容量差异，从而在保持准确率的情况下减少推理计算量与压缩模型的大小。
PDFa year ago
多智能体强化学习中可解释的行动建议
介绍了基于解释的行动建议技术，其中老师提供行动建议和相关的解释。实验证明，该框架在单一智能体和多智能体情境下均可提高策略回报和收敛速度。
PDF2 years ago
MM大规模 CTR 预测的增量学习框架
本研究提出了一种增量学习框架，用于 Click-Through-Rate (CTR) 预测，并展示了其在 Taboola 庞大规模推荐服务中的有效性。通过从以前部署的模型进行暖启动和仅在 “新鲜” 的数据上微调，我们的方法可以快速捕捉新兴趋
PDF2 years ago
在师生框架下进行数据增强的跨语言合成
本篇论文旨在通过应用师生范式来解决跨语言综合中常见的泛化问题。结果表明，该方法在保持语音自然度和韵律变化的同时，有效提高了说话人特征的保留。
PDF2 years ago
ShrinkTeaNet: 通过压缩师生网络实现百万级轻量级人脸识别
通过 ShrinkTeaNet 框架，使用角度蒸馏误差通过教师的知识来训练轻型网络，旨在解决大规模人脸识别中的开放式问题。该方法在 LFW、CFP-FP、AgeDB、IJB-B 和 IJB-C Janus 以及一百万个分心者的 MegaFa
PDF5 years ago