关键词teacher-student models
搜索结果 - 6
- 多任务多尺度对比知识蒸馏在高效医学图像分割中的应用
本研究旨在探究神经网络在医学图像分割任务中的知识迁移可行性，特别关注从大规模多任务的 “教师” 网络向更小的 “学生” 网络的迁移。我们通过多尺度特征蒸馏和监督对比学习的结构，通过整合从教师模型获取的知识表示来提高学生模型的性能，并通过大量 - 模型检查点的高效知识蒸馏
本文研究知识蒸馏技术中，使用训练过程中的中间模型或快照集作为教师模型可以提高蒸馏效果，同时提出了一种基于任务相关互信息最大化的中间模型选择算法，并通过实验证明了其有效性和适用性。
- C2KD: 跨语言跨模态知识蒸馏在多语言文本 - 视频检索中的应用
本研究提出了一种跨语言跨模态知识蒸馏的方法，使用跨语言文本数据训练学生模型，以匹配用英语文本数据训练的教师模型的跨模态预测。通过引入新的多语言视频数据集 Multi-youcook2 验证了该方法的有效性。
- 数据无关模型压缩的双判别器对抗蒸馏
提出了一种名为 Dual Discriminator Adversarial Distillation (DDAD) 的新型无数据的知识蒸馏方法，通过生成样本，训练紧凑的学生网络，使其接近其教师网络，从而在计算机视觉任务中实现了高效的神经网 - 使用师生模型学习真实数据集的通用特征映射的学习曲线
本文介绍一种 Gaussian 协变量泛化的 teacher-student 模型，可以在固定特征映射生成的不同空间中进行操作，可以捕捉广泛的现实数据集的学习曲线，并证明了渐近训练损失和泛化误差的严谨公式，讨论了该框架的能力和局限性。
- 不对称度量学习用于知识迁移
本文研究了用于图像检索的不对称训练任务，其中数据库由 teacher 模型代表，而查询由 student 模型代表，并介绍了一种新的不对称度量学习方法，结合知识转移和原始度量学习任务。结果表明，对于不对称测试任务，平凡的回归比更复杂的知识转