teacher-student architecture | BriefGPT

关键词teacher-student architecture

搜索结果 - 8

放射治疗症状提取的迭代式提示优化方法：基于教师 - 学生大语言模型
利用大型语言模型（LLM）改进前列腺癌放疗症状提取的新型师生结构，Mixtral 作为学生模型，首先提取症状，然后利用 GPT-4 作为教师模型，根据 Mixtral 的表现优化提示，结果表明在提取单一和多症状笔记方面取得了显著改进，证明了
PDF5 months ago
隐式篇章关系识别中的自适应提示学习与精炼连结知识
AdaptPrompt 是一种连续版本的提示学习方法，结合连接性知识蒸馏，在减少手动设计的同时进一步提高性能，采用了虚拟令牌、梯度搜索和答案关系映射等技术实现。
PDF10 months ago
AAAIProKD: 一种无监督的原型知识蒸馏网络，用于零资源跨语言命名实体识别
该研究提出了一种无监督的原型知识蒸馏网络（ProKD）来提高模型在跨语言命名实体识别问题上的表现。该方法通过原型对齐和基于原型的自训练两种方法，让源语言和目标语言的类别特征得到对齐，同时提高模型获取跨语言通用知识和目标语言特定知识的能力。在
PDFa year ago
具有不确定性感知上下文稳定器的像素全局自监督学习
本文提出了一种基于 SSL（自监督学习）的方法，通过全局一致性和像素级局部一致性来捕捉不同增强视图之间的一致性，引入了基于不确定性的上下文稳定器，使用 MC dropout 来衡量不确定性，并自适应平衡不同视图中相同像素的表征之间的差异。
PDF2 years ago
ICML重新思考标签平滑和知识蒸馏的兼容性：缺失了什么？
该论文通过大量实验、分析和案例研究，发现并验证了系统性扩散是理解和解决标签平滑和知识蒸馏之间互相矛盾的发现的关键概念，从而推荐使用经过标签平滑的教师模型以及低温度传输来获得高性能的学生模型。
PDF2 years ago
CVPRMUM：混合图像块和解混特征块进行半监督目标检测
介绍一种名为 Mix/UnMix 的简单有效的数据增强方法，用于半监督目标检测框架，能够让混合输入图像瓦片从特征空间中分离并重构，通过非插值伪标签获得插值正则化效果，成功生成具有意义的弱 - 强对。在 MS-COCO 和 PASCAL VO
PDF3 years ago
知识蒸馏：综述
该论文从知识分类、训练方案、教师 - 学生架构、蒸馏算法、性能比较和应用等方面全面调查了知识蒸馏。并简要回顾了知识蒸馏中的挑战，并探讨了未来的研究方向。
PDF4 years ago
知识蒸馏的有效性
本研究评估了知识蒸馏的有效性以及它对学生和教师体系的依赖性。发现较精确的教师并不一定是好教师，且大型模型并不总是更好的教师，这导致了容器不匹配的问题，本研究表明教师的训练中止可以缓解这种效应，这些结果适用于各种数据集和模型。
PDF5 years ago