student network | BriefGPT - AI 论文速递

关键词student network

搜索结果 - 16

CVPRPeerAiD: 从专门的同行导师中改进对抗性蒸馏
通过对等网络训练和敌对训练来提高小型网络的鲁棒性并保护其免受攻击，以实现更高的准确性和鲁棒性。
PDF4 months ago
教师的多或少：利用三边几何进行知识蒸馏
本研究引入了一种新颖的自适应方法，通过利用教师和学生的正确性以及学生在每个样本上模仿教师的程度，从而在每个样本上学习一个自适应的、逐个样本的知识融合比率，进而实现了知识蒸馏的简单、实用和可调整的解决方案。
PDF6 months ago
ICCV加权平均改善领域偏移下的知识蒸馏
知识蒸馏是一种强大的模型压缩技术，该论文通过在域偏移下对权重平均技术的应用，桥接了知识蒸馏和域泛化的研究领域，并提出了一种简化的权重平均策略，称为加权平均知识蒸馏（WAKD）方法。
PDF9 months ago
分布偏移对于使用网络收集的图片进行知识蒸馏很重要
知识蒸馏是从预训练教师网络中学习轻量级学生网络的方法，但现有方法在原始训练数据不可用时往往不可行。为解决这个问题，该文提出了一种名为 “不同分布知识蒸馏” 的新方法（KD$^{3}$），其包括三个组件：从互联网收集训练实例，通过教师网络和学
PDFa year ago
短至长期轨迹预测知识蒸馏
本文提出了一种基于知识蒸馏的新的长期轨迹预测方法 Di-Long，使用教师网络生成短期预测轨迹并对学生网络进行规范化，从而实现对高时间区间内长期轨迹预测问题的解决，实验证明，该方法对长时预测有益，并在 Intersection Drone
PDFa year ago
教师网络校准改善跨质量知识蒸馏
本文研究交叉质量知识蒸馏（CQKD），该方法将使用全分辨率图像进行训练的教师网络的知识转移到以低分辨率图像作为输入的学生网络中。CQKD 在大规模图像分类问题上的表现优于监督学习，并强调了神经网络校准的重要性：我们表明，通过更高的温度平滑教
PDFa year ago
授课老师在蒸馏中的偏差：违抗是否值得？
通过一系列的实验，我们发现知识蒸馏 (distillation) 在教师网络存在低置信度的点的时候，会使得学生网络的置信度更低，而之后引入知识蒸馏 (loss) 会恢复部分性能，同时我们提供了两种理论视角来理解这种现象，作为特征空间的正则化
PDFa year ago
知识蒸馏真的有效么？
研究表明，尽管知识蒸馏有助于学生网络提高推理能力，但通常情况下并不能完全符合教师模型的预测分布，而这往往是由于优化困难所导致的。此外，数据集的细节也影响着知识蒸馏的效果，更符合教师的结果不一定会带来更好的推理能力。
PDF3 years ago
ACLBERT 学会教学：元学习的知识蒸馏
本研究提出了用元学习结合知识蒸馏的方法（MetaDistil），可以在固定教师网络期间更好地向学生网络转移知识。在多个实验基准上，MetaDistil 可以比传统的知识蒸馏算法产生更显著的改进，并且对不同的学生容量和超参数的选择不太敏感，有
PDF3 years ago
自适应多教师多层级知识蒸馏
我们提出了基于多教师多层知识蒸馏学习框架的自适应学习方法，该方法通过将每个教师与潜在表示相关联，自适应地学习实例级教师重要性权重，从而获取集成的高级知识，并通过多组提示策略从多个教师处汇集中间级知识。实验表明，该方法确保学生比强竞争者取得了
PDF3 years ago
ECCV知识蒸馏与自监督相遇
本文介绍了一种新的知识蒸馏方法，使用自我监督信号作为辅助任务来提取自预训练教师模型中的丰富知识，并将其成功地传递到学生网络中，从而实现了在各种基准测试下的表现优异。
PDF4 years ago
CVPR路标分割的区域间亲和度蒸馏
本文介绍了一种新的知识蒸馏方法 ——Inter-Region Affinity KD，该方法通过构建道路场景图并匹配教师模型的图来实现从大型教师网络向较小的学生网络进行知识迁移，从而在多种轻量级模型上取得了更好的性能表现，并在 Apollo
PDF4 years ago
MM基于结构化知识迁移的高效众包计数
提出一种利用结构化知识传输框架的轻量级学生网络来有效解决高计算量和显存消耗，提升推断效率的方法。通过两个互补的传输模块，学生网络可以从教师网络中获取分层和跨层知识来学习紧凑而有效的特征。实验表明，该方法在减少计算成本的情况下仍能显著提高计算
PDF4 years ago
知识表示：用于知识蒸馏的高效、稀疏的先验知识表示
本文提出了一种以先验知识为主要建模对象的知识表示框架，并设计了一种稀疏重编码惩罚，以约束学生网络的学习，从而在知识蒸馏过程中避免过度正则化和更快地收敛。实验表明，该框架即使目标网络的表示能力不如期望，仍然实现了最先进的性能表现，并且灵活易于
PDF5 years ago
CVPR教师学生网络在视频分类中使用较少的帧数
本文主要介绍了利用蒸馏的思想来缩短视频分类问题的计算时间。通过建立师生网络，使得其中的学生网络只需要处理视频片段的一小部分，便能取得与完整视频相同水平的分类表现，从而使得在验证期推断时能够获得 30% 的时间节约。
PDF6 years ago
FitNets: 纤细深度神经网络的提示
本文提出了一种基于知识蒸馏的深度神经网络训练方法，通过使用教师网络的中间表示学习，允许训练比教师更深而且更窄的学生网络，并引入了额外参数来进行深浅网络之间的映射，以实现降低参数以提高运行速度或提升性能的目的。在 CIFAR-10 数据集上的
PDF10 years ago