distillation loss | BriefGPT

关键词distillation loss

搜索结果 - 12

ICML可证明的对比式继续学习
通过对前一任务的训练损失进行理论分析建立了性能保证的理论解释并提出了一种新的自适应蒸馏系数的对比式连续学习算法 CILA，该算法在标准基准测试中取得了显著的改进和最新的最佳性能。
PDFa month ago
2D-3D 视觉 - 语言蒸馏的 3D 开放词汇全景分割
我们提出了一种新方法，通过学习 LiDAR 特征和固定的 CLIP 特征之间的融合来处理 3D 开放式词汇全景分割问题，并提出了两个新的损失函数：物体级蒸馏损失和体素级蒸馏损失。在 nuScenes 和 SemanticKITTI 数据集上
PDF6 months ago
ICCVDOT：一种面向蒸馏的训练器
本文提出 Distillation-Oriented Trainer (DOT)，以在知识蒸馏任务中优化任务丢失和蒸馏丢失之间的权衡，通过应用更大的动量来加速蒸馏损失的优化，以获得更好的任务损失和蒸馏损失的优化，并通过广泛实验证明了 DOT
PDFa year ago
学生友好的知识蒸馏
本文提出了一种基于教师模型稍加简化后的知识表示的学生友好型知识蒸馏方法（SKD），其包含软化处理和学习简化器，通过联合训练确保知识简化过程与学生模型的训练目标相关，提高了训练效率和准确性。实验结果表明，该方法在 CIFAR-100 和 Im
PDFa year ago
授课老师在蒸馏中的偏差：违抗是否值得？
通过一系列的实验，我们发现知识蒸馏 (distillation) 在教师网络存在低置信度的点的时候，会使得学生网络的置信度更低，而之后引入知识蒸馏 (loss) 会恢复部分性能，同时我们提供了两种理论视角来理解这种现象，作为特征空间的正则化
PDFa year ago
统一而有效的集成知识蒸馏
本文提出了一种有效的集成知识蒸馏方法，该方法能够从多个教师模型学习未标记数据的知识，并据此训练单个学生模型。研究表明，通过考虑不同教师之间的预测差异以及样本难度，可以进一步提高蒸馏的效果。
PDF2 years ago
AAAI少样本分类的标签幻觉
该研究提出了一种新的适用于 few-shot classification 的方法，使用伪标签技术结合蒸馏损失和标准交叉熵损失来解决小数据集的问题，并取得了比现有的算法更好的效果。
PDF3 years ago
UPFlow：无监督光流学习的上采样金字塔
提出无监督学习方法，通过改善金字塔网络的上采样和学习来估计光流，具有自引导上采样模块和金字塔蒸馏损失，并将两个组件相结合，该方法在多个基准测试中均取得了最佳性能。
PDF4 years ago
ECCVDOPE: 野外全身三维姿态估计中的零件专家蒸馏
DOPE 是第一种能够在复杂场景中检测和估计整体身体、手和面部 3D 姿势的方法，它利用独立的专家和蒸馏过程来训练整体姿势检测的单个深度神经网络，并在保持接近专家效果的同时实现了比大师集合更快的实时处理速度。
PDF4 years ago
ICCV相似性保持知识蒸馏
本文提出了新型的知识蒸馏损失函数，其通过保留教师神经网络中相似输入的激活模式特征，指导学生神经网络的训练，使其在保留各自的表征空间中，能够准确地保持输入的相似度。实验结果表明了该方法的潜力。
PDF5 years ago
每秒 200 帧的物体检测
本文提出了一种高效快速的物体检测器，通过调查网络架构、损失函数和训练数据等三个主要方面来实现这一目标，并引入各种改进方法，采用 Distillation Loss 函数将更加精确的教师网络的知识传递给所提出的轻量级学生网络，提高了检测精度，
PDF6 years ago
主动式长期记忆网络
介绍了 Active Long Term Memory Networks (A-LTM) 模型，该模型能够在序贯多任务深度学习过程中保留以前学习的知识，同时获得新的知识，利用 distillation loss 来主动维护以前学习的信息，并
PDF8 years ago