knowledge distillation | BriefGPT

关键词knowledge distillation

搜索结果 - 1188

CSAKD: 跨自注意力知识蒸馏用于高光谱和多光谱图像融合
提出了一种新颖的知识蒸馏框架以实现低分辨率高光谱图像的超分辨率，该框架通过使用交叉层残差聚合模块增强效率，同时从低分辨率高光谱图像和高分辨率多光谱图像中提取联合和独立特征，并采用交叉自注意力融合模块适应性地融合这些特征，以提高重构的高分辨率
PDF4 days ago
大型语言模型的直接偏好知识蒸馏
在大型语言模型领域，我们提出了 Direct Preference Knowledge Distillation (DPKD) 方法，通过利用分布差异来表示偏好损失和隐式奖励函数，将语言模型知识蒸馏分为两个阶段，并通过实验证明了其广泛适用性
PDF4 days ago
按学生偏好调整教师生成定制训练数据
ARTE 提出了一种与学生偏好进行对齐的框架，通过采集学生对教师模型的问题和原理的偏好，并将教师模型与学生偏好对齐，生成定制化的训练样例。该框架在实验中表现优越，并对学生和教师模型的泛化性进行了全面研究。
PDF5 days ago
降低活动性的蒸馏和正则化方法用于能源高效的脉冲神经网络
利用知识蒸馏和梯度下降进行训练可以优化脉冲神经网络的性能和脉冲活动之间的平衡，同时激活正则化和逻辑回归方法可以减少网络的脉冲活动。
PDF6 days ago
InFiConD：基于概念的知识蒸馏的交互式无代码微调
本研究提出了一种名为 InFiConD 的新框架，通过利用视觉概念实现知识蒸馏过程并实现后续的零代码微调学生模型，从而解决了在计算资源有限的环境中部署大型预训练模型的挑战。研究通过提取来自概念语料库的文本对齐视觉概念来构建高度可解释的线性学
PDF7 days ago
基于知识蒸馏方法的高度受限编码孔径成像系统设计
提出了一种针对高度物理约束的计算光学成像系统的知识蒸馏框架，通过引入高性能的无约束计算光学成像系统作为 “教师”，指导具有有限快照数的物理约束系统（“学生”）的优化，并使用二进制编码光阑单像素相机进行验证，在单色和多光谱图像重建上证明了该方
PDF7 days ago
MAGIC：元能力引导下的有效高效视觉语言导航链式蒸馏
这篇论文介绍了使用知识蒸馏来获得轻量级学生模型的巨大潜力，其中提出了一种元能力引导的交互式蒸馏链（MAGIC）方法，该方法可帮助将大型模型集成到机器人技术中，该方法在视听导航任务中超越了现有的先前方法，同时提出了一种新的数据集，展示了 MA
PDF7 days ago
大型语言模型的双空间知识蒸馏
通过提出双空间知识蒸馏 (DSKD) 框架，我们解决了当前白盒知识蒸馏框架中不同模型之间输出空间差异导致的问题，并进一步开发了跨模型注意力机制，支持具有不同词汇的任意两个大语言模型之间的知识蒸馏。实验证明，DSKD 在各种距离函数下显著优于
PDF7 days ago
通过相似度蒸馏保持图自编码器中节点的独特性
通过双编码器 - 解码器架构将原始图的区别知识传递到重建图以避免模糊重建并提高性能。
PDF7 days ago
利用知识蒸馏实现轻量级皮肤癌分类：平衡准确性与计算效率
我们提出基于知识蒸馏的方法来创建一个轻量级且高性能的皮肤癌分类器，通过融合 ResNet152V2、ConvNeXtBase 和 ViT Base 等三个模型来创建一个有效的教师模型，进而进行指导以得到一个大小为 2.03 MB 的轻量级学
PDF8 days ago
特权学生：关于多语言知识蒸馏中初始化价值的研究
我们调查了知识蒸馏在多语言环境中的价值和模型初始化方法，发现通过将教师模型的权重直接复制到学生模型来增强初始化对于各种多语言环境中的模型初始化最为重要，并证明了高效的权重初始化在低资源场景下仍能保留多语言能力。
PDF8 days ago
LLMs 能通过教学来学习吗？初步研究
教学，LLMs，知识蒸馏，教学学习，模型改进。
PDF12 days ago
具有模型压缩的异构边缘设备上具有容错性的分布式推理
RoCoIn 是一种用于异构边缘设备上本地分布式执行深度神经网络推断任务的稳健合作推断机制，通过知识蒸馏从大型模型中学习独立而紧凑的学生模型，并以冗余方式部署和执行相同的学生模型以提高推断过程的容错性和系统响应速度。与几种基线方法相比，广泛
PDF12 days ago
LLM 中的低秩知识蒸馏在微电子推理中是否有用？
该论文研究使用离线的大型语言模型（LLMs）在电子设计自动化（EDA）领域的可行性，并评估了一个当代语言模型（Llama-2-7B）在解决微电子相关问题中作为微电子问答专家以及其推理和生成能力的能力，研究采用了各种适应方法，包括引入一种新颖
PDF13 days ago
多阶段均衡蒸馏：解决序列级知识蒸馏中的长尾挑战
大语言模型（LLMs）在各种自然语言处理任务中有了显著的进展，但部署仍然需要大量的计算资源。我们介绍了一种名为 Multi-Stage Balanced Distillation（BalDistill）的框架，通过在固定的计算资源预算内动态
PDF13 days ago
EMNLPBiLD: 大型语言模型蒸馏中的双向对数损失差异
本研究探讨了基于对数几率水平的大型语言模型任务特定蒸馏，发现与视觉模型相比，微调后的大型语言模型的对数几率呈现更极端的长尾分布，长尾部分中的噪声对蒸馏性能产生影响。提出了双向对数几率差异损失（BiLD loss）作为解决方案，并通过构建对数
PDF13 days ago
WaterMono: 水底自助单目深度估计的教师引导异常遮蔽和增强提升
WaterMono 是一个用于深度估计和图像增强的新型框架，针对水下场景中的挑战，通过采用教师引导的异常掩模、深度信息结合水下图像成像模型生成增强图像以及旋转蒸馏策略来提高模型的鲁棒性，从而有效地实现了深度估计和图像增强任务。
PDF13 days ago
CVPR单一共享图像的联邦学习
通过改进知识蒸馏方法和引入一种自适应数据集修剪算法，我们提出一种新方法，在有限的共享数据集预算下，使用一幅图像成功地进行联邦学习，同时还可以训练异构的客户端架构。
PDF14 days ago
细化点击率预测模型的相互学习
通过模型之间的相互学习算法，提高了点击率（CTR）预测模型在 Criteo 和 Avazu 数据集上的性能，相对提升了 0.66%。
PDF15 days ago
图知识蒸馏到专家混合
通过使用一种特殊设计的学生模型（Routing-by-Memory）来解决节点分类任务中的性能问题，该模型是一种专家混合（Mixture-of-Experts），通过鼓励每个专家在隐藏表示空间的某个特定区域进行专门化，实验证明可以在多个数据
PDF15 days ago