- xCOMET-lite: 在学习的 MT 评估指标中实现效率与质量之间的平衡
利用精简和压缩技术，我们创建了高效的 xCOMET 替代方法，并使用黑盒蒸馏数据收集管道，实验证明，经过量化处理后，xCOMET 可以压缩至原体积的三分之一，且质量不降低；通过蒸馏，我们创建了一个 xCOMET-lite 度量方法，它仅含有 - ACL教学助理在低预算场景中提高从不完美教师模型的知识蒸馏
通过提出一个三组件框架，利用自洽性、鉴别性和教师的不确定性作为学生培训的三种信号，我们在资源受限、教师性能不完美的场景中提高了样本效率。实验证明，相较于没有任何信号进行微调的情况，我们提出的两阶段框架平均带来了 20.79% 左右的相对提升 - ACL论鲁棒知识蒸馏的稳健性问题
在阿拉伯语自动语音识别（ASR）方面存在独特的挑战，为了克服这些挑战，本研究采用知识蒸馏技术将大型教师模型提取为更高效的小型学生模型，引入了一份人工标注的新数据集以评估五个少见的阿拉伯方言。在现有基准测试和新的方言数据上，我们的最佳蒸馏模型 - ReDistill: 残差编码蒸馏 用于峰值内存减少
通过对神经网络进行峰值内存降低，我们提出了残差编码蒸馏（ReDistill）技术来在边缘设备上部署具有有限内存预算的神经网络。我们的方法不仅适用于图像分类问题，而且在基于扩散的图像生成中也有出色表现。
- Flash Diffusion: 加速任何有条件扩散模型的少步图像生成
本论文提出了一种高效、快速和多功能的蒸馏方法，Flash Diffusion，用于加速预训练扩散模型的生成，在 COCO2014 和 COCO2017 数据集上，在少量步骤的图像生成方面表现出最先进的 FID 和 CLIP-Score 性能 - 通过奖励模型精华提高偏好鲁棒性优化
通过预训练、直接偏好优化和蒸馏方法，改进了离线对齐过程中偏好数据分布转移的鲁棒性，同时保留了简单的监督学习性质。
- 视觉语言预训练的精简与有效的跨模态检索
基于大规模预训练模型的学习哈希方法为跨模态检索提供了性能优化，并引入了一种名为 DCMQ 的新方法，利用 VLP 模型的语义知识改进了哈希表示学习，通过引入 PQG 量化方法和 NPC 转换进一步提高了检索性能。
- 用任务感知课程计划对大型语言模型进行指令遵循能力提炼
任务感知课程规划的指导下，使用动态难度调整的多轮精馏框架 TAPIR 提供平衡的任务分布，通过升级难度水平逐步提升学生 LLM 的能力，并经过两个广泛认可的基准测试验证，结果表明使用我们的方法及较少的训练数据训练的学生 LLMs 在复杂任务 - 基于图的知识探索：通道关系图的多层特征蒸馏
基于图知识的蒸馏方法结合多级特征对齐策略和注意力引导机制，利用谱嵌入的技术将学生模型的特征空间与教师网络的关系和结构复杂性相融合，通过全局视角理解和利用特征集之间的动态关系，从而更准确地模仿教师模型的复杂结构性依赖关系，实验证明该方法在 C - 得分身份提炼：预先训练扩散模型的指数级快速提炼用于单步生成
我们引入了 Score identity Distillation（SiD），一种创新的无数据方法，将预训练扩散模型的生成能力提炼到一个单步生成器中。通过将前向扩散过程重构为半隐式分布，利用三个与分数相关的身份，创造了一种创新的损失机制。这 - 集合蒸馏技术扩展动作预测模型
通过将模型集成和精简技术相结合，本研究提出了一种改善受限计算预算下动作预测系统的方法，实验证明模型集成并将其精简成小型学生模型，能够以较低的计算成本保持高性能，从而提高对于具有限计算预算的机器人系统的预测模型精度。
- CVPRDeiT-LT 蒸馏对长尾数据集的视觉 Transformer 训练再次起效
利用 DeiT-LT 方案能够在长尾数据集上从头开始训练 ViT，并使用蒸馏 DIST 令牌通过在 ViT 架构中使用不同的令牌来学习对应于多数和少数类的特征。
- 加速基于扩散的盲超分辨率图像恢复与对抗性扩散蒸馏
AddSR 通过结合蒸馏和 ControlNet 的思想，提出了一种基于预测自优化策略和时间步自适应的损失函数的盲超分辨率方法，可以在更短的时间内生成更好的恢复结果。
- 大型语言模型（或人类）可以蒸馏文字吗？
调查大型语言模型在文本提炼中的潜力，利用不同架构和训练方法的语言模型识别和去除目标变量信息，以保留其他相关信号，并揭示这些模型在计算社会科学研究中处理文本数据时的优势和局限性。
- 从 SAM 提取语义先验，用于高效图像修复模型
通过融合和提取语义先验，我们提出了一个通用框架来改善图像恢复任务中的效果，同时提高模型的推理效率，并通过引入语义引导的关系模块来进一步改善恢复模型的性能。
- 解释性机器人行走的蒸馏强化学习策略：梯度提升机和符号回归
通过采用梯度提升机、可解释性提升机和符号回归的方法，将神经强化学习策略转化为透明的 “玻璃盒” 模型，用于提高控制策略的可解释性以及数据集聚合算法在行为克隆中的应用。
- 教师 - 学生训练用于去偏：大型语言模型的一般排列去偏
本论文研究了使用蒸馏技术将计算密集的、被消除偏见的教师模型的功能提炼到更紧凑的学生模型中，通过两种学生模型的探索，一种基于纯蒸馏的模型，另一种基于纠错方法用于更复杂的任务，学生模型纠正教师模型的单个有偏决策以达到无偏结果，并证明较小、仅编码 - AnimateDiff-Lightning：跨模型扩散蒸馏
通过使用渐进式对抗传播扩散调制，我们提出了 AnimateDiff-Lightning 模型用于快速生成视频，达到了最新的有限步视频生成技术。我们在该文中探讨了为适应视频模态所做的修改。此外，我们提出了同时精馏多个基础传播模型的概率流，从而 - MM模型蒸馏理论探索
蒸馏是用一个简化的模型替代复杂的机器学习模型的任务，该论文提出了蒸馏的一般理论，并应用该理论提出了新算法，可以高效地从训练好的神经网络中提取知识，将其蒸馏为简洁明确的决策树表示，并证明了蒸馏相比从头学习更廉价且复杂度有所减少。
- 预训练编码器中蒸馏在缓解后门中的有效性
本研究探索了在 SSL 中针对恶意编码器的一种叫作蒸馏的防御方法，蒸馏最初用于监督学习，其目的是从给定模型（即教师网络）中提取知识并传递给另一个模型（即学生网络），现在我们使用它来从被恶意植入的预训练编码器中提取良性知识并传递给一个新的编码