基于逻辑回归的集成分布蒸馏用于鲁棒性自回归序列不确定性

May, 2023

基于逻辑回归的集成分布蒸馏用于鲁棒性自回归序列不确定性

Logit-Based Ensemble Distribution Distillation for Robust Autoregressive Sequence Uncertainties

Yassir Fathullah, Guoxuan Xia, Mark Gales

TL;DR本研究考察了在大规模自然语言序列到序列数据中应用 Ensemble Distribution Distillation （EDD）来压缩昂贵的集成模型的优越性能为成本较低的单一模型的有效性，既能够分离知识（认识不一致性）和数据（随机数据）不确定性，还能解决大词汇量数据的复杂性，并在非分布式检测中表现出色。

Abstract

Efficiently and reliably estimating uncertainty is an important objective in deep learning. It is especially pertinent to autoregressive sequence tasks, where training and inference costs are typically very high. However, existing research has predominantly focused on tasks with static

uncertainty estimation autoregressive sequence tasks ensemble distribution distillation epistemic uncertainty large-scale translation tasks

发现论文，激发创造

组合分布蒸馏

该论文提出了一种名为 EnD^2 的新方法，它使用 Prior Networks 对模型的输出分布进行建模，并使单个模型保留了集成模型减少计算成本和提高分类性能的同时，还能保留集合多样性的信息，用于估计不确定性。该方法不仅可适用于人工数据集，还取得了在 CIFAR-10、CIFAR-100 和 TinyImageNet 数据集上优于其他方法的成果。

Apr, 2019

自我分布蒸馏：高效的不确定性估计

本研究提出了一种新颖的训练方法 S2D，它可以有效地训练出一个单一模型以估算不确定性，也可以构建这些模型的集合并应用分层集成蒸馏方法，结果显示 S2D 模型优于标准模型和 Monte-Carlo Dropout，甚至连标准深度集成都能被 S2D 集成和新型蒸馏模型超越。另外还进行了 LSUN、Tiny ImageNet 和 SVHN 的外分布检测实验。

Mar, 2022

集成分布蒸馏的通用框架

通过构建神经网络集成，可以更好地进行预测和不确定性估计，并将不确定性分解为数据不确定性和模型不确定性。本文提出了一种保持神经网络集成分解性质的蒸馏框架，其预测性能与标准蒸馏相当。

Feb, 2020

使用代理目标扩展集成分布蒸馏到多类问题

这篇论文提出了一种称为 “Ensemble Distribution Distillation” 的机器学习方法，通过训练 Dirichlet 分布来捕捉整个集成预测和不确定性估计。为了解决在大规模任务中 Dirichlet log-likelihood 的梯度问题，作者提出了一种新的训练目标来最小化 Ensemble Distribution Distillation 的反向 KL 散度，从而在 ImageNet 和 WMT17 En-De 数据集上展示了它的优越性。

May, 2021

基于一种狄利克雷分布混合的改进证据深度学习

该论文通过混合狄利克雷分布的变分推断来建模一致的目标分布，并通过学习得到的元分布模型提取目标模型中的学到的不确定性。实验证明我们提出的方法在各种基于不确定性的后续任务中具有优越性，并展示了学到的认知不确定性的一致性和不一致性带来的实际影响。

Feb, 2024

DUDES：利用集合的深度不确定性蒸馏进行语义分割

本研究介绍了一种新方法 Deep Uncertainty Distillation using Ensembles for Segmentation (DUDES)，它能够高效地进行深度神经网络的预测不确定性估计，而不会牺牲性能，以解决自动驾驶、医学图像和机器视觉应用中模型可靠性不足的问题。

Mar, 2023

针对自回归序列模型的广义知识蒸馏

本论文提出了一种推广的知识蒸馏方法，旨在解决在训练和生成阶段输出序列之间的差异，并通过优化替代的发散方法来处理模型不充分的问题。实验证明，Generalized Knowledge Distillation (GKD) 在压缩生成语言模型时表现优异。

Jun, 2023

多任务情绪识别中的迭代蒸馏提高不确定性估计

本研究通过采用贝叶斯观点，利用深度集成模型来捕捉多种情绪描述符，包括行动单位、离散表情标签和连续描述符，进而应用迭代自蒸馏技术，提出一种用于情绪识别的方法，并针对仅有单一情绪标签可用的情况下，实现情绪不确定性的建模和估计。实验结果表明，与 Temperature Scaling 和 Monte Carol Dropout 相比，我们的算法具有更可靠的不确定性估计。

Jul, 2021

证据深度学习中的不确定性知识

本文揭示了 Evidential Deep Learning（EDL）中由不确定性值产生的证据信号的存在，并通过理论和实证研究证明了 EDL 的不确定性与误分类偏差之间的关联，从而揭示出 EDL 对 loss functions 的耦合情况。

Oct, 2023

自监督语音模型的集成知识蒸馏

本文提出了一种多自监督语音模型集成的方法，通过使用层次平均聚合不同教师模型的表示，并为学生模型提出了多重预测头方法，从而大大提高了四个下游语音处理任务的性能，并在 SUPERB 基准的隐藏集轨道中取得了显著的成果。

Feb, 2023