ICCVJul, 2021

多任务情绪识别中的迭代蒸馏提高不确定性估计

PDF
TL;DR本研究通过采用贝叶斯观点，利用深度集成模型来捕捉多种情绪描述符，包括行动单位、离散表情标签和连续描述符，进而应用迭代自蒸馏技术，提出一种用于情绪识别的方法，并针对仅有单一情绪标签可用的情况下，实现情绪不确定性的建模和估计。实验结果表明，与 Temperature Scaling 和 Monte Carol Dropout 相比，我们的算法具有更可靠的不确定性估计。
emotion uncertaintydeep ensemblesiterative self-distillationemotion recognitionuncertainty estimation
发现论文，激发创造
  • 自我分布蒸馏：高效的不确定性估计

    本研究提出了一种新颖的训练方法 S2D，它可以有效地训练出一个单一模型以估算不确定性，也可以构建这些模型的集合并应用分层集成蒸馏方法，结果显示 S2D 模型优于标准模型和 Monte-Carlo Dropout，甚至连标准深度集成都能被 S2D 集成和新型蒸馏模型超越。另外还进行了 LSUN、Tiny ImageNet 和 SVHN 的外分布检测实验。

    Mar, 2022

  • 通过改进蒸馏技术实现高效的评估时不确定性估计

    该研究旨在通过修改知识蒸馏过程，获取计算有效的深度网络不确定性估计，并在包括以及超出分布样本中实现最先进的不确定性估计。

    Jun, 2019

  • 使用话语特定狄利克雷先验估计情感类别标签的不确定性

    本文提出了一种基于贝叶斯训练损失的情感识别法，该方法可以对不同情感类别的独热标签下的不确定性进行建模，在基于独热标签的情感分类基础上进行了进一步的改进，进而实现了在单语音情感分类中的最先进结果。

    Mar, 2022

  • DUDES：利用集合的深度不确定性蒸馏进行语义分割

    本研究介绍了一种新方法 Deep Uncertainty Distillation using Ensembles for Segmentation (DUDES)，它能够高效地进行深度神经网络的预测不确定性估计，而不会牺牲性能，以解决自动驾驶、医学图像和机器视觉应用中模型可靠性不足的问题。

    Mar, 2023

  • 处理情绪中的模糊性：从领域外检测到分布估计

    通过运用证据深度学习的方法，本文研究了处理模糊情感的三种方法。我们发现将没有多数一致标签的话语作为分类器的额外类别会降低其他情感类别的分类性能。然后，我们提出通过量化情感分类的不确定性来检测具有模糊情感的话语，将其视为域外样本。这种方法可以保持分类准确性同时有效地检测模糊情感表达。此外，为了获得模糊情感的细粒度区分，我们提出以分布形式表示情感，而非单一类别标签。因此，任务从分类重新定义为分布估计，考虑每个个体标注而非仅仅多数意见。证据不确定性度量方法被扩展用于量化情感分布估计中的不确定性。在 IEMOCAP 和 CREMA-D 数据集上的实验结果证明了所提出方法在多数类别预测、情感分布估计和不确定性估计方面的卓越能力。

    Feb, 2024

  • 组合分布蒸馏

    该论文提出了一种名为 EnD^2 的新方法，它使用 Prior Networks 对模型的输出分布进行建模，并使单个模型保留了集成模型减少计算成本和提高分类性能的同时，还能保留集合多样性的信息，用于估计不确定性。该方法不仅可适用于人工数据集，还取得了在 CIFAR-10、CIFAR-100 和 TinyImageNet 数据集上优于其他方法的成果。

    Apr, 2019

  • 教学中的不确定性：释放目标检测知识蒸馏的潜力

    提出一种基于特征的知识不确定性蒸馏范式，能够与现有的蒸馏方法无缝集成，通过蒙特卡洛 dropout 技术引入知识不确定性，提高学生模型对潜在知识的探索能力，并在目标检测任务中获得有效性验证。

    Jun, 2024

  • 基于逻辑回归的集成分布蒸馏用于鲁棒性自回归序列不确定性

    本研究考察了在大规模自然语言序列到序列数据中应用 Ensemble Distribution Distillation （EDD）来压缩昂贵的集成模型的优越性能为成本较低的单一模型的有效性，既能够分离知识（认识不一致性）和数据（随机数据）不确定性，还能解决大词汇量数据的复杂性，并在非分布式检测中表现出色。

    May, 2023

  • 集成分布蒸馏的通用框架

    通过构建神经网络集成，可以更好地进行预测和不确定性估计，并将不确定性分解为数据不确定性和模型不确定性。本文提出了一种保持神经网络集成分解性质的蒸馏框架，其预测性能与标准蒸馏相当。

    Feb, 2020

  • 自知力蒸馏用于学习模糊性

    通过自知力蒸馏方法，有效地解决了语言模型在面对多义样本时过于自信地错误预测单一标签的问题，并通过重新校准置信度，在生成更好的标签分布上取得了显著的改进。同时，该方法相对于现有方法在训练模型时更高效，无需额外的训练过程来完善标签分布。

    Jun, 2024