Sep, 2023

高效在线主动蒸馏的查询策略

PDF
TL;DR通过评估一组查询策略，在人体姿势估计应用中，通过两种方法（离线方法和基于知识蒸馏的在线评估）评估训练过程中所选择的帧对训练结果的影响，证明了在实时场景中有效地将边缘轻量级模型适应于新环境的训练的可能性。
发现论文，激发创造
  • 在线知识蒸馏用于高效姿态估计

    本文提出了一种新型的在线知识蒸馏方法 OKDHP，通过多分支网络和特征聚合单元以及像素级 Kullback-Leibler 散度来保证人体姿态估计的效率和准确性。实验结果表明，该方法在 MPII 和 COCO 数据集上表现良好。

    Aug, 2021

  • 在线蒸馏实现的大规模分布式神经网络训练

    本文介绍了一种相对简单易用的基于在线蒸馏的神经网络训练优化方法，该方法使得我们能够在使用大规模数据集时提升模型精度并提高训练速度，同时在成本较低的情况下显著提高模型的预测可复现性。

    Apr, 2018

  • 弹性异构计算资源下的大规模知识蒸馏

    本文提出了一种基于弹性计算资源的深度学习压缩方法，即 EDL-Dist，可用于从大型深度模型创建紧凑的学生模型，支持训练和推理过程的容错性，并且其吞吐量比在线知识蒸馏基准方法提高了 3.125 倍，而精度相当或更高。

    Jul, 2022

  • 基于在线蒸馏的伪相关反馈

    本文研究在在线情况下是否可以从神经重排结果中有效地提取特定查询的模型，并发现在线提取的词汇模型能够在索引上有效地执行。通过识别在第一检索阶段被忽略的文档，第二检索阶段可以丰富重新排序文档的池。实证研究表明，这种方法与假反馈技术、密集检索方法和稀疏 - 密集集成方法相比，表现出优越性。

    Jun, 2023

  • 高效视频特定人体姿势估计的主动迁移学习

    采用主动学习和迁移学习相结合的方法，通过量化评估标准来有效地提高人体姿势估计器的学习效率，并解决训练和测试数据之间的领域差异问题。实验证明，该方法提升了学习效率，并胜过了比较方法。

    Nov, 2023

  • 在线模型蒸馏以提高视频推断的效率

    该文研究使用模型蒸馏技术将低成本的语义分割模型专门应用于目标视频流，使模型接近高成本模型的准确性，并在推断运行时具有更低的成本以及更好的稳定性。

    Dec, 2018

  • 鲁棒主动蒸馏

    通过游戏论的形式，提供了一种无需超参数，能够同时提供准确且充分信息的软标签，从而显著提高了现有主动学习与主动知识蒸馏方法的效果。

    Oct, 2022

  • 深度主动学习：查询和训练的统一原则方法

    提出了一种基于 Wasserstein 距离的深度批量主动学习的统一且原则性的方法，其中包括通过替代优化来优化深度神经网络参数和批处理查询选择的理论分析，以及指示查询批处理选择中明确的不确定性 - 多样性权衡的原则，最终在不同的基准测试中评估了所提出的方法，并与基线相比，展现出更好的性能和更好的时间效率。

    Nov, 2019

  • 查询策略基准测试：走向未来的深度主动学习

    本研究对深度主动学习（DAL）的查询策略进行了基准测试，以减少注释成本。通过开发标准化的实验设置，研究了各种查询策略在六个数据集上的有效性，并使用完全训练的模型进行验证实验，探究了这些方法对这六个数据集的有效性。

    Dec, 2023

  • 在线多样化同行中的知识蒸馏

    本文提出了一种双层蒸馏网络框架 OKDDip，其中包括多个辅助对等体和一个领导群体，辅助对等体通过注意力机制获取自己的预测目标，来作为组群内部的目标进行蒸馏学习，然后再将知识传递给领导群体，实现知识转移。实验结果表明，该框架在训练或推理复杂度上不会牺牲性能，相较于现有方法，可以提供更好的蒸馏效果。

    Dec, 2019