Oct, 2024

通过消除标签不一致性和学习模式精炼来增强数据集蒸馏

HTML
PDF
TL;DR本研究解决了数据集蒸馏中标签不一致性对模型性能的影响。提出的修改版难度对齐轨迹匹配方法通过去除软标签和缩小匹配范围，显著提升了合成数据集在模型训练中的有效性。最终在CIFAR-100和Tiny ImageNet数据集上的表现名列前茅，展示了该方法在数据集蒸馏领域的潜在影响。
发现论文，激发创造
  • 软标签数据集蒸馏及文本数据集蒸馏

    通过软标签同时提取图像和标签以减少数据集的大小，拓展算法至可用于文本数据，对于多个数据集和分类任务提高了2-4%的准确率。

    Oct, 2019

  • 通过匹配训练轨迹进行数据集蒸馏

    本研究提供了一种新的算法，使用合成数据集优化网络，可以快速、高效地将神经网络训练到与真实数据相似的状态，从而实现数据集精简化处理，并能够处理高分辨率视觉数据。

    Mar, 2022

  • 使用恒定内存扩展到ImageNet-1K的数据集蒸馏

    本文研究了一种名为MTT的数据集压缩方法，提出了一种内存和时间更高效的轨迹匹配算法TESLA，并且发现对于更大的数据集，为合成图像分配软标签至关重要。TESLA在ImageNet-1K数据集上实现了27.9%的测试准确率，要比之前的方法高出18.2%的较大优势。

    Nov, 2022

  • 最小化累积轨迹误差以提高数据集蒸馏

    本文提出了一种基于优化算法的Flat Trajectory Distillation（FTD）方法来缓解 distortion 和 subsequent evaluation 之间的累积轨迹误差，实验证明该方法可提高梯度匹配方法的性能，并适用于神经架构搜索。

    Nov, 2022

  • 基于难度对齐轨迹匹配的无损数据集蒸馏

    开发一种能随着合成数据集规模增长而保持有效的新型数据集精馏方法，通过早期或晚期的轨迹匹配，成功将轨迹匹配方法扩展到更大的合成数据集，首次实现了无损数据集精馏。

    Oct, 2023

  • 通过与平滑高质量专家轨迹的对齐实现高效的数据集精炼

    本文提出了一种数据集蒸馏的方法，通过集成剪断损失和梯度惩罚来调整专家轨迹参数的变化速率，并提出代表性初始化、均衡内环损失和权重摄动等增强策略，以解决现有方法在训练大型机器学习模型时存在的问题。实验结果表明，该方法在各种规模、大小和分辨率的数据集上明显优于之前的方法。

    Oct, 2023

  • 数据集精炼中，一个标签胜过千张图片

    数据质量是机器学习模型性能的关键因素，数据集精馏方法通过将训练数据集压缩为保持相似下游性能的较小版本来利用数据质量。通过剔除实验，我们发现当前最先进的精馏方法的性能取决于使用软标签而不是生成合成数据的具体技术。此外，我们还发现软标签的有效性与每类图像的数量之间存在经验性规律，挑战了传统的数据集精馏方法，并提出了改进精馏方法的新方向。

    Jun, 2024

  • 样本不应平等使用：理解和改善数据集蒸馏

    本研究针对数据集蒸馏（DD）中缺乏理论探索的问题，提出了一种样本难度的理解方法。通过对样本难度的实证分析，发现优先合成原始数据集中较易样本可以显著提高蒸馏数据集的质量，并引入了样本难度修正（SDC）方法，可作为现有技术的插件应用。实验结果显示，SDC在七种蒸馏方法和六个数据集上均能生成更高质量的蒸馏数据集。

    Aug, 2024

  • 基于第一原则的数据集蒸馏：整合核心信息提取和有目的的学习

    本研究解决了数据集蒸馏（DD）理论支持不足的问题，提出了一种正式的DD模型，强调了在个别应用中针对特定推断任务的优化问题的必要性。通过系统分析现有DD方法的优缺点，我们展示了DD在医学数据分析与物理信息神经网络等领域的新应用，可能对新技术的发展产生深远影响。

    Sep, 2024

  • 标签增强数据集蒸馏

    本研究解决了传统数据集蒸馏忽视标签作用的问题，提出了一种新的标签增强数据集蒸馏框架（LADD）。通过生成额外的密集标签，LADD显著提高了训练效率和准确性，实验结果显示其相较于现有方法在计算开销和准确性方面均有显著提升，平均准确率提高14.9%。

    Sep, 2024