Sep, 2024

基于第一原则的数据集蒸馏：整合核心信息提取和有目的的学习

HTML
PDF
TL;DR本研究解决了数据集蒸馏（DD）理论支持不足的问题，提出了一种正式的DD模型，强调了在个别应用中针对特定推断任务的优化问题的必要性。通过系统分析现有DD方法的优缺点，我们展示了DD在医学数据分析与物理信息神经网络等领域的新应用，可能对新技术的发展产生深远影响。
发现论文，激发创造
  • 数据集精炼综述：方法、应用与未来方向调查

    该篇研究论文综述了数据集蒸馏的方法、应用和挑战，并提出了数据集内部信息密度的概念，旨在为后续的研究方向提供参考。

    May, 2023

  • 预训练模型是否能在数据集精炼中提供帮助？

    数据集精炼（DD）是一种将大规模原始数据集的知识封装到小型合成数据集中进行高效训练的突出技术。与此同时，预训练模型（PTMs）作为知识库具有从原始数据集中获取的广泛信息。我们通过初步实验验证了PTMs对DD的贡献，然后系统研究了PTMs的不同选项，包括初始化参数、模型架构、训练周期和领域知识，揭示了：1）增加模型多样性可以提高合成数据集的性能；2）次优模型在某些情况下可以辅助DD并超过训练充分的模型；3）DD并不一定需要特定的领域PTMs，但合理的领域匹配至关重要。最后，通过选择最佳选项，我们显著提高了基线DD方法的跨体系结构泛化能力。我们希望我们的工作能帮助研究人员开发更好的DD技术。

    Oct, 2023

  • 简单数据集压缩

    通过 RaT-BPTT 方法解决数据集精炼的核心问题，从而建立起一种新的数据集精炼技术，用于生成包含近乎最佳性能子集的精炼数据集。

    Nov, 2023

  • MIM4DD：数据集精炼的互信息最大化

    我们引入互信息作为衡量合成数据集与真实数据集之间共享信息量的度量标准，并通过对比学习框架内的新设计的可优化目标来数值化地最大化互信息，从而更新合成数据集。实验证明，这种方法可以作为现有先进方法的附加模块来实现数据集精简。

    Dec, 2023

  • 组分布稳健数据集蒸馏及风险最小化

    通过结合聚类和风险度量的最小化算法，实现数据集精炼，具备对子群体的有效泛化和稳健性，为解决合成数据集在面对低人口密度地区样本时表现优秀的问题提供了理论依据和数值实验验证。

    Feb, 2024

  • 改进数据集精炼的跨架构泛化

    使用模型池方法进行数据蒸馏，结合知识蒸馏技术进行测试，从而创造出小规模合成数据集，在性能上表现优于现有方法。

    Feb, 2024

  • 模型蒸馏理论探索

    蒸馏是用一个简化的模型替代复杂的机器学习模型的任务，该论文提出了蒸馏的一般理论，并应用该理论提出了新算法，可以高效地从训练好的神经网络中提取知识，将其蒸馏为简洁明确的决策树表示，并证明了蒸馏相比从头学习更廉价且复杂度有所减少。

    Mar, 2024

  • 探索数据集偏差对数据集提炼的影响

    利用数据集正规化技术(Dataset Distillation, DD)生成小规模的合成数据集，探究数据集偏倚对DD性能的影响并提出应对方法，实验证明原始数据集中的偏倚显著影响合成数据集的性能，突出了在DD过程中识别和减轻偏倚的必要性。

    Mar, 2024

  • BACON：基于贝叶斯优化的数据集精简框架

    通过引入贝叶斯理论框架，提出了BAyesian optimal CONdensation framework (BACON)，该框架提供了支持，用于提高数据集蒸馏的性能。验证了BACON在多个数据集上的优越性能，并证实了其与现有方法的无缝集成，从而提升了数据集蒸馏任务的性能。

    Jun, 2024

  • 样本不应平等使用：理解和改善数据集蒸馏

    本研究针对数据集蒸馏（DD）中缺乏理论探索的问题，提出了一种样本难度的理解方法。通过对样本难度的实证分析，发现优先合成原始数据集中较易样本可以显著提高蒸馏数据集的质量，并引入了样本难度修正（SDC）方法，可作为现有技术的插件应用。实验结果显示，SDC在七种蒸馏方法和六个数据集上均能生成更高质量的蒸馏数据集。

    Aug, 2024