distilled data | BriefGPT - AI 论文速递

关键词distilled data

搜索结果 - 6

ICML数据集蒸馏学习是什么？
数据集精炼是一种克服大数据集困难的策略，通过学习一组保留原始数据集关键信息的紧凑合成数据。研究中探讨了关于精炼数据的行为、代表性和逐点信息内容的三个问题，揭示了精炼数据不能在数据集精炼标准评估环境之外用于训练，但能通过压缩真实模型早期训练动
PDFa month ago
稀疏神经网络中的线性模式连接
通过使用合成数据进行神经网络剪枝，我们发现在使用迭代幅度剪枝（IMP）时，与真实数据 IMP 所找到的次网络相比，与真实数据中的 SGD 噪声更稳定的新型稀疏网络类。通过线性插值、损失面可视化和测量海森矩阵的对角线进行研究，我们发现这些性质
PDF8 months ago
降低数据集蒸馏中的架构过拟合
通过提出一系列的方法，本文解决了基于特定网络结构训练的合成训练数据在其他网络结构中训练时性能变差的问题，从而提高了在不同网络结构上通过合成训练数据的泛化性能。通过广泛的实验证明了我们的方法的有效性和通用性。
PDF10 months ago
ICCV重新思考数据精炼：不要忽视校准
神经网络在蒸馏数据上训练往往会产生过于自信的输出，需要通过温度标定和混合等校准方法进行修正。然而，现有的校准方法对于在大型源数据蒸馏产生的网络并不适用。本文显示，由于最大逻辑概率的分布更集中以及语义有意义但与分类任务无关的信息的丢失，蒸馏数
PDFa year ago
蒸馏修剪：使用合成数据赢得彩票
利用精炼数据来修剪深度学习模型的新方法，通过捕捉精髓模式并利用其能力实现资源高效的神经网络修剪、模型压缩和神经架构搜索。
PDFa year ago
精简一次性联合学习
提出了 Distilled One-Shot Federated Learning (DOSFL) 算法，通过数据集精炼和一次迭代来减少模型权重的通信量和传播轮数，达到与传统方法相当的性能和高达三个数量级的通信效率。
PDF4 years ago