dataset distillation | BriefGPT

关键词dataset distillation

搜索结果 - 80

ICLR行为蒸馏
行为压缩是一种旨在将大型数据集压缩为少数合成示例的方法，以用作在训练新模型时可直接替换使用。本文提出行为压缩的概念，并介绍了 HaDES 方法，它可以发现仅需包含四个状态 - 动作对的数据集，通过监督学习训练出在连续控制任务中表现竞争水平的
PDF8 days ago
组织病理学中的安全数据共享图像提炼
通过使用深度学习技术和数据集蒸馏方法，我们构建了一个小型合成数据集，其中包含最具信息量的人可读的合成图像，用于进行下游分类模型训练，并获得适用于实际应用的性能表现。
PDF10 days ago
层次特征的重要性：生成对抗网络先验的深入探索提升数据集蒸馏
通过在生成对抗网络中逐渐跨越初始潜在空间到最终像素空间，以及引入一个新的与类别相关的特征距离度量方法，我们提出了一种名为层次生成潜在蒸馏（H-GLaD）的新型参数化方法，用于在不同层次的层中系统地探索。实验证明，所提出的 H-GLaD 在相
PDF20 days ago
ICML多模态数据集精炼的低秩相似性挖掘
提出了一种用于多模态数据集精简的低秩相似度挖掘（LoRS）方法，通过同时挖掘图像 - 文本对中的准确相似度矩阵，并利用低秩因式分解实现高效和可伸缩性，在现有算法上取得了显著的改进，对于视觉语言数据集精简领域做出了重要贡献。
PDF23 days ago
ICML数据集蒸馏学习是什么？
数据集精炼是一种克服大数据集困难的策略，通过学习一组保留原始数据集关键信息的紧凑合成数据。研究中探讨了关于精炼数据的行为、代表性和逐点信息内容的三个问题，揭示了精炼数据不能在数据集精炼标准评估环境之外用于训练，但能通过压缩真实模型早期训练动
PDF23 days ago
BACON：基于贝叶斯优化的数据集精简框架
通过引入贝叶斯理论框架，提出了 BAyesian optimal CONdensation framework (BACON)，该框架提供了支持，用于提高数据集蒸馏的性能。验证了 BACON 在多个数据集上的优越性能，并证实了其与现有方法的
PDFa month ago
ICMLSelMatch: 通过选择基础初始化和轨迹匹配的部分更新有效扩展数据集蒸馏
SelMatch 是一种新颖的数据集精简方法，通过选择性初始化和轨迹匹配的部分更新，适应不同规模的 IPC，并在 CIFAR-10/100 和 TinyImageNet 数据集上从 5% 到 30% 的子集比率中始终胜过其他选择性筛选和仅精
PDFa month ago
GIFT：在接近零成本的缩减数据集中挖掘标签的全部潜力
近期关于数据集蒸馏的研究表明，采用预训练教师模型生成的软标签具有显著优势。本文从一个新的角度强调标签的充分利用。我们首先对用于数据集蒸馏的软标签利用的各种损失函数进行了全面比较，发现在合成数据集上训练的模型对于损失函数的选择具有很高的敏感性
PDFa month ago
FedCache 2.0：在知识缓存驱动的联邦学习中利用蒸馏数据的潜力
FedCache 2.0 是一种新颖的个性化边缘联合学习架构，通过将数据压缩为知识并以知识缓存的形式存储和组织，以及个体设备为中心的缓存抽样策略，解决了 Federated Edge Learning 在设备约束和设备 - 服务器交互方面的
PDFa month ago
课程数据蒸馏
本论文提出了一个基于课程设置的数据集蒸馏框架，通过将从简单到复杂的课程进行逐步蒸馏，合理处理合成图像的生成和评估，进一步利用对抗优化改进图像的代表性，提高其在不同神经网络体系结构下的泛化能力和抗噪性，实现了大规模数据集蒸馏的新突破。
PDFa month ago
CVPRATOM: 高效数据集提炼的关注力混合器
利用 ATtentiOn Mixer (ATOM) 模块在特征匹配过程中使用混合的通道和空间注意力，以有效地精炼大型数据集，从而在各种计算机视觉数据集中展现出卓越的性能。
PDF2 months ago
基于深度支持向量的实用数据集蒸馏
在实际场景中仅能访问整个数据集的一部分的情况下，我们提出了一种新的数据集提炼方法，通过添加深度 KKT（DKKT）损失来增强传统过程中的一般模型知识。在 CIFAR-10 数据集上的实验表明，我们的方法在实际设置下相较于基线分布匹配提炼方法
PDF2 months ago
CVPR生成式数据集精炼：平衡全局结构与局部细节
本文提出了一种新的数据集蒸馏方法，该方法在将大型数据集蒸馏为生成模型时考虑了全局结构和局部细节的平衡。
PDF2 months ago
自监督数据集压缩：压缩就是你所需的
基于模型信息性对原始数据集预训练的压缩阶段进行自我监督压缩，并利用大型预训练模型的潜力，提出了 SC-DD 框架，相对传统的监督学习方案，它在数据压缩和恢复方面带来了更多信息的压缩和恢复能力，并在 CIFAR-100、Tiny-ImageN
PDF3 months ago
CVPR利用样本间和特征间的关系进行数据集蒸馏
通过使用类居中约束和协方差匹配约束，提出的数据集精馏方法在解决分散特征分布和精确特征分布匹配两个主要限制方面表现出色，与相关方法相比，在 CIFAR10、SVHN、CIFAR100 和 TinyImageNet 上的性能提升分别达到最大为
PDF3 months ago
ACLDiLM：文本级数据集蒸馏中的将数据集蒸馏为语言模型
通过训练一个语言模型生成信息丰富的合成训练样本作为文本数据，我们提出了一种新颖的文本数据集精炼方法，称为 Distilling dataset into Language Model (DiLM)。我们在各种文本分类数据集上评估了 DiLM
PDF3 months ago
探索基于样本原型的软标签数据蒸馏对不平衡数据分类的潜力
该研究以实际数据集为基础，探索一种简单的数据精炼技术在原型软标签精炼中的潜力，通过集成优化步骤以提高分类准确性，并对不平衡度不同的数据集进行实验验证，发现该方法在数据精炼和数据增强方面的能力。
PDF3 months ago
探索数据集偏差对数据集提炼的影响
利用数据集正规化技术 (Dataset Distillation, DD) 生成小规模的合成数据集，探究数据集偏倚对 DD 性能的影响并提出应对方法，实验证明原始数据集中的偏倚显著影响合成数据集的性能，突出了在 DD 过程中识别和减轻偏倚的
PDF3 months ago
医疗数据集提炼的渐进式轨迹匹配
我们提出了一种新的医学图像数据集精华方法，通过设计新的渐进轨迹匹配策略提高了医学图像数据集精华的训练稳定性，并通过动态消除不同图像之间的重叠来改善合成数据集的多样性和最终性能，进而在各种模态和配置上建立了一个新的医学图像数据集精华基准，实验
PDF3 months ago
DD-RobustBench: 数据集提炼的敌对鲁棒性基准测试
数据集蒸馏是一种高级技术，旨在将数据集压缩为较小的对应物，同时保持强大的训练性能。本研究引入了一个全面的基准，用于评估统一方式下研究到目前为止最广泛的蒸馏数据集的对抗鲁棒性。通过结合更广泛的数据集蒸馏方法、包括 TESLA 和 SRe2L
PDF3 months ago