dataset distillation | BriefGPT

关键词dataset distillation

搜索结果 - 86

CVPRD$^4$M：通过解缠结扩散模型进行数据集蒸馏
经验观察表明，限制真实和合成图像空间的一致性将增强跨架构泛化。基于此，我们引入了通过分散扩散模型进行数据集精馏的 D^4M 框架，它是一种高效的数据集精馏方法。与依赖于网络结构的方法相比，D^4M 使用潜在扩散模型来保证一致性，并将标签信息
PDF7 days ago
ECCV自动训练路径下的数据集蒸馏
Dataset Distillation 中通过使用合成数据集以代替原始数据集进行训练，我们提出了一种新的方法 ——Automatic Training Trajectories (ATT)，动态自适应地调整轨迹长度以解决累积不匹配问题 (
PDF9 days ago
DDFAD：音频数据的数据集蒸馏框架
基于深度神经网络的数据集提炼框架用于音频数据，通过匹配培训轨迹提炼方法提取 FD-MFCC 作为音频数据的特征，并基于 Griffin-Lim 算法提供音频信号重构算法。DDFAD 在各种音频数据集上展示了其有效性，并在持续学习和神经架构搜
PDF13 days ago
ECCVFYI：图像翻转用于数据集蒸馏
通过在当前方法和实际数据集上进行广泛分析，我们提供了两个重要的事实，即实际图像数据集中出现在一侧的目标部分很可能在另一幅图像的相反一侧出现，这被称为双边等价性；为了解决此问题，我们引入了一种名为 FYI 的技术，它能够将真实图像的丰富语义融
PDF17 days ago
ECCV基于主动学习的自适应采样的数据集量化
我们通过提出一种新的主动学习的自适应采样策略（DQAS）来优化样本选择，同时使用来自数据集量化的最终阶段的特征空间来生成更精确的数据集区间。我们对多个数据集进行了全面评估，结果表明我们的方法优于现有的数据集压缩方法。
PDF19 days ago
稳定且存储有效的数据集蒸馏：匹配凸化轨迹
通过对目标函数进行简单的转换和利用 MCT （Matching Convexified Trajectory）方法，研究论文发现 MTT 方法存在的三个主要问题：Stochastic Gradient Descent（SGD）生成的专家轨迹
PDFa month ago
ICLR行为蒸馏
行为压缩是一种旨在将大型数据集压缩为少数合成示例的方法，以用作在训练新模型时可直接替换使用。本文提出行为压缩的概念，并介绍了 HaDES 方法，它可以发现仅需包含四个状态 - 动作对的数据集，通过监督学习训练出在连续控制任务中表现竞争水平的
PDFa month ago
组织病理学中的安全数据共享图像提炼
通过使用深度学习技术和数据集蒸馏方法，我们构建了一个小型合成数据集，其中包含最具信息量的人可读的合成图像，用于进行下游分类模型训练，并获得适用于实际应用的性能表现。
PDFa month ago
层次特征的重要性：生成对抗网络先验的深入探索提升数据集蒸馏
通过在生成对抗网络中逐渐跨越初始潜在空间到最终像素空间，以及引入一个新的与类别相关的特征距离度量方法，我们提出了一种名为层次生成潜在蒸馏（H-GLaD）的新型参数化方法，用于在不同层次的层中系统地探索。实验证明，所提出的 H-GLaD 在相
PDF2 months ago
ICML多模态数据集精炼的低秩相似性挖掘
提出了一种用于多模态数据集精简的低秩相似度挖掘（LoRS）方法，通过同时挖掘图像 - 文本对中的准确相似度矩阵，并利用低秩因式分解实现高效和可伸缩性，在现有算法上取得了显著的改进，对于视觉语言数据集精简领域做出了重要贡献。
PDF2 months ago
ICML数据集蒸馏学习是什么？
数据集精炼是一种克服大数据集困难的策略，通过学习一组保留原始数据集关键信息的紧凑合成数据。研究中探讨了关于精炼数据的行为、代表性和逐点信息内容的三个问题，揭示了精炼数据不能在数据集精炼标准评估环境之外用于训练，但能通过压缩真实模型早期训练动
PDF2 months ago
BACON：基于贝叶斯优化的数据集精简框架
通过引入贝叶斯理论框架，提出了 BAyesian optimal CONdensation framework (BACON)，该框架提供了支持，用于提高数据集蒸馏的性能。验证了 BACON 在多个数据集上的优越性能，并证实了其与现有方法的
PDF2 months ago
ICMLSelMatch: 通过选择基础初始化和轨迹匹配的部分更新有效扩展数据集蒸馏
SelMatch 是一种新颖的数据集精简方法，通过选择性初始化和轨迹匹配的部分更新，适应不同规模的 IPC，并在 CIFAR-10/100 和 TinyImageNet 数据集上从 5% 到 30% 的子集比率中始终胜过其他选择性筛选和仅精
PDF2 months ago
GIFT：在接近零成本的缩减数据集中挖掘标签的全部潜力
近期关于数据集蒸馏的研究表明，采用预训练教师模型生成的软标签具有显著优势。本文从一个新的角度强调标签的充分利用。我们首先对用于数据集蒸馏的软标签利用的各种损失函数进行了全面比较，发现在合成数据集上训练的模型对于损失函数的选择具有很高的敏感性
PDF2 months ago
FedCache 2.0：在知识缓存驱动的联邦学习中利用蒸馏数据的潜力
FedCache 2.0 是一种新颖的个性化边缘联合学习架构，通过将数据压缩为知识并以知识缓存的形式存储和组织，以及个体设备为中心的缓存抽样策略，解决了 Federated Edge Learning 在设备约束和设备 - 服务器交互方面的
PDF2 months ago
课程数据蒸馏
本论文提出了一个基于课程设置的数据集蒸馏框架，通过将从简单到复杂的课程进行逐步蒸馏，合理处理合成图像的生成和评估，进一步利用对抗优化改进图像的代表性，提高其在不同神经网络体系结构下的泛化能力和抗噪性，实现了大规模数据集蒸馏的新突破。
PDF2 months ago
CVPRATOM: 高效数据集提炼的关注力混合器
利用 ATtentiOn Mixer (ATOM) 模块在特征匹配过程中使用混合的通道和空间注意力，以有效地精炼大型数据集，从而在各种计算机视觉数据集中展现出卓越的性能。
PDF3 months ago
基于深度支持向量的实用数据集蒸馏
在实际场景中仅能访问整个数据集的一部分的情况下，我们提出了一种新的数据集提炼方法，通过添加深度 KKT（DKKT）损失来增强传统过程中的一般模型知识。在 CIFAR-10 数据集上的实验表明，我们的方法在实际设置下相较于基线分布匹配提炼方法
PDF3 months ago
CVPR生成式数据集精炼：平衡全局结构与局部细节
本文提出了一种新的数据集蒸馏方法，该方法在将大型数据集蒸馏为生成模型时考虑了全局结构和局部细节的平衡。
PDF3 months ago
自监督数据集压缩：压缩就是你所需的
基于模型信息性对原始数据集预训练的压缩阶段进行自我监督压缩，并利用大型预训练模型的潜力，提出了 SC-DD 框架，相对传统的监督学习方案，它在数据压缩和恢复方面带来了更多信息的压缩和恢复能力，并在 CIFAR-100、Tiny-ImageN
PDF4 months ago