ICLROct, 2022

投影增强：一种有效高效的蒸馏数据增强范式

PDF
TL;DR本文提出了一种名为 AugPro 的数据增强方法，通过在表示插值增强方法的基础上构建数据的多样性，并将增强数据转换为标记来避免转移决策边界，提高了蒸馏的性能并在计算效率上具有优势。
knowledge distillationdata augmentationaugproglue taskscomputational efficiency
发现论文，激发创造
  • 数据增强对知识蒸馏的影响

    本研究发现知识蒸馏与微调在数据增强方面的偏好不同，鼓励学者探索针对知识蒸馏的数据增强方法，且合适的语义漂移度（例如，更改 30% 的令牌通常是知识蒸馏的最佳选项），并发现对于小型数据集，较大的语义漂移度更加适合，直至出现超出分布的问题。

    May, 2023

  • 通过模型增强加速数据集蒸馏

    本研究旨在通过生成高质量的人工合成数据集，从而提高数据集的效率，我们提出了两种模型增强技术，使用早期模型和权重扰动学习具有显著减少培训成本的信息化合成集。实验结果表明，我们的方法达到了最先进的基线方法的速度提升达到 20 倍，并且性能相当。

    Dec, 2022

  • HARD：用于鲁棒蒸馏的强化增强

    本文介绍了一种称为 HARD 的数据增强框架，它使用数据增强技术改进了知识蒸馏 (KD) 的过程，并使得 KD 对于准确性、收敛速度和泛化能力都有了显著提高。

    May, 2023

  • 学习增强技术以提高数据缺乏领域的 BERT 知识蒸馏

    该论文提出一种基于交叉领域数据增强的 BERT 知识蒸馏方法，借助资源丰富的源域来自动优化增强策略和提高学生模型性能，实验证明该方法优于现有方法，且在数据稀缺领域中，即使只有少量标记样本，压缩后的学生模型性能也能优于原始的大型教师模型。

    Jan, 2021

  • 扩散模型在有效数据增强中的应用

    通过使用图像转图像的方法、以及预训练的文本到图像扩散模型将其参数化，解决了数据扩增过程中具有高级语义标注的动物种类等属性缺乏多样性的问题，并在少样本情境和杂草识别任务中得到实际应用。

    Feb, 2023

  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020

  • 一个类别一个提示：使用扩散模型进行数据集精炼

    利用生成式文本到图像模型的最新进展，我们引入了数据集精炼使用扩散模型 (D3M) 作为一种新的数据集精炼范式。通过文本反演技术，我们利用学习到的文本提示为大型数据集创建简洁且有信息量的表示，以在固定的内存预算内有效地存储和推理新样本，并通过在不同内存预算下在各种计算机视觉基准数据集上进行的广泛实验验证了我们方法的有效性。

    Mar, 2024

  • 使用领域针对性数据增强来提升知识蒸馏的鲁棒性

    本文介绍了一种基于知识蒸馏的方法和使用语言模型创建任务特定无标签数据增强来提高模型在 NLI 任务中的性能，在 out-of-distribution 方面的表现超过以前的方法。通过 Distilled Minority Upsampling 来鲁棒性提高了 SNLI-hard 的表现。

    May, 2023

  • 探索基于样本原型的软标签数据蒸馏对不平衡数据分类的潜力

    该研究以实际数据集为基础，探索一种简单的数据精炼技术在原型软标签精炼中的潜力，通过集成优化步骤以提高分类准确性，并对不平衡度不同的数据集进行实验验证，发现该方法在数据精炼和数据增强方面的能力。

    Mar, 2024

  • 知识蒸馏方法规避 AutoAugment 的异常值

    本文通过研究 AutoAugment 算法的工作机制发现其依赖于数据标签的问题，并采用知识蒸馏的方法来改进网络优化，实验结果表明我们的方法可以有效抑制数据扰动并提高准确率。

    Mar, 2020