May, 2023

使用领域针对性数据增强来提升知识蒸馏的鲁棒性

PDF
TL;DR本文介绍了一种基于知识蒸馏的方法和使用语言模型创建任务特定无标签数据增强来提高模型在 NLI 任务中的性能，在 out-of-distribution 方面的表现超过以前的方法。通过 Distilled Minority Upsampling 来鲁棒性提高了 SNLI-hard 的表现。
knowledge distillationlanguage modelout-of-distributionnatural language inferenceminority upsampling
发现论文，激发创造
  • 学习增强技术以提高数据缺乏领域的 BERT 知识蒸馏

    该论文提出一种基于交叉领域数据增强的 BERT 知识蒸馏方法，借助资源丰富的源域来自动优化增强策略和提高学生模型性能，实验证明该方法优于现有方法，且在数据稀缺领域中，即使只有少量标记样本，压缩后的学生模型性能也能优于原始的大型教师模型。

    Jan, 2021

  • 数据增强对知识蒸馏的影响

    本研究发现知识蒸馏与微调在数据增强方面的偏好不同，鼓励学者探索针对知识蒸馏的数据增强方法，且合适的语义漂移度（例如，更改 30% 的令牌通常是知识蒸馏的最佳选项），并发现对于小型数据集，较大的语义漂移度更加适合，直至出现超出分布的问题。

    May, 2023

  • BERT 无监督领域自适应的知识蒸馏

    利用 BERT 预训练语言模型，结合领域适应性方法和知识蒸馏算法，提出了一种简单而有效的无监督领域适应方法，称为对抗适应与蒸馏，在 30 个领域对跨领域情感分类的任务中取得了最先进的性能。

    Oct, 2020

  • 从视觉语言基础模型中提取出超出分布鲁棒性

    通过知识蒸馏和数据增强的结合，提出了一个概念简单且轻量级的框架来提高视觉模型的鲁棒性。通过从预训练的基础模型进行蒸馏，我们得出了大型模型并不一定会成为更好的教师的推测并在分布外鲁棒性上取得了显著的改进。基于这一发现，我们提出了离散对抗蒸馏（DAD）的方法，利用鲁棒的教师生成对抗样本并使用 VQGAN 对其离散化，相比于标准的数据增强技术，生成的样本更具信息量。我们提供了一个理论框架来解释在具有数据增强的知识蒸馏中使用鲁棒的教师，并在不同的学生架构中展示了分布外鲁棒性和净精确度的显著改进。值得注意的是，我们的方法与类似技术相比只增加了较小的计算开销，并且可以轻松与其他数据增强技术结合以进一步提高性能。

    Nov, 2023

  • 小数据场景中高效自然语言理解的生成 - 蒸馏方法

    通过 generation-distillation 训练方法，利用大型 fine-tuned 语言模型生成无标签训练数据，通过知识蒸馏技术将这些数据的知识转移给小型网络，从而缩小了预先训练 LM 和小型特定任务模型之间的性能差距，实现了使用更少的参数（仅为 BERT 的 300 倍）达到与 BERT 可比的性能。

    Jan, 2020

  • 知识蒸馏传递集及其对下游 NLU 任务的影响

    本文研究了采用不同数据集训练的应用领域教师和泛化语言模型辅导学生学习的关系，并发现即使存在较高噪声，使用应用领域数据进行辅导仍然比使用泛化数据表现更好。

    Oct, 2022

  • 知识适应：教授如何适应

    本研究提出一种基于知识蒸馏的领域自适应技术，针对多源无监督情感分析数据集，在考虑多个教师及其领域专业性的基础上，实现了最优结果，并提出一种可信度度量方法，用于选择高置信度示例及解决单一源情况下的领域适应问题。

    Feb, 2017

  • 基于伪目标训练的语言生成知识蒸馏系统研究

    研究自然语言生成（NLG）中的知识蒸馏技术优化模型并生成具体的文本任务，提出伪目标（PT）数据增强方法并应用于双方产生的多个 PT 的词级 KD，从而有效地压缩模型。

    May, 2023

  • 基于 LLM 的隐私数据增强在医疗文本分类中以分布教师为引导的知识蒸馏

    基于差分隐私的数据增强方法提供了隐私保护和文本分类在私有领域的测验。

    Feb, 2024

  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020