Apr, 2017
作为正则化器的表示稳定性,用于改进文本分析的迁移学习
Representation Stability as a Regularizer for Improved Text Analytics Transfer Learning
Matthew Riemer, Elham Khabiri, Richard Goodwin
TL;DR使用基于蒸馏思想的多任务目标和相应机制解决神经网络在序列迁移学习任务中的灾难性遗忘问题,并在 Twitter 情感分析任务上进行了演示,表明该技术优于 fine-tuning,并且能够不遗忘有用的先前知识。