May, 2021
基于统计力学的教师 - 学生网络连续学习中的灾难性遗忘分析
Statistical Mechanical Analysis of Catastrophic Forgetting in Continual Learning with Teacher and Student Networks
Haruka Asanuma, Shiro Takagi, Yoshihiro Nagano, Yuki Yoshida, Yasuhiko Igarashi...
TL;DR本研究利用师生学习理论框架分析了连续学习训练中避免 “灾难性遗忘” 的问题,发现输入分布相似性小和目标函数的输入输出关系相似性大时,可以有效避免 “灾难性遗忘”,研究结果还揭示了一种特征现象称为超调现象。