Jun, 2023

关于 NADO 的组合性与改进训练

TL;DR本文提出了 NeurAlly-Decomposed Oracle(NADO)方法,以避免大型基础模型的灾难性忘却,同时保证收敛到一个熵最大化的 closed-form solution,提高了训练效果。同时,针对多个控制信号的组合和低概率控制信号下的梯度消失等问题提出了改进措施。