BriefGPT.xyz
Ask
alpha
关键词
sparse experience replay
搜索结果 - 4
ICLR
BERT 在连续任务中能否避免遗忘？一个探究研究
该研究发现预训练语言模型 BERT 能够在学习新任务时不需要稀疏经验回放外就能保留以前所学的知识，通过探究其机制并采用记忆重演方法能够有效减少任务增量学习中的遗忘。
PDF
a year ago
ACL
终身语言学习中选择性记忆群体有多大相关性？
本文探讨了稀疏经验回放对于对抗灾难性遗忘的长期语言学习的作用，特别是对于文本分类和问答任务中的样本采样策略对于模型性能的影响。作者发现，在随机存储整个数据流中的均匀数量的样本的方法下，模型表现高，特别适用低存储容量的情况，这与计算机视觉研究
→
PDF
2 years ago
利用稀疏经验回放进行元学习，实现终身语言学习
本文提出了一种基于元学习和稀疏经验回放的方法来实现连续学习，以避免深度学习模型在顺序学习任务时遗忘先前的知识。该方法在真实场景下实现了连续的文本分类和关系提取任务，并展示了其低计算和空间复杂度。
PDF
4 years ago
终身语言学习中的情景记忆
提出一种生命化语言学习的模型，其中采用了 “稀疏经验回放” 和 “本地适应” 以减轻灾难性遗忘，并将这种情况应用于文本分类和问题回答中，证明了这种模型的优越性，同时表明通过随机选择存储在内存中的样本可以大大减少经验记忆模块的空间复杂度，并认
→
PDF
5 years ago
Prev
Next