Jan, 2013

神经语言模型的正则化和非线性:何时需要?

TL;DR通过对比具有不同模型结构的 LMs 在少量和大量数据上的表现,分析 RNNs 和 IRLMs 的性能优劣,展示 IRLMs 的一些优点与缺陷,并提出了一种基于 long-context units 的 LM 模型,通过该模型在 Microsoft Research Sentence Completion 数据上最高可以达到 60.8% 的性能。