We consider the problem of fully unsupervised learning of grammatical
(part-of-speech) categories from unlabeled text. The standard
maximum-likelihood hidden markov model for this task performs poorly, because
of
本文提出了一个新的对于词性识别的方法，将词标签和上下文之间的互信息最大化来进行词性归纳。作者聚焦于两个适用于随机梯度下降的训练目标：一种对于经典的 Brown 聚类目标的新的泛化方法和一种最近提出的变分下限。尽管这两个方法都会受到梯度更新噪声的影响，但是作者通过分析及实验表明，变分下限方法更加鲁棒，而广义 Brown 目标则更加容易受到影响。作者提出了一个简单的框架来编码词汇和上下文，并在多个数据集和语言中实现了竞争性的性能。