Modern neural networks (NNs), trained on extensive raw sentence data,
construct distributed representations by compressing individual words into
dense, continuous, high-dimensional vectors. These representations
本文研究了词表示应该包含分布式和关系语义这一假设。为此,我们使用 Alternating Direction Method of Multipliers (ADMM),它可以灵活地在原始文本上优化分布式目标和 WordNet 上的关系目标。初步结果表明,在一些情况下,在两种目标上训练的词表示可以改进知识库完成、类比测试和解析等方面。