BriefGPT.xyz
Sep, 2023
神经概率先验词嵌入
Word Embedding with Neural Probabilistic Prior
HTML
PDF
Shaogang Ren, Dingcheng Li, Ping Li
TL;DR
改进词表示学习，我们提出了一种概率先验，它可以无缝地与词嵌入模型集成。不同于先前的方法，词嵌入被看作是一种概率生成模型，它使我们能够对词表示学习施加先验进行正则化。所提出的先验不仅增强了嵌入向量的表示，还提高了模型的鲁棒性和稳定性。该先验的结构简单而有效，可以很容易地实现并灵活地插入到大多数现有的词嵌入模型中。广泛的实验证明了所提出的方法在各种任务上改善了词表示。
Abstract
To improve
word representation learning
, we propose a
probabilistic prior
which can be seamlessly integrated with
word embedding models
. D
→