动态词向量
该研究通过发展一种动态统计模型学习时态感知的词向量表示,并实现了 “对齐问题” 的解决,从而可以可靠地捕捉时间上的语言演变,并在语义准确性和对齐质量方面持续优于现有的时间嵌入方法。
Mar, 2017
该研究通过概率隐变量序列模型,使用前向算法实现连续状态 Kalman 滤波器来学习单词的表示。通过 EM 算法准确地优化参数,使用所学习到的单词嵌入作为标记任务的特征,在标记任务中实现显著的准确度改进,并通过线性递归神经网络通过我们的模型的参数来初始化非线性递归神经网络语言模型,降低了其训练时间和困惑度。
Feb, 2015
本文提出了一种新的生成模型,将先验用于计算词汇统计量的闭合形式表达式,从而为非线性模型提供了理论上的证明,并帮助解释了低维度语义嵌入中线性代数结构的存在,以及解决了词汇类比问题。
Feb, 2015
该研究介绍了一种将单词作为概率密度嵌入低维空间的方法,该 Bayesian 模型通过生成来自每个给定单词的单词特定先验密度,从而可以获得上下文特定的密度以及用于词汇替换任务的有效估算方法。
Nov, 2017
本文提出了一个统一动态嵌入模型,它能学习属性特定的单词嵌入,在历史语料库中调查了性别、种族和难民等方面的偏见。结果发现,动态嵌入模型与独立向量空间模型相比,在表示语言偏见方面更具优越性或更劣。
Apr, 2019
本文介绍了一种基于可扩展的贝叶斯神经词嵌入算法,该算法依赖于 Skip-Gram 目标的变分贝叶斯解决方案,并提供了详细的步骤描述。我们在六个不同的数据集上展示实验结果,说明该算法在词类比和相似性任务上的表现与原始 Skip-Gram 方法相当。
Mar, 2016
该研究采用动态主题模型和词嵌入模型组合设计了一种动态嵌入主题模型,通过向每个时间步长中的嵌入表示赋值主题,该模型能够学习到平滑的主题轨迹,并在三个不同的语料库上发现,在文档完成任务中,该模型优于动态 LDA,而且比 LDA 更易于训练。
Jul, 2019