将分配和关系语义融合到单词表示中
本文研究了词表示应该包含分布式和关系语义这一假设。为此,我们使用 Alternating Direction Method of Multipliers (ADMM),它可以灵活地在原始文本上优化分布式目标和 WordNet 上的关系目标。初步结果表明,在一些情况下,在两种目标上训练的词表示可以改进知识库完成、类比测试和解析等方面。
Dec, 2014
本文提出了一种基于不同主题学习单词的多个分布式表示的分布式语义模型,该模型通过不同主题训练不同的 DSM,然后将每个基于主题的 DSM 对齐到一个公共向量空间,实现了最先进的上下文词语相似性任务,并且在 NLP 下游任务中表现出比单一原型模型更好的性能。
Apr, 2019
提出了一种在多语种情况下学习分布式表征的方法,该方法将分配相似的嵌入对齐句子,并分配不对齐的句子不相似的嵌入,模型学习到的表征具有语义信息,能够应用于跨语种文档分类任务,且未使用并行数据学习到能够跨语种捕捉语义关系的表征。
Dec, 2013
本文研究了单词在分布式表示中的两种主要方法:低维度深度学习嵌入和高维度分布模型,并将这两种方法相结合,通过学习基于分布式模型向量的嵌入来提高单词相关性判断的性能。
Dec, 2013
通过基于多语种数据和联合嵌入的分布式假设扩展学习语义表示的新技术,学习出在跨语言上语义等价的句子之间高度对齐而在不相似的句子之间保持足够距离的表示。此方法不仅适用于单词层面,还可以对文档进行语义层面的表示学习。在两个跨语言文档分类任务上,我们的模型都能胜过之前的最佳成果,并通过定性分析和枢轴效应研究证明了我们学习到的语义表示合理且能够捕捉跨语言语义关系。
Apr, 2014
该综述文章阐述了分布语义学在理论语言学领域的影响有限,但其成功地捕捉了自然语言诸多意义方面,并回顾了该领域在语义变化、一词多义及组合,以及语法 - 语义接口等领域的研究成果,旨在在理论和计算语言学之间进行更大规模的交叉授粉,以推进我们集体的语言知识。
May, 2019
该研究通过自动计算句法分析树上的分布式含义表示来进行话语关系预测,包括实体提及之间的链接,并在预测 Penn 话语树库中的隐式话语关系时实现了显著改进。
Nov, 2014
本文提出了一个基于向量空间的模型,通过平均场近似,发展了逼近推理程序和蕴涵操作,用于重新解释现有的分布式语义模型(Word2Vec),以近似预测词汇蕴涵关系,通过无监督和半监督实验,在下义词检测方面取得了显著的改进。
Jul, 2016