- 口语化 Word2Vec: 观点与技术
研究探讨了在使用 Word2Vec 算法时,当输入单元与声学相关时,如何无法编码分布语义。同时,对以文本为基础的嵌入进行自动词类聚类的简化方法也被忽视,而这正是该任务中真正的挑战所在。
- 文本的自相关衰减及语言模型的适用界限
本文研究自相关在文本中的衰减规律如何影响自然语言处理的应用,使用分布语义学方法的经验结果表明词语的自相关服从幂律分布,而且自相关的幂指数在多种语言翻译的文本中表现一致,文章指出,表现马尔可夫特性的语言模型,包括大的自回归语言模型,在长篇文本 - 用于计算语义相似度的分类和神经嵌入方法的评估
本论文探讨了计算语义相似度的不同方法,比较了分类和分布式语义相似度的不同特点,提出了类别相似度建模的三种加权因素,发现在不同词频、多义性和相似度强度范围内存在语义相似度计算巨大差距。
- 计算价位词典和荷马史诗的形式化
通过比较古希腊史诗中及非标准文本中的及物动词短语的语义灵活性,我们提出了一个用于古希腊的计算机价值词典 AGVaLex,该词典包含关于动词和它们的论元的数量、语料库驱动的形态、句法和词汇信息,对于研究古希腊语言有广泛的应用。
- 理解口语复数
研究了英语名词复数和单数的语义,比较了基于 FRACSS 和 CCA 这两种概念化复数的模型,并在大语料上验证了语音信息和语意向量的预测关系,结果表明基于语用的语意表示方法的效果更好。
- ACL词语亲密度和企业类型:重新审视 J.R. Firth 和 Zellig Harris 的分布式语义学
本文对比了 J.R. Firth 和 Zellig Harris 的构式语义学理论,指出 Firth 的理论更加文化基础,在 NLP 领域中可通过比较分层和句法扩展的两种不同策略来实现对语境的扩展。
- 英语名词复数的语义属性:来自词向量的启示
使用分布语义学,本文研究了英语名词复数形式的意义聚类,介绍了一种计算方法叫做 CosClassAvg,通过实验比较它与另一种方法 FRACSS 的差异,并验证了 CosClassAvg 方法在语义向量映射中的优越性
- 置换不变矩阵统计与计算语言任务
本文介绍了由 Kartsaklis,Ramgoolam 和 Sadrzadeh 引入的语言矩阵理论(Linguistic Matrix Theory)计划,旨在研究基于置换不变多项式函数的矩阵统计学,从组合式分布语义(composition - LMMS Reloaded: 基于 Transformer 的语义嵌入用于消歧和更多应用
该研究介绍了如何使用神经语言模型,通过从所有层收集信息生成感知嵌入,并展示了这些嵌入的多种领域应用,特别是在词义消歧任务中,提出的方法通过对 14 个神经语言模型变体的分析,在准确性和任务多样性方面实现了改进。
- 三代分布语义模型的比较评估与分析
本研究旨在对传统计数模型、预测模型与现代上下文向量模型(由 Transformer 神经语言模型生成)进行遵循语境学习的分布式语义模型(DSM)评估,结果显示在大多数上下文之外的语义任务和数据集中,静态 DSM 优于上下文化代表性,并揭示了 - COLING跨文体的状态性:一种分布式语义学方法
研究动词词汇体现出的语态对于文本蕴涵和学习语篇层推断至关重要。我们使用分布语义学有效地模拟了动态类别的两个基本维度,状态与事件以及目的性与非目的性事件。我们发现动词的本地上下文最能表明其语态,并证明封闭类词往往比内容词更具区分能力。我们的方 - EMNLP深度强化学习结合分布式语义奖励的抽象摘要生成
本研究论文使用分布式语义学方法,提出了一种新的奖励制度 DSR (Distributional Semantics Reward),用于评估候选摘要的性能,与传统的奖励模式相比,DSR 可以更准确地捕捉自然语言的词汇和构成多样性。
- ACL无词孤岛 - 一种语义组合的转换加权模型
通过转换加权(TransWeight)的方式,可以从单词的表示中构建短语表示,该方法可以极大地降低所需参数数量,并在英语、德语和荷兰语中表现出色。
- 人工智能模型语义可解释性
本研究从广阔的角度观察模型可解释性,超越了机器学习的范畴,涵盖了分布语义学和模糊逻辑等不同的人工智能领域。我们根据模型的性质和它们引入可解释性方面的方法进行分类,并分析每种方法如何影响最终用户。同时指出还需要解决的问题,以提供更以人为本的解 - 如果不能推理,不要怪分布语义学
分布式语义模型已经广泛应用于自然语言处理系统中,但在语言和认知的更广泛理论范围内,分布式语义模型的理论地位仍不清楚。 然而,我们认为传统答案本质上是一个误解,分布式语义模型本身是表达含义的适当模型。
- 分布语义学与语言学理论
该综述文章阐述了分布语义学在理论语言学领域的影响有限,但其成功地捕捉了自然语言诸多意义方面,并回顾了该领域在语义变化、一词多义及组合,以及语法 - 语义接口等领域的研究成果,旨在在理论和计算语言学之间进行更大规模的交叉授粉,以推进我们集体的 - Action2Vec: 一种跨模态嵌入式行为学习方法
本研究提出了一种新型的跨模态 embedding 空间 ——Action2Vec,该方法将语言线索与视频剪辑的时空特征结合起来,并使用分层循环网络捕获视频特征的时间结构。我们使用联合损失训练嵌入,将分类准确度与 Word2Vec 语义相似性 - COLINGJeSemE:一个用于探索词义和情感演变的网站
介绍了 JeSemE 这个工具,在数字人文学者中替代手动编制的纸质字典,通过两个信息流:分布语义学和情感模型,来视觉化探索历时语料库中的语义和情感信息。
- ACL分布语义的向量空间用于蕴涵
本文提出了一个基于向量空间的模型,通过平均场近似,发展了逼近推理程序和蕴涵操作,用于重新解释现有的分布式语义模型(Word2Vec),以近似预测词汇蕴涵关系,通过无监督和半监督实验,在下义词检测方面取得了显著的改进。
- 电子商务中的产品分类使用分布语义学
针对商品分类中的文本表示和算法效率问题,我们提出了一种新的分布式语义表示方法和两层集合式分类器来降低错误率,实验结果表明,我们的方法比先前的方法在各种评价指标上更有效。