花生是否能与分布语义相恋?
本研究旨在对传统计数模型、预测模型与现代上下文向量模型(由 Transformer 神经语言模型生成)进行遵循语境学习的分布式语义模型(DSM)评估,结果显示在大多数上下文之外的语义任务和数据集中,静态 DSM 优于上下文化代表性,并揭示了 DSM 之间的不同之处,这些不同涉及词汇项的频率和词性,为调查分布式模型生成的语义空间提供了方法。
May, 2021
分布式语义模型已经广泛应用于自然语言处理系统中,但在语言和认知的更广泛理论范围内,分布式语义模型的理论地位仍不清楚。 然而,我们认为传统答案本质上是一个误解,分布式语义模型本身是表达含义的适当模型。
May, 2019
本文研究了向量空间模型在自然语言处理领域的一些应用,通过比较不同模型在 TOEFL 同义词检测中的效果,发现在计算分布相似度时,句法依赖可以更好地解释词汇语义,同时将人工语义知识注入到神经嵌入中可以显著提高同义词检测的效果。
Sep, 2022
本文研究了语境化单词嵌入,并集中讨论了 BERT 这一深度神经网络,该网络产生了语境化的单词嵌入并在多个语义任务中创下了最好的记录,并研究了其嵌入空间的语义一致性。该文章表明,BERT 具有一定的语义一致性,但并未完全符合语义向量空间的自然期望,尤其是发现单词出现在的句子位置虽然不具含义,但在单词嵌入中留下了明显的痕迹,破坏了相似性关系。
Nov, 2019
本文研究了上下文语言模型的语义相似性属性,并利用 SemCor 和 WordNet 方式进行探索。然后,将该方法应用于更开放的环境,以表征静态和上下文语言模型之间的差异。
Nov, 2021
研究探讨了关于如何使数据获取自然语言的有意义的表示,包括评估英语和西班牙语语义空间如何捕捉与概念相关的特征,以及探索共现在这种情况下的作用。
May, 2022
本文引入了 “语义可信度” 任务,旨在识别可能是新事件的可信度, 提供了一个新的众包数据集,旨在对单个事件进行语义可信度判断,并发现基于分布式表示的简单模型在此任务上表现不佳,但注入手动引出的实体属性知识可以大幅提高性能,我们的错误分析表明,本文提出的新数据集是进行语义可信度模型测试的极佳试验平台:更复杂的知识表示和传播方法可以解决许多剩余错误。
Apr, 2018