Dec, 2020

静态和上下文嵌入的不对称度测量及其在表示学习中的影响：圆形与椭圆形的相似性？

HTML
PDF
TL;DR本文研究了词嵌入的不对称性、三个不同的word evocation实验数据集以及基于贝叶斯理论的评估方法，通过评估词向量模型的相似度和不对称性，并比较静态词向量模型和上下文词向量模型的表现，提出了一种新的方法来评估词向量模型的质量。
发现论文，激发创造
  • 一种基于概率矩阵分解的词嵌入模型

    本文提出了一种新的生成模型，将先验用于计算词汇统计量的闭合形式表达式，从而为非线性模型提供了理论上的证明，并帮助解释了低维度语义嵌入中线性代数结构的存在，以及解决了词汇类比问题。

    Feb, 2015

  • 关于词嵌入方法的收敛性质

    本文提出了一种评估单词表示学习方法的方法，即通过评估不同初始值下学习得到的单词表示的一致性。通过提出的度量标准，评估结果不仅揭示了单词嵌入方法的内在特性，还与下游任务的其他评估指标具有良好的相关性，这对于开发新的单词嵌入方法具有重要的鲁棒性特征的考虑是有用的。

    May, 2016

  • 揭示词嵌入中的差异性语言信息及其对内在和外在评估的意义

    本文研究词嵌入技术中的理想表示问题，发现各种模型包含的信息互相矛盾，通过线性变换来调整相似度排序以提高其结果，同时探讨了内在和外在评估之间的关系。

    Sep, 2018

  • BERT、ELMo和GPT-2嵌入的几何比较：上下文化词表示有多上下文？

    用上下文化单词表示替代静态单词嵌入在许多自然语言处理任务中都有很大的提升。本文研究了从 ELmo 和 BERT 等模型生成的上下文化表示到底有多少有多少上下文性，是否针对每个单词有无限多个上下文相关的表示，还是本质上分配了一个有限数量的单词感觉表示。

    Sep, 2019

  • RAW-C：上下文中模糊词的相关性（英语新词汇资源）

    该论文介绍了 RAW-C，一种对 112 个上下文中的模棱两可的单词进行分级人类相关性判断的数据集，以及来自 BERT 和 ELMo 的情境化词嵌入的余弦距离的度量与人类判断的相关性。同时，这份论文提出了心理语言学的理论与词汇语义计算模型之间的综合。

    May, 2021

  • 语境化语言模型中的词汇歧义模式

    本文研究了语境化语言模型的多义词辨别能力。作者提出了一个人工注释的数据集，用于评估多义词词义的相似性，发现多义词的词义相似性介于相同和同音异义之间，并呈现出一定的词义变化规律性。BERT Large在相似性等级方面表现最佳，但无法一致地复制观察到的相似性模式，并且在某些类型的多义词变化上存在问题。

    Sep, 2021

  • 对于高频词嵌入相似度度量中余弦相似度的问题

    使用余弦相似度可对于NLP的任务（如问答，信息检索，机器翻译）进行上下文嵌入建模,但是我们发现使用BERT解析的余弦相似度在估算词语相似度方面存在高低频词的差异,在控制多义性和其他因素后,高频词与同一词语的其他实例或其他上下文中的其他词语的相似度被低估,这种低估是由于高低频词的代表性几何形状差异导致.

    May, 2022

  • 上下文中的迷失？关于上下文化词向量的意义差异

    揭示了上下文化单词嵌入的一些特征，包括上下文中单词意思的变化程度，单词在不同上下文中的一致性，以及单词位置偏差的影响，并提出一种减轻这种偏差的简单方法。

    Aug, 2022

  • 词嵌入相似度计算方式的频率依赖性

    本文系统研究了几种静态词向量嵌入中单词频率与语义相似性之间的关联，并发现高频单词之间的相似性更高。同时，本文还探究了单词频率对基于嵌入的性别偏见测量的影响，并证明通过操纵单词频率可使偏见发生倒转。

    Nov, 2022

  • 词切分对上下文化词表示的语义内容的影响

    从语言模型中获取上下文化的单词表示时，需要决定如何获得那些被分割成子单词的未登录词（OOV）的表示。本文通过在涉及OOV词的语义相似性任务中对不同模型的嵌入进行内部评估，揭示了包括有趣发现在内的结论，即被分割的词的表示质量通常较差，但并非总是如此。然而，必须谨慎解释它们的相似性值。

    Feb, 2024