关键词contextualized word vectors
搜索结果 - 4
- 在具身模拟中通过相似性学习基于概念的词汇的内涵和区分
我们提出了一种新方法，利用通过具身模拟收集的代理经验来将情境化词向量与对象表示相关联，并使用相似性学习来比较不同对象类型之间的相似性，显示出不同转换器模型的嵌入空间的特性，以及用于嵌入对象令牌向量比用于嵌入动词和属性令牌向量更有帮助。
- 基于上下文词向量的方法发现语义差异，无需训练或单词对齐
本文提出基于语境化词向量范数的语义差异发现方法，他们不需要先前方法中对单词和语料库进行比较的假设，对于语料库大小的偏斜鲁棒，能够检测不频繁出现的单词的语义差异，有效地找出在两个语料库之一缺失含义的单词实例。
- 上下文化注意力嵌入的主题
通过设计不同的探针实验，使用 BERT 和 DistilBERT，我们发现注意力框架在模拟主题词簇时发挥了关键作用，这为探讨概率主题模型和预训练语言模型之间的关系铺平了道路。
- 上下文化词嵌入中的性别偏见
本文中，我们量化、分析和减轻了 ELMo 上表现的性别偏见。通过内在分析和实验，我们发现 ELMo 的训练数据中包含男性实体比女性实体多，其编码的词向量中存在性别信息，且男性和女性实体所包含的性别信息不平等。同时，我们发现最前沿的指代消解系