contextualised word embeddings | BriefGPT

关键词contextualised word embeddings

搜索结果 - 8

研究上下文词嵌入维度对上下文和时间语义变化的影响
词语会随着时间和不同的语境而改变其含义。词语在上下文感知的上下文化词嵌入空间中编码语义变化，在语义变化检测基准中具有卓越性能。本研究通过使用 PCA 和 ICA 转换在预训练的词嵌入和微调后的词嵌入之间进行比较，揭示了几个新的洞察，例如信息
PDF3 days ago
EMNLP交换与预测 - 通过上下文交换预测语义变化跨语料库中的词汇
使用预训练的遮蔽语言模型（MLM）中获取的具有上下文的词嵌入来表示在两个不同的文本语料中给定目标词 w 的含义，并通过上下文交换方法准确预测了四种语言（英语，德语，瑞典语和拉丁语）以及不同时间跨度下（超过 50 年和约 5 年）词义的语义变
PDF9 months ago
一种基于刻板印象内容模型的强健偏见缓解程序
本文证明了在语境化的词嵌入中，刻板印象内容模型可以得到保持，然后使用这些结果来评估一种旨在将语言模型从对少数群体的刻板印象描绘中远离的微调过程，进一步证明了 SCM 术语能够更好地捕捉偏见，通过一种简单的微调过程，可以减少模型中成见的存在，
PDF2 years ago
COLING基于去文本化嵌入的无监督词汇替换
本文采用预训练语言模型提出一种新的无监督词汇替换方法，通过根据单词在多个上下文中的平均上下文表示相似性来检索替代词，实验表明该方法在英语和意大利语上表现明显优于强基线，并且能够成功预测低频替代词且不受形态和句法中的词汇一致性的影响。
PDF2 years ago
ACL使用上下文化单词嵌入作为代理学习具有特定意义的静态嵌入
本文介绍了一种名为 Context Derived Embeddings of Senses (CDES) 的方法，它从上下文嵌入中提取感官相关信息，并将其注入到静态嵌入中，以创建特定于感官的静态嵌入。实验结果表明，CDES 能够准确地学习
PDF3 years ago
EMNLP多分类环境下上下文同义词自监督检测：表型注释应用案例
本研究提出了一个自我监督的预训练方法，利用浅层匹配的数据进行训练，能够检测出上下文同义词，该方法在稀疏多类设置（超过 15,000 个概念）中应用于从电子病历中提取表观信息，并通过数据增强技术解决类稀疏问题，实现了无监督表观概念注释的新 S
PDF3 years ago
COLINGBRUMS 在 SemEval-2020 任务 3 中：针对词语相似度中上下文的（分级）影响进行上下文嵌入的预测
本文介绍了团队 BRUMS 参与 SemEval-2020 任务 3 的情况，其采用了最先进的上下文单词嵌入技术，包括堆叠嵌入和平均嵌入等任务特定的适应方法。该方法在所有语言中均获得了良好的评估分数，同时保持了简单性。在最终排名中，我们的方
PDF4 years ago
UiO-UvA 在 SemEval-2020 任务 1 中：用于词汇语义变化检测的上下文嵌入
该研究应用上下文化词嵌入到 SemEval-2020 Shared Task 1 的词汇语义变化检测中，着重于子任务 2，在两种上下文化体系结构（BERT 和 ELMo）和三种变化检测算法方面，分析了其性能。我们发现，最有效的算法依赖于平均
PDF4 years ago