BRUMS 在 SemEval-2020 任务 3 中：针对词语相似度中上下文的（分级）影响进行上下文嵌入的预测

COLINGOct, 2020

BRUMS 在 SemEval-2020 任务 3 中：针对词语相似度中上下文的（分级）影响进行上下文嵌入的预测

BRUMS at SemEval-2020 Task 3: Contextualised Embeddings for Predicting the (Graded) Effect of Context in Word Similarity

PDF

Hansi Hettiarachchi, Tharindu Ranasinghe

TL;DR本文介绍了团队 BRUMS 参与 SemEval-2020 任务 3 的情况，其采用了最先进的上下文单词嵌入技术，包括堆叠嵌入和平均嵌入等任务特定的适应方法。该方法在所有语言中均获得了良好的评估分数，同时保持了简单性。在最终排名中，我们的方法在每种语言中均排名前五，在芬兰子任务 2 中保持了第一名的位置。

Abstract

This paper presents the team BRUMS submission to semeval-2020 Task 3: Graded Word Similarity in Context. The system utilises state-of-the-art contextualised word embeddings, which have some task-specific adaptations, including stacked embeddings and average embeddings. Overall, the app

semeval-2020 graded word similarity contextualised word embeddings stacked embeddings evaluation scores

发现论文，激发创造

研究上下文词嵌入维度对上下文和时间语义变化的影响

词语会随着时间和不同的语境而改变其含义。词语在上下文感知的上下文化词嵌入空间中编码语义变化，在语义变化检测基准中具有卓越性能。本研究通过使用 PCA 和 ICA 转换在预训练的词嵌入和微调后的词嵌入之间进行比较，揭示了几个新的洞察，例如信息如何在嵌入空间中分布和 PCA 能更好地表示语义变化。

Jul, 2024

交换与预测 - 通过上下文交换预测语义变化跨语料库中的词汇

使用预训练的遮蔽语言模型（MLM）中获取的具有上下文的词嵌入来表示在两个不同的文本语料中给定目标词 w 的含义，并通过上下文交换方法准确预测了四种语言（英语，德语，瑞典语和拉丁语）以及不同时间跨度下（超过 50 年和约 5 年）词义的语义变化。

Oct, 2023

LLMScore：揭示大型语言模型在文本到图像合成评估中的优势

LLMScore 利用大语言模型为文本到图像合成模型提供带有多层次的组成性评估得分，并且与通常使用的文本 - 图像匹配度量相比，其与人类评估之间的相关性显著更高。

May, 2023

一种基于刻板印象内容模型的强健偏见缓解程序

本文证明了在语境化的词嵌入中，刻板印象内容模型可以得到保持，然后使用这些结果来评估一种旨在将语言模型从对少数群体的刻板印象描绘中远离的微调过程，进一步证明了 SCM 术语能够更好地捕捉偏见，通过一种简单的微调过程，可以减少模型中成见的存在，而不会损害下游性能，这代表了旨在消除模型偏见的去偏见过程的原型。

Oct, 2022

基于去文本化嵌入的无监督词汇替换

本文采用预训练语言模型提出一种新的无监督词汇替换方法，通过根据单词在多个上下文中的平均上下文表示相似性来检索替代词，实验表明该方法在英语和意大利语上表现明显优于强基线，并且能够成功预测低频替代词且不受形态和句法中的词汇一致性的影响。

Sep, 2022

基于自编码语言模型的集成学习用于常识验证和解释

本文提出了一种基于自编码语言模型的集成学习方法，称为 ALMEn，用于常识验证和解释，在 SemEval-2020 任务 4 的基准数据集上表现良好，可区分违反常识的自然语言陈述并正确识别其原因，验证和解释选择子任务的准确性分别达到 97.9％和 95.4％，超过了现有的最先进模型。

Apr, 2022

使用上下文化单词嵌入作为代理学习具有特定意义的静态嵌入

本文介绍了一种名为 Context Derived Embeddings of Senses (CDES) 的方法，它从上下文嵌入中提取感官相关信息，并将其注入到静态嵌入中，以创建特定于感官的静态嵌入。实验结果表明，CDES 能够准确地学习感官特定的静态嵌入，具有与当前最先进的感官嵌入相当的性能。

Oct, 2021

多分类环境下上下文同义词自监督检测：表型注释应用案例

本研究提出了一个自我监督的预训练方法，利用浅层匹配的数据进行训练，能够检测出上下文同义词，该方法在稀疏多类设置（超过 15,000 个概念）中应用于从电子病历中提取表观信息，并通过数据增强技术解决类稀疏问题，实现了无监督表观概念注释的新 SOTA，精度和召回率的增益分别高达 4.5 和 4.0 个点，表明模型表现优异。经过少量标注数据的微调后，该模型在 BioBERT 和 ClinicalBERT 之上表现更出色，并且外部评估在三个 ICU 基准测试中也显示出使用我们的模型注释的表型作为特征的益处。

Sep, 2021

Galileo 在 SemEval-2020 任务 12 中：使用预训练语言模型进行多语言攻击性语言识别的学习

本文研究使用预训练语言模型 ERNIE 和 XLM-R 在社交媒体中检测和分类攻击性语言，提出了一种多语言方法和知识蒸馏方法，并在 SemEval-2020 任务 12 中表现出了优异的性能，成为唯一在所有语言下排名前三的团队。

Oct, 2020

UPB 在 SemEval-2020 任务 6 中：预训练语言模型用于定义提取

本研究使用多个预训练语言模型，包括 BERT、XLNet、RoBERTa、SciBERT 和 ALBERT，通过冻结和微调它们的权重，并探索多任务架构，以解决 SemEval-2020 中的三个 DeftEval 子任务，最终取得 32 和 37 名的成绩。

Sep, 2020