本文总结了 SemEval-2020 任务 10 的主要结果，该任务旨在设计自动化方法选择文本内容中的强调元素，并发现 BERT 是参与者常用的预训练模型之一。

Aug, 2020

ERNIE 团队在 SemEval-2020 的任务 10 中取得第一名，提出了一种利用无监督预训练模型并在任务中进行微调的方法来寻找给定句子中最重要的单词，并证明这种方法可以通过额外的特征工程和数据增强来提高表现。最终他们的模型取得了 0.823 的最高分，在所有指标上位居第一。

Sep, 2020

本文提出了两种方法（BiLSTM-ELMo 和基于 RoBERTa 和 XLNet 的 transformers）来预测幻灯片中每个单词的强调程度，并在评估排行榜上获得了 0.518 分，位列第 3 名，在后评估排行榜上获得了 0.543 分，位列第 1 名。

Jan, 2021

这篇论文介绍了 MasonTigers 参与 SemEval-2024 任务 8，即多生成器、多域和多语言黑盒机器生成文本检测。该任务包括二进制的人工书写 vs. 机器生成文本分类（A 轨道），多种机器生成文本分类（B 轨道）和人机混合文本检测（C 轨道）。我们最好的方法主要使用鉴别器转换模型的集成，以及句子转换模型和统计机器学习方法在特定情况下。此外，对于 A 轨道和 B 轨道，还使用了零样本提示和 FLAN-T5 的微调。

Mar, 2024

该研究描述了我们为 SemEval-2024 任务 1 开发的系统：语义文本相关性。该挑战主要关注在包括亚洲和非洲的高资源和低资源语言在内的 14 种语言中自动检测句子对相关性的程度。我们团队参与了两个子任务，包括监督式轨道和非监督式轨道。本文主要关注基于 BERT 的对比学习和基于相似度度量的方法，用于监督式轨道，并探索无监督式轨道中的自动编码器。同时，该研究还旨在使用负采样策略创建一个双词相关性语料库，从而生成精炼的词嵌入。

Apr, 2024

本文介绍了我们参加 SemEval-2022 多语言复杂命名实体识别英文赛道的基于 Transformer 预训练模型的简单有效基准系统，取得了 72.50% 的 F1 得分，同时讨论了通过实体链接进行数据增强的方法。

Feb, 2022

本文提出了在 SemEval 2023 任务 3 的子任务 3 中检测说服技巧的最佳解决方案，主要是通过细调预训练的基于 Transformer 的语言模型来处理多语言输入数据和多个预测标签，该方案使用大型的跨语言模型（XLM-RoBERTa 大型模型）在所有输入数据上联合训练，而且针对已知语言和未知语言分别设置合理的置信度阈值，最终在 9 种语言中的 6 种语言上（包括两个未知语言）表现最优秀并取得了高度竞争的结果。

Apr, 2023

本文研究了 BERT 的注意力机制，探究了两个问题：如何使用注意力机制减少输入长度和如何将注意力用作条件文本生成的控制机制，并发现 BERT 的早期层对文本分类任务的关注度更高，其注意力和可以用于过滤给定序列的令牌，一定程度上减少了输入长度同时保持良好的测试准确性。

Mar, 2023

该研究介绍了 UniBuc - NLP 团队应对 SemEval 2024 任务 8：多生成器、多领域和多语言黑盒机器生成文本检测的方法。我们探索了基于 transformer 和混合深度学习架构。其中，我们的基于 transformer 的模型在子任务 B 中以 86.95％的准确度在 77 个团队中取得了强势的第二名，展示了该架构在此任务中的适用性。然而，我们的模型在子任务 A 中显示出了过拟合的现象，这可能通过减少微调和增加最大序列长度来修复。对于子任务 C（标记级别分类），我们的混合模型在训练过程中出现了过拟合，影响了其检测人工文本和机器生成文本之间的转换能力。

May, 2024

介绍了 PVGs AI Club 团队在 WASSA 2022 举办的情感分类共享任务中的方法。使用基于转换器模型的基准，并基于情感特定表示的两个变体，利用集成技术改善了性能，最终达到了情感分类任务的 0.619 的准确度和 0.520 的宏 F1 分数。

Apr, 2022