本研究使用三种预训练的 BERT 模型对数学英语 (使用 LaTeX 编写) 的 “定义提取” 任务进行微调，将其作为一个二元分类问题。通过对原始数据集 “芝加哥” 和 “TAC” 的微调和测试，以及与 Vanetik 和 Litvak 在 2021 年提出的 WFMALL 数据集的对比测试，我们发现高性能的 Sentence-BERT transformer 模型在整体准确度、召回率和精确度等指标上表现最佳，且相较于早期模型，所需的计算资源更少。

Jun, 2024

该研究论文描述了 UPB 团队在 IberLEF-2023 的 AuTexTification 共享任务中提交的解决方案，主要使用基于 Transformer 的深度学习模型以及多任务学习等训练技术，最佳模型在英语和西班牙语数据集上分别达到了 66.63% 和 67.10% 的宏 F1 分数。

Aug, 2023

本文描述了 BUT-FIT 团队在 SemEval 2020 任务 4（常识验证和解释）中的工作，涉及三个子任务：A、B、C。其中，在子任务 A 和 B 中，我们的提交基于预训练语言表示模型和数据增强。我们尝试了使用多语言模型和机器翻译数据集或翻译模型输入来解决另一种语言（捷克语）的任务。在子任务 C 中，我们的提交基于预训练序列到序列模型，排名第一。我们还对所有子任务进行了误差和数据集分析，并提出了我们的发现。

Aug, 2020

本文使用三个预训练的语言模型（XLM-R、BART 和 DeBERTa-V3）作为上下文嵌入的增强，用于命名实体识别，最终在 NL4Opt 竞赛子任务 1 上取得了 92.9％ 的 F1 得分，并排名第五。

Dec, 2022

本文研究了英文语言的复杂 NER 任务，使用预训练语言模型如 BERT 取得竞争性成绩，并 qualitatively 分析了多种架构在此任务上的表现，最佳模型相比 baseline F1-score 提升了超过 9%。

Apr, 2022

本文提出了在 SemEval 2023 任务 3 的子任务 3 中检测说服技巧的最佳解决方案，主要是通过细调预训练的基于 Transformer 的语言模型来处理多语言输入数据和多个预测标签，该方案使用大型的跨语言模型（XLM-RoBERTa 大型模型）在所有输入数据上联合训练，而且针对已知语言和未知语言分别设置合理的置信度阈值，最终在 9 种语言中的 6 种语言上（包括两个未知语言）表现最优秀并取得了高度竞争的结果。

Apr, 2023

本文介绍了针对阿姆哈拉语的不同语义模型训练方法，并将其用于自然语言处理任务。经实验，我们发现基于 RoBERTA 的语境嵌入法的新模型表现优于旧的预训练的多语言模型和基于 word2Vec 模型的词嵌入法的新模型。

Nov, 2020

SemEval-2024 Task 8 引入了识别多语言和领域中大型语言模型（LLMs）生成的机器文本的挑战。本文关注于二元分类和多类分类的子任务，并通过传统机器学习和自然语言处理进行特征提取以及基于 LLMs 进行文本分类的两种方法进行解决，结果显示变压器模型，尤其是 LoRA-RoBERTa，在多语言环境中使用多数表决方法能够高效地识别机器生成的文本。

Jan, 2024

该研究介绍了利用 ELECTRA 语言模型和数据增广技术设计出的 UU-Tax 模型，在 SemEval-2022 的 PreTENS 子任务 1 中取得了 91.25% 的 F1_Binary 分数，并在子任务 2 中利用 Universal Sentence Encoder 提取特征进行分类，取得了 0.221 的 rho 分数。

Oct, 2022

研究使用多语言集成模型，针对 SemEval-2023 任务 3：在在线新闻中检测类别、框架和说服技巧。在三个子任务中，使用 RoBERTa 和 mBERT 等方法，分别在不同语言中获得前几名的结果。

Mar, 2023