本文提出了一个新的评估框架（TweetEval），由七个异构 Twitter-specific 分类任务组成，并提供了一组强基准作为起点，并比较了不同的语言建模预训练策略，初步实验表明使用现有的通用语言模型预训练，然后在 Twitter 集上继续训练是很有效的。

Oct, 2020

TweetNLP 是一个支持社交媒体中自然语言处理任务（包括情感分析、实体识别、表情预测和辱骂识别）的综合平台，其采用基于 Transformer 的语言模型，专门用于处理社交媒体文本，提供 Python 库、在线演示和教程等多种支持。

Jun, 2022

通过提出 SemEval-2013 任务 2：Twitter 情感分析的表达级子任务和消息级子任务以及在亚马逊机械土耳其上使用众包技术标记大型 Twitter 训练数据集及其他的测试集，对情感分析在社交媒体上进行了研究。该研究因结果的准确性获得了广泛关注和讨论。

Dec, 2019

社交媒体是多模态信息交流的中心，包括文本、图片和视频，这对机器来理解在线空间中的信息或情感相关的交互构成了挑战。本文介绍了 MM-Soc，一个综合性基准，旨在评估多模态大型语言模型对多模态社交媒体内容的理解能力。通过我们对四个开源多模态大型语言模型的十个规模变体的详尽评估，我们发现了重要的性能差异，突出了模型在社交理解能力方面的改进需求。

Feb, 2024

本文探讨了基于 Transformer 的语言模型对社交媒体语言的理解能力，提出了适用于四个社交媒体平台的 SMILE 评估基准，并展示使用混合社交媒体语言和传统语言进行分词和预训练的 LM 性能优于其他同规模的语言模型 4.2 分。

Jun, 2023

本文主要研究社交媒体上的观点和情感分析，提出了六种最先进的方法，并重新实现其中一种以进行综合实验评估和比较。此外，研究了覆盖内容不同方面的不同文本和视觉特征嵌入以及最近引入的多模式 CLIP 嵌入等。研究结果基于发布在公共数据集的推文和相应的图像进行比较，引入了可复制和公平的评估方案。最后，还对方法的局限性和未来工作的可能性进行了误差分析。

Jun, 2021

这篇论文提出了 SciEval 基准评估体系，以解决现有预先收集客观问题的数据泄露问题和缺乏主观问答能力评估的问题。SciEval 基于 Bloom 的认知分类学，覆盖了四个维度，系统评估科学研究能力。研究者进行了全面的实验证明，尽管 GPT-4 在与其他 LLMs 相比取得了最先进的表现，但仍有很大的改进空间，特别是在动态问题方面。数据和代码现已公开。

Aug, 2023

该论文描述了 SemEval-2014 中的 Twitter 情感分析任务，介绍了新的测试集并报道了最高 F1 分数达到 86.63（子任务 A）和 70.96（子任务 B）的结果。

Dec, 2019

本文介绍了在 SemEval 2023 多语言推文亲密度分析共享任务中的提交。任务的目标是评估十种语言的 Twitter 帖子的亲密程度。所提出的方法由几个步骤组成，包括域内预训练、训练回归模型的集成以及使用伪标记示例扩展训练集等。该方法在十个语言子任务中有五个排名第一，在所有语言中获得了最高平均分数。

Apr, 2023

本文介绍了 2015 年 SemEval 共享任务，即推特情感分析。该任务为历年来最受欢迎的情感分析任务，共有超过 40 支团队参与。今年的任务共有五个情感预测子任务，其中两个为往年任务的重现，另外三个则为全新任务，旨在预测单个推特中对主题的情感、一组推特中对主题的总体情感以及短语先前极性的程度。

Dec, 2019