本篇论文描述了研究团队为 SemEval-2020 Task 9 开发的两个系统，用于涵盖印地语 - 英语和西班牙语 - 英语这两种混合语言。通过介绍利用多种神经网络方法和预训练的单词嵌入的解决方案，我们提出的多语言 BERT 方法在印地语 - 英语任务中取得了有前途的表现，平均 F1 得分为 0.6850，对于西班牙语 - 英语任务，我们使用另一种基于 Transformer 的多语言模型 XLM-RoBERTa 获得了平均 F1 得分为 0.7064，排名团队第 17 位 (29 个参赛者中).

Sep, 2020

本研究基于神经机器翻译技术中的 Transformer 模型，对小说文学领域的英文进行自动翻译，通过与其他三种不同模型进行自动评估和手动评估，结果表明使用 domain-specific Transformer-based 系统在表现上要优于其他三种模型。

Nov, 2020

利用 “翻译 - 检索 - 翻译” 策略引入推理通识知识，然后将其整合到多语言预训练语言模型中以预测政治极性，证明我们的框架不受所使用的模型的影响，并具有潜力为新闻从业者、社会科学家、新闻制作人员和消费者带来好处。

Dec, 2022

本文介绍了使用 Hunglish2 语料库训练基于 Transformer 的神经机器翻译模型以实现匈牙利语 - 英语和英语 - 匈牙利语的翻译，最佳模型在匈牙利语 - 英语和英语 - 匈牙利语上的 BLEU 分数分别为 40.0 和 33.4。此外，本文还介绍了一项正在进行的基于语法增强的神经机器翻译工作的结果。我们提供了代码和模型的公开资源。

Jan, 2022

通过对政治宣言的大规模数据库进行研究，我们展示了领域转移在地理位置、语言、时间和体裁等方面的潜力，以及细调的变压器模型在领域内的分类性能。此外，我们观察到不同来源国家的政治宣言存在（部分）显著差异，即使这些国家共享一种语言或文化背景。

Jul, 2023

本文利用 transformers（如 BERT）从英语和葡萄牙语文本中实验和比较了不同的模型配置，结果表明对于 “政治推理” 领域，结合 BERT 预训练语言模型和句法依存模型等文本表示法可以在多个实验设置中优化结果，这为进一步研究异构文本表示法在自然语言处理等领域提供了切实的证据。

Jun, 2022

计算政治学的技术之一是扩展分析，根据（通常较长的）文本集合（如议会演讲或选举宣言）给予政治参与者（如政治家或政党）一个预定义的评分。本研究通过实施和比较两种自动扩展分析政党宣言的方法：标签聚合和基于长输入的 Transformer 模型，对 41 个国家和 27 种语言的比较宣言项目数据集进行分析，发现最佳结果可通过先进的模型和标签聚合的方式高效解决。

Oct, 2023

本研究提出了一种基于多语言变形器语言模型的框架，将区分资源丰富和资源贫乏语言作为参考来逐步从资源丰富语言的样本到资源贫乏语言的样本进行训练，来解决多语言情感分析中的跨语言学习问题。实验证明，该框架能有效帮助资源贫乏语言的样本训练。

Oct, 2022

本文介绍了 CIC 团队使用 Transformer 模型对 CoLI-Kenglish 数据集进行词级别语言鉴别的系统描述，其中提出了在 NLP 中使用 code-mixed 数据的研究，并探讨了社交媒体的影响。该模型在数据集中取得了 0.84 的加权 F1 分数和 0.61 的宏 F1 分数。

Nov, 2022

通过 CZEch~NEws~Classification~dataset 对 Czech 自然语言处理进行评估，发现语言特定的预训练编码器分析优于可选的大规模生成语言模型，并定义了四个分类任务：新闻来源、新闻类别、作者性别推断和星期几。

Jul, 2023