本文研究利用大型语言模型来预测人类阅读行为，并比较了针对特定语言和多语言的预训练变压器模型在预测荷兰语、英语、德语和俄语文本上反映自然人类句子处理的阅读时间测量方面的表现。结果显示，变压器模型可以准确地模拟人类阅读行为，预测出了各种眼动特征，表明变压器模型可以以类似于人类处理机制的方式隐式地编码语言的相对重要性。作者还分析了这些模型的跨领域和跨语言能力，并展示了它们如何反映人类句子处理。

Apr, 2021

本文提出了一种基于 transformer 和回归模型的方法，利用眼动追踪数据预测多语言数据集中人类阅读模式的统计指标，通过模型训练和比较不同的 transformer 模型，我们在 CMCL 2022 共享任务中取得了显著的成果，获得了 SubTask-1 第 4 名和 SubTask-2 第 1 名的好成绩。

Mar, 2022

本研究使用 BERT 和 XLM 等预训练模型研究预测眼动信息的方法，探究了多语言模型、上下文信息等因素对系统性能的影响，研究显示，语言信息的增强有助于提高系统预测的准确度。

Apr, 2022

本文提出一种结合多语言训练和自监督学习的方法来提高低资源 ASR 性能，其中采用国际音标（IPA）多语言模型为无标签语音创建帧级伪标签，并以这些伪标签以 Phonetically-informed 的方式引导基于 HuBERT 的语音预训练。实验证明，该方法在所有目标语言上均优于标准 HuBERT，并且在 3 种语言中表现更佳，同时最多能够节省 1.5k 小时（75%）有监督训练数据。

May, 2023

本文介绍了一种基于 Hierarchical Contrastive Learning 的方法，用于学习句子级别的跨语言表示方法，在 XTREME 任务和机器翻译任务中实验表明，该方法可以显著提高模型准确性。

Jul, 2020

本文介绍了我们的系统，以应对针对于 SemEval-2022 任务 8：多语言新闻文章相似性。我们提出了一种受语言学启发的模型，采用了几个任务特定的策略进行训练。我们的系统的主要技术包括：1）数据增强，2）多标签损失，3）适应 R-Drop，4）头尾组合中的样本重构。我们还对一些负面方法进行了简要分析，例如两塔架构。我们的系统在排行榜上排名第 1，并在官方评估集上实现了 0.818 的皮尔逊相关系数。

Apr, 2022

通过对现代神经结构的分析，提出一种新的语言建模表现度量并与人类主观认知语言处理结果的相关性来重新评估 Goodkind 和 Bicknell（2018 年）的观点，证明了一种基于困惑度的语言模型能否对阅读时间进行建模的线性假设不适用于 LSTM 网络，变形器和预训练模型。

Sep, 2020

我们提出了查理斯大学关于 MRL~2023 多语言多任务信息检索的系统。共享任务的目标是为多个代表性不足的语言开发命名实体识别和问题回答系统。我们针对两个子任务的解决方案都依赖于翻译 - 测试方法。首先，我们使用多语言机器翻译模型将无标签的示例转化为英文。然后，我们使用强大的任务特定模型对翻译后的数据进行推断。最后，我们将标记数据投射回原始语言。为了保持原始语言中推断标记的正确位置，我们提出了一种基于标签敏感翻译模型评分候选位置的方法。在两种情况下，我们尝试在翻译后的数据上微调分类模型。然而，由于开发数据和共享任务验证和测试集之间的领域不匹配，微调模型无法超越我们的基准线。

Oct, 2023

通过对二十多种不同的计算模型测试发现，尽管这些模型可能包含不同的结构、方法和数据集，但其前向单词期望和人类阅读行为之间的关系是很直接的，其中深度 Transformer 模型和 n-gram 模型在眼动数据方面表现优异，而在句法知识和预测能力之间不存在重大关系。

Jun, 2020

本文介绍了 CIC NLP 为 AmericasNLP 2023 的美洲土著语言机器翻译系统共享任务提交的三种方法，其中使用了 M2M-100、mBART50 和 Helsinki NLP Spanish-English 翻译模型，总体而言，mBART 设置能够在 11 种语言中的三种语言中改善基线。

May, 2023