本研究使用 BERT 和 XLM 等预训练模型研究预测眼动信息的方法，探究了多语言模型、上下文信息等因素对系统性能的影响，研究显示，语言信息的增强有助于提高系统预测的准确度。

Apr, 2022

本文研究利用大型语言模型来预测人类阅读行为，并比较了针对特定语言和多语言的预训练变压器模型在预测荷兰语、英语、德语和俄语文本上反映自然人类句子处理的阅读时间测量方面的表现。结果显示，变压器模型可以准确地模拟人类阅读行为，预测出了各种眼动特征，表明变压器模型可以以类似于人类处理机制的方式隐式地编码语言的相对重要性。作者还分析了这些模型的跨领域和跨语言能力，并展示了它们如何反映人类句子处理。

Apr, 2021

通过分析母语和英语学习者阅读不同语言时的眼动数据，发现个体阅读行为会影响人类和模型之间的关联性，这需要在未来的研究中被考虑进去。

Oct, 2022

本文描述了我们参加 CMCL 2021 共享任务的参赛作品，利用 RoBERTa 模型和回归层来预测 5 个眼动追踪特征，用两个阶段微调的方法进行了训练，最后采用集成方法将不同的 Transformer 模型集成，获得了 3.929 的 MAE 得分，在 13 支团队中排名第三。

Apr, 2021

本研究通过建模探索基于 Transformer 的多语言语言模型在零样本跨语言转移上的性能预测，并将其视为多任务学习问题，从而建立准确的预测模型。我们的方法还同时进行了特征选择，识别出对多个任务的零样本表现具有影响的共同特征。

May, 2022

本文探讨了阅读文本时眼动的影响，并研究了多语言模型对跨语言转移的使用。作者使用句子级别的眼动模式将结构复杂性作为认知指标，并表明多语言模型 XLM-RoBERTa 能够成功地预测 13 种形态上不同的语言的模式。作者还对模型对结构复杂性的敏感性进行了量化，并区分了一系列复杂性特征。结果表明，模型不仅对句子长度有意义的偏见，还整合了跨语言之间的差异。同时，作者还进行了随机单词顺序的控制实验，并发现该模型似乎还捕捉到了更复杂的结构信息。

Feb, 2023

本文提出了一种适用于各种语言中单词阅读时间的多语言和跨语言预测的统一模型。通过使用国际音标将单词转换为通用语言表示，该模型的预处理步骤是成功的关键。该模型从基本频率、n-gram、信息论和心理语言学启发的预测变量中提取了各种特征，随后使用随机森林模型进行训练，实现了最佳表现。

Feb, 2022

本文研究了视觉语言模型的零样本跨语言迁移。我们专注于多语言文本到视频搜索，并提出了一种基于 Transformer 模型的方法来学习上下文相关的多语言多模态嵌入。在零样本设置下，我们在用非英语句子查询多语言文本 - 视频模型时发现性能显著下降。为了解决这个问题，我们引入了多语言多模态预训练策略，并收集了一个新的多语言教学视频数据集（MultiHowTo100M）进行预训练。在 VTT 上的实验表明，我们的方法显著提高了非英语语言的视频搜索效果，而无需额外的注释。此外，当有多语言注释时，我们的方法在 VTT 和 VATEX 上的多语言文本到视频搜索以及 Multi30K 上的多语言文本到图像搜索方面大幅优于最近的基准线。

Mar, 2021

本论文探讨采用跨语言预训练的零样本方法来学习多模态表示，提出建立跨语言图像检索模型的简单实用方法，并引入了一种新的目标函数来测试多语言 MSCOCO2014 字幕测试数据集（XTD10）的零样本模型性能，证明跨语言模型可用于零样本的下游任务， 如多语言图像标记。

Sep, 2021

该论文介绍了一种使用跨语言预训练进行零 - shot 学习的多模式语言和视觉问题解决方法，它可以用于构建跨语言图像检索模型和改进文本嵌入聚类，并在多语言环境下进行评估。

Nov, 2020