该研究提出了一种信息论框架，将跨语言语言模型预训练作为最大化多语言 - 多粒度文本之间的相互信息来表述，以提高预训练模型的跨语言可迁移性，并提出了一种基于对比学习的预训练任务，实现了更好的预训练模型性能。

Jul, 2020

跨语言跨模态检索致力于在不使用任何标注的视觉 - 目标语言数据对的情况下实现视觉和目标语言之间的对齐。本研究提出了一种名为 CL2CM 的通用框架，使用跨语言转移改善了视觉和目标语言之间的对齐，可在跨模态网络中为可靠全面的语义对应（知识）提供优势，并通过在多语言图像 - 文本数据集和视频 - 文本数据集上进行实验验证了其高潜力和有效性。

Dec, 2023

该研究开发了多语言主题模型（MuTo）来分析两种语言的文档，其使用随机 EM 来发现匹配语言和多语言潜在主题，因此能够发现真实世界中的共享主题，而无需仔细策划平行语料库，并允许广泛应用主题模型规范的应用于更广泛的语料库类别。

May, 2012

本文提出了一种只需字典作为训练数据的多语言主题模型，并在部分和完全不可比的语料库中有效地学习到一致的多语言主题，从而实现跨语言任务。

Jun, 2018

本研究提出一种基于条件双语互信息（CBMI）的目标上下文感知统计度量方法，用于改善神经机器翻译中令人困扰的令牌不平衡问题，有效提高模型性能，实验结果显示，我们的方法明显优于 Transformer 基线和其他相关方法。

Mar, 2022

本研究介绍了一种名为 Cross-View Language Modeling 的语言模型预训练框架，通过共享架构和目标统一交叉语言交叉模态预训练。我们的方法将多模态数据（即图像字幕对）和多语言数据（即平行句子对）作为同一对象的两个不同视角，通过条件掩蔽语言建模和对比学习对两个视角进行对齐。在多语言多模态基准 IGLUE 和两个多语言图像文本检索数据集上的实证结果表明，CCLM 显着优于先前的最新技术，在绝对平均改进方面超过 10％，是第一个在零 - shot 跨语言传输下超越代表性的英语视觉语言模型的多语言多模态模型。

Jun, 2022

本研究提出了一种新颖的神经话题模型（NTM-DMIE），可在无监督文本挖掘中应用。该模型结合了深度互信息估计和对抗学习，进一步保留文本输入的代表信息，并通过全局和局部互信息来维护输入文档中的丰富信息，并在几个度量标准方面表现出良好的性能。

Mar, 2022

本研究分析了在跨语言文本分类中使用 in-context learning 的问题，并提出了一种称为 Cross-lingual In-context Source-Target Alignment (X-InSTA) 的 prompt 构建策略，该策略在 44 个不同的跨语言数据集上表现出了很好的性能。

May, 2023

本文提出了一种新的双语互信息（BMI）自适应目标函数，通过从双语视角度量每个目标单词的学习难度并相应地分配自适应权重来改进基于令牌级别的自适应训练，实验结果表明与变压器基线和以前的令牌级别自适应训练方法相比，本方法优越性明显，并能够改善词汇多样性。

May, 2021

本文介绍了一种基于相互信息最大化的神经机器翻译模型，该模型使用一种简单的重新排序方法和一种增加 N-best 列表多样性的解码算法，应用于 WMT 德英和法英任务中，该模型能够在标准 LSTM 和基于注意力的神经机器翻译体系结构上提供持续的性能提升。

Jan, 2016