本研究通过对预训练语言模型处理混合语言文本的能力、模型捕捉混合语言文本的结构信息的变化性以及语义信息表达的一致性的研究，揭示了预训练语言模型在泛化到混合语言文本上的有效性，从而为这些模型在处理混合语言资源方面的能力提供了洞察。

Mar, 2024

通过将大型语言模型转化为多模态模型，能够在无需复杂预训练的情况下，方便地为非文本响应提供高度灵活性的多模态方案。

Sep, 2023

通过 PropLex 基准和模型，我们提出了一项新的任务，即面向语言熟练度的词汇替换，并展示了使用特定任务合成数据对 Llama2-13B 模型进行微调的最佳模型，在 F-score 上超过 ChatGPT 平均 3.2％，并在 ProLex 上获得与 GPT-4 相当的结果。

Jan, 2024

通过对比多个 LLM 模型，在机器翻译任务中，我们发现相对较简单的模型性能优于多语言大型语言模型，表明多语言大型语言模型在上下文代码切换方面的有效性受到训练方法的限制。与之相反，当相对较小的模型在定制的数据集上进行训练和微调时，可能会产生更好的结果。

Dec, 2023

本文通过大量实证研究探索了多语言大型语言模型在涉及语种切换的情况下情感分析、机器翻译和单词级别语言识别等任务的表现。研究显示，虽然这些模型在使用零 / 少量提示时在某些任务中表现出色，但与较小的微调模型相比，它们的性能仍然有所不适。因此，研究者认为未来需要进一步研究来完全弥合这一差距。

May, 2023

为了解决训练混合语言模型的困难，本研究提出了一种基于序列 - 序列模型及 copy 机制的新型训练方法，通过有限的混合语言数据和单语数据的并行翻译生成需要的混合语言数据，且无需对齐或分析，实现了良好的表现，并显著提高了末端自动语音识别。

Sep, 2019

本文研究如何用神经机器翻译模型生成印地语 - 英语混合语种句子。通过预训练和使用合成数据来提高模型性能，生成的文本可用于数据增强，提高了语言模型任务和自然语言推理任务的性能，人工评估和客观指标的结果展现出了接近或优于印地语为母语的人群工作者生成的混合语种文本。

Jul, 2021

本研究提出了一种名为 SwitchPrompt 的轻量级提示方法，通过使用可训练的闸门提示和领域特定关键字，将预训练的通用领域语言模型来适应各种低资源域，实验结果表明 SwitchPrompt 减少了领域特定语言模型预训练的需求，并在三种文本分类基准测试中显著提高了准确率，比基准提示方法训练出的领域特定对应物最高可提高 10.7％。

Feb, 2023

本研究提出了一种基于多语言变形器语言模型的框架，将区分资源丰富和资源贫乏语言作为参考来逐步从资源丰富语言的样本到资源贫乏语言的样本进行训练，来解决多语言情感分析中的跨语言学习问题。实验证明，该框架能有效帮助资源贫乏语言的样本训练。

Oct, 2022

本研究提出了一种基于多任务学习的语言模型，其共享语言的语法表示，从而利用语言学信息并解决低资源数据问题，通过同时学习语言建模和语音标记来识别代码切换点的位置并改进下一个词的预测，实验表明该方法在 SEAME Phase I 和 Phase II 数据集上的困惑度分别提高了 9.7% 和 7.4%，优于基于标准 LSTM 的语言模型。

May, 2018