通过引入语言模型先验（LMPriors），该研究证明了利用元数据来鼓励下游模型与 LM 的常识推理保持一致可以提高模型性能，并在多个任务中表现出良好的性能，如特征选择、因果推断和安全强化学习。

Oct, 2022

本文介绍了一种新的神经翻译模型加入语言模型的先验知识的方法，通过加入正则化项确保神经翻译模型输出分布在语言模型先验下的概率合理，而避免与语言模型的不一致。与先前的工作不同，该方法只在训练时使用语言模型，并不会降低解码速度，实验结果表明该方法适用于小数据量机器翻译任务。

Apr, 2020

通过大型语言模型 (LLM) 以及强化学习技术，我们开发了一种名为 LLaRP 的方法，使得 LLM 可以作为具有推广性的策略应用于具体视觉任务中，能够忽略任务指令的复杂改写并生成新的最佳行为，在未见过的任务中达到了其他常见的学习基线或零样本 LLM 应用的 1.7 倍成功率，并发布了一个名为 “Language Rearrangement” 的新基准测试数据集，用于研究基于语言、多任务和具体化 AI 问题。

Oct, 2023

利用贝叶斯统计模型，研究了大型语言模型（LLMs）在人类行为预测方面的类人特性，发现 LLMs 不能准确捕获人类数据的各项细节，但在聚合和条件水平的预测方面可以有效适配人类数据，显示出某些不同的方法可以使其得到充分的分布式预测。

Jun, 2024

本文介绍了 Kosmos-1，它是一个多模态大语言模型（MLLM），可以感知一般模态，可以在上下文中学习，可以零 - shot 地遵循说明，并在各种任务上取得了卓越的性能，包括语言理解、生成，多模态对话，图像字幕，视觉问答等，并证明 MLLM 可以从跨模态转移中受益，即从语言到多模态和从多模态到语言。此外，我们还介绍了 Raven IQ 测试数据集，用于诊断 MLLM 的非语言推理能力。

Feb, 2023

基于自注意力机制的大型语言模型在语言处理和自然语言本身中取得了惊人的成绩，并且在不同性质的各种任务中也取得了成绩。本文在预测编码框架内提出了一个平均场学习模型，成功地验证了其在分类手写数字和玩具以及真实语言语料库中的有效性。因此，我们的模型为研究语言处理和意想不到的普遍智能的物理和生物对应关系提供了一个起点。

Sep, 2023

构建能够处理数字数据并根据自然语言文本进行概率预测的回归模型，以整合先前的知识和信念，提高预测性能并给出定量结构。

May, 2024

通过加入图像和文本等多种形式的感官信息以及使用对象的潜在表示对 LLM 进行扩展，以更好地预测动作结果，进而推广并学习物理常识推理。

Jan, 2023

本文从语言单位、结构、训练方法、评估方法和应用等五个方面，介绍了传统语言模型和预训练语言模型，讨论了二者的关系和语言模型在预训练时代的未来发展方向。

Mar, 2023

使用语言模型的长期动作预测方法 (LALM) 在 egocentric vision 中取得了领先地位，通过整合动作识别模型与视觉 - 语言模型，利用过去的事件信息进行动作预测，达到了在不同复杂活动中的泛化能力。

Nov, 2023