通过引入语言模型先验（LMPriors），该研究证明了利用元数据来鼓励下游模型与 LM 的常识推理保持一致可以提高模型性能，并在多个任务中表现出良好的性能，如特征选择、因果推断和安全强化学习。

Oct, 2022

本文介绍了一种新的神经翻译模型加入语言模型的先验知识的方法，通过加入正则化项确保神经翻译模型输出分布在语言模型先验下的概率合理，而避免与语言模型的不一致。与先前的工作不同，该方法只在训练时使用语言模型，并不会降低解码速度，实验结果表明该方法适用于小数据量机器翻译任务。

Apr, 2020

整合专家提供的背景知识可以改善观测数据的因果结构发现，并且由于对比人工专家而言查询它们的成本较低，最近开始将大型语言模型（LLM）视为提供先验信息的来源。本研究首先提出了一组用于独立于下游算法评估 LLM 判断因果图发现的度量标准。其次，我们系统地研究了一组提示设计，使模型能够指定关于因果图结构的先验。最后，我们提出了一种将 LLM 先验整合到图发现算法中的通用方法，发现它们在常识基准和特别是用于评估边缘方向性时有助于提高性能。我们的研究突显了在该问题空间中使用 LLM 的潜力和局限性。

May, 2024

本文提出了一种统一的数据创建流程，只需一个格式示例，适用于包括传统上问题较多的任务在内的广泛范围，通过实验证明使用指令跟随型大型语言模型创建的数据比使用人工标注的数据在分布外评估上表现更好（高达 17.5%），同时在分布内任务上保持可比较的性能，这些结果对于在现实世界中部署的自然语言处理系统的稳健性具有重要意义。

Oct, 2023

通过实验和分析，本文旨在对小型语言模型的推理性能和能量效率进行基准测试，并得出结论说明模型复制可以有效提高服务小型语言模型时的资源利用率。

Apr, 2024

本文探索了使用大型语言模型作为 HRI 的 0 模型的潜力，并在三个社交数据集上进行了实验，结果显示 LLMs 能够实现与定制模型相当的性能，同时还讨论了当前的限制。基于我们的发现，我们展示了 LLM 人类模型如何集成到社交机器人的规划过程中并应用于 HRI 场景。我们的结果表明 LLMs 为 HRI 的人类建模提供了一种有前途但不完整的方法。

Mar, 2023

人类中心的自然语言处理，大型人类语言模型（LHLMs），人类背景和动态人类背景的关键设计考虑和挑战。

Nov, 2023

基于大型语言模型的系统，在用户隐私方面存在问题，需要更多关注人类隐私问题的研究，包括设计范例对用户的行为披露、用户心智模型和隐私控制偏好的影响，以及赋予终端用户对个人数据的拥有权的工具设计，在此基础上构建可用、高效、具有隐私友好性质的系统。本文旨在启动关于人类隐私问题研究的讨论，为基于大型语言模型的系统中的隐私问题制定议程。

Feb, 2024

本文介绍了最近关于预训练语言模型（PLMs）的新进展，重点讨论了大型语言模型的预训练、适应和调整、利用和容量评估四个方面，并讨论了未来研究的问题和方向。

Mar, 2023

利用贝叶斯统计模型，研究了大型语言模型（LLMs）在人类行为预测方面的类人特性，发现 LLMs 不能准确捕获人类数据的各项细节，但在聚合和条件水平的预测方面可以有效适配人类数据，显示出某些不同的方法可以使其得到充分的分布式预测。

Jun, 2024