连接事实：LLMs 可以从不同的训练数据推理和表达潜在结构
大型语言模型在逻辑推理和符号推理等复杂场景中表现出色，但其在理解逻辑规则上存在限制，本文通过反事实方法探讨了大型语言模型的推理能力，强调了加强机制以确保其可靠的逻辑推理的需求。
Feb, 2024
通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。
Dec, 2023
本篇论文主要介绍了如何通过自监督后训练和上下文学习来增加逻辑知识，从而提高语言模型的逻辑推理能力，取得了比现有基线更好的效果。
May, 2023
对大规模语言模型在超出预定义领域内意图检测任务中的能力进行了综合评估，揭示了它们的优势和劣势，发现 LLMs 表现出强大的零样本和少样本能力，但与使用完整资源进行微调的模型相比仍存在劣势。通过进一步的分析实验，讨论总结了 LLMs 面临的挑战，并提出了对未来工作的指导，包括注入领域知识、加强从领域内到超领域的知识转移和理解长指令。
Feb, 2024
通过研究 LLMs 模型的安全训练以及禁止任务的学习，本文探讨了在明确禁止模型回答任务的情况下，是否可以使用上下文学习（ICL）重新学习这些任务。研究结果显示，ICL 可以成功地破坏安全训练，从而带来了重大的安全风险。
Feb, 2024
基于多模式大型语言模型和大型语言模型，提出了一种新颖的上下文学习方法（In-Context Learning），通过加强因果关系，引导模型识别类比和数据点间的潜在因果关联，使模型能够识别未见过的图像和理解新概念更有效。
Aug, 2023
我们提出了一种估计大型语言模型中嵌入的潜在知识的方法，该方法利用了大型语言模型的上下文学习能力来估计模型对存储在知识库中的事实的了解程度，并且我们的知识估计器避免了以前的提示式方法中存在的可靠性问题，且在概念上更简单且更易于应用，我们证明它可以揭示出更多嵌入在大型语言模型中的潜在知识。我们还研究了不同设计选择对基于上下文学习的知识估计性能的影响。通过所提出的估计器，我们对各种开源大型语言模型（如 OPT，Pythia，Llama (2)，Mistral，Gemma 等）在来自 Wikidata 知识库的大量关系和事实上的事实知识进行了大规模评估。我们观察到不同模型家族和不同大小的模型之间的事实知识存在差异，某些关系普遍比其他关系更为熟知，但是模型在知识上存在差异，以及基本模型和其微调模型之间的知识差异。
Apr, 2024
通过合成实验，我们发现了被称为 meta-OCL 的现象，该现象使 LLMs 更容易 “内部化” 广泛有用的文本的语义内容，并在适当的情况下使用它。我们在合成计算机视觉环境中进一步证明了 meta-OCL，并提出了两个假设：一个依赖模型在其参数中存储知识的方式，另一个暗示基于梯度下降优化器的隐式梯度对齐偏差可能是其原因。最后，我们思考了我们的研究结果对未来人工智能系统能力的暗示，并讨论了潜在的风险。
Oct, 2023
通过探究决策边界对上下文二分类的定性行为，我们发现现有的大型语言模型在简单的二分类任务中学习到的决策边界通常是不规则且非平滑的，本论文研究了影响这些决策边界的因素，并探讨了提高它们泛化能力的方法。通过评估各种方法，包括对大型语言模型的无需训练和微调方法、模型架构的影响以及平滑决策边界的数据高效技术的有效性，我们的研究结果为理解上下文学习动态和改善其鲁棒性和泛化能力提供了更深入的认识和实用改进。
Jun, 2024