实验背景下可以促进语言模型中的稳健语义属性推理，但结果不一致

Jan, 2024

Experimental Contexts Can Facilitate Robust Semantic Property Inference in Language Models, but Inconsistently

Kanishka Misra, Allyson Ettinger, Kyle Mahowald

TL;DR在先前研究中，语言模型在执行属性继承任务方面表现不佳，然而我们的研究表明，在实验环境中加入上下文示例和指令可以显著提高语言模型的鲁棒性，但这一能力并不一致，暗示着语言模型在语义属性推理的计算原则方面仍有待改进。

Abstract

Recent zero-shot evaluations have highlighted important limitations in the abilities of language models (LMs) to perform meaning extraction

发现论文，激发创造

通过神经语言模型进行财产归纳，研究发现它们基于类别成员资格表现出归纳偏好，暗示了其表述中存在分类偏差。

May, 2022

通过对 40 个具有挑战性的任务提出带有答案解释的问题及各种匹配控制解释，我们发现解释可以提高大型语言模型在具有挑战性的任务上的零次和少量样本的表现，并且仅大型模型有益处。

Apr, 2022

该研究探讨了大型语言模型的上下文学习能力及其理论机制，提出了基于自然语言数据中组合操作的信息理论边界，并从语言学角度验证了模型输出中间步骤的成功经验。研究表明，在缩放参数和数据并提示输出中间步骤时，模型能在多项任务中进行有效的上下文学习，这种学习得到的支持与其输入的组成结构有关。

Mar, 2023

本论文通过 COMPS 测试不同 PLMs 的语义概念属性及其推理能力，结果表明 PLMs 在基于知识表达的相关概念中表现相对困难且缺乏鲁棒性，从而对 PLMs 在正确推理方面的能力提出重要问题。

Oct, 2022

通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。

Dec, 2023

本文将上下文学习的概念应用于无监督学习，以开发一种新的算法用于预测分子性质，并在小样本支持时超过了最近的元学习算法，在大样本支持时与最佳方法具有竞争力。

Oct, 2023

我们研究了使用分离的概念和属性编码器来细调语言模型，以显式地模拟概念及其属性，以此来预测常识属性的可行性，结果显示与直接细调语言模型相比，使用所提出的编码器能够更高准确率地预测常识属性。

Oct, 2022

本研究探讨了大语言模型中的上下文学习现象，并证明了基于长期相关性的预训练可以促进上下文学习。通过人工合成数据集，实验结果表明了模型规模对上下文学习的影响，以及例子顺序和零样本学习等现象。

Nov, 2021

该研究论文探讨了大型语言模型 (LLMs) 是否能够根据不同任务示例的上下文信号来解决新任务，并设计了一个跨任务提示设置，并表明 LLMs 在无需上下文提示的情况下能够获得显著的性能提升，同时展示了模型激活相似性与跨任务示例效果之间的强相关性。

May, 2024

该研究探讨预训练语言模型进行知识注入和推理的能力，发现目前的更新方法存在学习效果局限性，但将实体定义放在上下文中可提高性能，表明参数更新方法的知识注入还有很大的潜力。

May, 2023