该研究通过比较人类和大型语言模型（LLMs）之间的推理判断的共性和差异，以及对三个类别（NLI、contextual QA 和 rationales）的多个数据集进行评估，揭示了 LLMs 在复杂推理环境中的多步推理上的优势和人类在简单推理方面的优势，并引入了一种经过精细调整的 Flan-T5 模型来提高自洽性，在三个多项选择问答数据集上平均提高了 6% 的性能。

Feb, 2024

这篇论文研究 LLMs 在理解语境方面的能力，通过实验发现目前的 LLMs 模型在完成只需要二进制推断的对话时表现平庸，需要进一步研究如何使得 LLMs 适应更贴合人类意图的对话模式。

Oct, 2022

本文探讨了使用 Gricean 数据训练语言模型，能够推断出句子之间的蕴含关系，并揭示了从无标签语言数据中提取语义信息的潜在框架。

Sep, 2022

本文通过在英语材料的专家评估集上进行零 - shot 提示，进行了人类和语言模型在七个语用现象上的精细比较，发现最大的模型可以实现高精度和匹配人类错误模式，同时发现证据表明模型和人类对相似的语言提示敏感，旨在探讨人类语用处理机制和语言模型之间的关系。

Dec, 2022

本文考察了大型语言模型对语言习得中的概率关系和上下文敏感性建模的能力，并针对基于强度先验条件的语境下的 pragmatism utterances 进行了阈值估计实验。结果表明该方法成功地推导出了一些复杂 pragmatic utterances 相关的人类类似信息分布，但对于否定的组成较为困难。

May, 2023

本文在构建议程推理和预设的诊断数据集后，评估了在 MultiNLI 训练的 BERT、InferSent 和 BOW NLI 模型学习进行实用推理的能力。结果表明，尽管 MultiNLI 中的很少数的偶合类型表示，但 BERT 可以绘制实用偶合，而 BOW 和 InferSent 则表现出较弱的实用推理证据。

Apr, 2020

本论文旨在针对基于预训练语言模型（LMs）的语用能力，重点关注与话语连接词有关的语用能力。我们通过自然发生的数据和来源于心理语言学的控制输入结合的方式来制定填空测试方式，重点测试模型使用语用线索预测话语连接词的能力、理解与连接词相关的含义，以及模型对连接词时间动态的人类偏好程度。我们发现，虽然模型在自然发生数据的情境下可以合理地预测连接词，但当我们控制语境以孤立高级语用线索时，模型的灵敏度较低，而模型也没有显示出显著的人类时间偏好。总体而言，研究结果表明，在现阶段，主流的预训练模型不能够达到具备实质性的语用能力。

Sep, 2021

研究神经网络句子编码器是否能够学习利用语言特征预测实用推理的强度，发现 LSTM 句子编码器能够高精度地预测人类推理强度评分，并学会利用语言特征预测实用推理。

Oct, 2019

使用显式的实用推断对于复杂的序列任务生成和遵循自然语言指令是有帮助的，研究表明实用推断可以提高在不同环境下生成和理解自然语言指令的效果。

Nov, 2017

分析了两个自然语言推理数据集的语言特征，发现机器学习模型难以理解介词和动词语义重要性，不能理解反义词和同音词，不能理解不完整的句子和罕见单词短语，因此需要在训练过程中尽可能利用更多外部知识。

Oct, 2022