透过话语连接词观察预训练语言模型的实用能力

Sep, 2021

透过话语连接词观察预训练语言模型的实用能力

Pragmatic competence of pre-trained language models through the lens of discourse connectives

Lalchand Pandia, Yan Cong, Allyson Ettinger

TL;DR本论文旨在针对基于预训练语言模型（LMs）的语用能力，重点关注与话语连接词有关的语用能力。我们通过自然发生的数据和来源于心理语言学的控制输入结合的方式来制定填空测试方式，重点测试模型使用语用线索预测话语连接词的能力、理解与连接词相关的含义，以及模型对连接词时间动态的人类偏好程度。我们发现，虽然模型在自然发生数据的情境下可以合理地预测连接词，但当我们控制语境以孤立高级语用线索时，模型的灵敏度较低，而模型也没有显示出显著的人类时间偏好。总体而言，研究结果表明，在现阶段，主流的预训练模型不能够达到具备实质性的语用能力。

Abstract

As pre-trained language models (LMs) continue to dominate NLP, it is increasingly important that we understand the depth of language capabilities in these models. In this paper, we target pre-trained LMs' competence in

pre-trained language models pragmatics discourse connectives psycholinguistics implicatures

发现论文，激发创造

人类与语言模型的语用语言理解的精细比较

本文通过在英语材料的专家评估集上进行零 - shot 提示，进行了人类和语言模型在七个语用现象上的精细比较，发现最大的模型可以实现高精度和匹配人类错误模式，同时发现证据表明模型和人类对相似的语言提示敏感，旨在探讨人类语用处理机制和语言模型之间的关系。

Dec, 2022

预训练如何改善基于语篇的翻译？

本研究探讨了预训练语言模型在捕捉篇章关系上的能力，并通过探究任务验证了不同架构和层数的 PLMs 的表现，得出了对于不同 NMT 任务在何种情况下使用不同层的 PLMs 是最好的决策。

May, 2023

当哪些话语标记影响计算语义理解？

机器自然语言处理系统对话连词的理解和处理能力的评估表明，不同类型的连词在计算处理复杂性上并不总是与人类处理中的预期顺序一致，并且系统对连词的准确理解对最终的 NLP 系统性能有重要影响。

Sep, 2023

文档连贯性建模评估

在理解预训练语言模型对话建模能力方面，我们提出了一种句子入侵检测任务，并在英语方面检查了一系列预训练 LM 的性能。我们通过构建包含英语维基百科和 CNN 新闻文章的 170,000 + 文档的新型入侵句子检测数据集 INSteD，显示预训练 LM 在域内评估中表现出色，但在跨域设置中经验了大幅下降，表明其对跨域推广的能力有限。进一步的，在一个新的语言探测数据集上的结果表明，在跨域设置中有很大的改进空间。

Mar, 2021

大型语言模型：当前辩论的细腻需求和实用角度下的理解

当前大型语言模型（LLMs）在生成符合语法、流畅的文本方面无与伦比。这篇论文针对 LLMs 的能力进行了辩论，并通过批判性评估三个经常在批评中出现的观点来展示 LLMs 仍需更多细化。其次，文章从实证和理论的角度提出了对 LLMs 中 “真正” 的理解和意向性的实用观点，并讨论了在何种情况下将心理状态归因于 LLMs 对于这一日益重要的技术在社会中具有实用的哲学背景。

Oct, 2023

GPT-4 在语言语用学中超越人类表现

本研究通过基于对话的任务评估 Large Language Models（LLMs）和人类主体在解释语用学方面的能力，结果显示 GPT4 在解释语用学方面表现出了优越的性能和速度，同时在人类写作样本的预测试中也表现出了准确性，进一步的分析也揭示了 LLMs 的显著和持续的发展，为通信中心领域 AI 模型的发展和应用提供了重要的启示。

Dec, 2023

韩国大型语言模型的实用能力评估

通过评估 Large Language Models（LLMs）的现状，我们探讨了 LLMs 在韩语背景下的语用能力，包括常规的多项选择题和开放式问题的评估，结果显示 GPT-4 在两种评估设置中表现出色，分别获得 81.11 和 85.69 分，HyperCLOVA X 也得到了良好的分数，尤其在开放式问题的评估中，获得了 81.56 分，与 GPT-4 相比仅相差 4.13 分，而使用 CoT 提示的少样本学习策略则引入了对字面解释的偏见，限制了准确的语用推理能力，这些发现强调了提升 LLMs 在理解和传达超出字面解释的复杂意义方面的重要性。

Mar, 2024

预训练语言模型的话语探测

本文使用七种预训练语言模型，运用七种篇章探测任务，将研究重点从句子级别上升到文档级别上，最终发现 BART 是捕获篇章信息能力最好的模型，但只有其编码器部分表现最佳，BERT 作为基准模型也出奇地表现良好，并且不同层次的模型对篇章信息的刻画效果，以及模型之间的差距巨大。

Apr, 2021

评估统计语言模型作为实用推理器

本文考察了大型语言模型对语言习得中的概率关系和上下文敏感性建模的能力，并针对基于强度先验条件的语境下的 pragmatism utterances 进行了阈值估计实验。结果表明该方法成功地推导出了一些复杂 pragmatic utterances 相关的人类类似信息分布，但对于否定的组成较为困难。

May, 2023

用于心理语言学合理性预测的大型语言模型

使用语言模型生成合理性判断，并在多个语言结构中评估其与人类判断的相关性。发现 GPT-4 与人类判断高度相关，可代替人类进行粗粒度合理性预测试。但在需要细粒度判断时，即使是 GPT-4 也无法提供令人满意的区分能力。

Feb, 2024