句法与语义的交汇：通过代理性探究语言模型的句法 - 语义接口

May, 2023

句法与语义的交汇：通过代理性探究语言模型的句法 - 语义接口

Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity

Lindia Tjuatja, Emmy Liu, Lori Levin, Graham Neubig

TL;DR以 semantic notion of agentivity 为例，研究了 large language models 在句法和语义交互方面的表现；作者创建了一个新颖的评估数据集，发现 GPT-3 的表现非常好，甚至比语法和语义语料库的统计结果还要好，这表明大语言模型可能对语言注释、理论测试和发现比某些任务的语料库更有用。

Abstract

Recent advances in large language models have prompted researchers to examine their abilities across a variety of linguistic tasks, but little has been done to investigate how models handle the interactions in meaning across words and larger syntactic forms -- i.e. phenomena at the int

large language models agentivity lexical level syntactic context text-davinci-003

发现论文，激发创造

GilBERTo 中的能动性和目的性：认知启示

研究目的是调查基于 Transformer 的神经语言模型是否能推断词汇语义，并利用这些信息来完成形态句法模式的构建；研究考虑了 telicity（兼具确定性）和 agentivity 两个语义特性，它们在语义和句法语言之间的交接处起作用，既受语义决定，又在句法上编码；实验分别让计算模型和一群意大利母语者完成了这些任务，通过比较两组数据，我们可以研究神经语言模型在多大程度上捕捉到人类语义能力的重要方面。

Jul, 2023

使用深度网络在大脑中区分语法和语义

通过对 GPT-2 的激活进行统计的方法，将语言模型的高维度激活分解成四个组合类别：词汇、组合、句法和语义表示，并发现组合表示比词汇表示更广泛地招募了大脑皮层网络，并且句法和语义共享一个分布式神经基础。该研究提出了一个多功能的框架来分离神经活动中的语言建构分布式表示。

Mar, 2021

您是一位专业的语言标注专家”：LLMs 作为抽象意义表达分析器的限制

通过比较 GPT-3、ChatGPT 和 GPT-4 模型的分析结果，研究发现这些模型能够可靠地重现 AMR 的基本格式，并且通常能够捕捉到核心事件、论证和修饰结构，但模型的输出容易出现频繁和重大错误，从整体上来看，即使在演示中，模型也几乎没有成功地产生完全准确的解析结果，这表明这些模型尽管能够捕捉到语义结构的某些方面，但在支持完全准确的语义分析或解析方面仍存在关键的局限性。

Oct, 2023

神经模型中的语义 - 句法推理

研究使用神经模型捕捉词汇句法推理的能力。我们以事件事实预测任务为案例研究对象，并建立一个各种句法上下文中所有英语嵌入子句动词的事实判断数据集。我们使用这个数据集来探究当前最先进的神经系统的行为，揭示了这些系统在事实预测方面会出现某些系统性错误。

Aug, 2018

神经机器翻译中语义现象的自然语言推理评估

本文提出一个过程，用于研究神经机器翻译 (NMT) 系统生成的句子表示如何编码不同的语义现象，最终发现编码器最适合在语法 - 语义界面上支持推理，而不是需要世界知识的指代消解。

Apr, 2018

将大型语言模型与逻辑编程相结合，从文本中进行稳健和通用的推理

本研究探讨大型语言模型在自然语言推理任务上的表现。通过使用少量样本指导大型语言模型进行任务适应，以及可应用于多个任务的可重用的知识模块，结合逻辑形式输入的答案程序，实现了在多项 NLP 基准测试上的最新性能，包括 bAbI，StepGame，CLUTRR 和 gSCAN，并成功解决了机器人规划任务，而大型语言模型单独无法解决。

Jul, 2023

元语义学：迈向更好的自然语言理解和推理

本文提出了两种解决 out-of-vocabulary 问题的策略和一个语义模型，以解决传统深度神经网络和基于规则的方法在自然语言理解上所面临的挑战。

Apr, 2023

盲目阅读和行动：文本游戏代理需要语义学

以基于文本的游戏为测试平台，研究了自然语言理解代理的语义理解能力；实验结果表明，在降低语义信息量的情况下，自主代理仍能够在游戏中取得高分，提出了逆动力学解码器来增强语义理解的性能。

Mar, 2021

评估具有数据库问答功能的 LLM 智能体中推理和行动的整合

本研究介绍了一个新的长格式数据库问答数据集，旨在评估大型语言模型（LLMs）与 SQL 解释器的互动。研究发现即使对于最先进的 GPT-4 模型，这个任务也存在巨大挑战。我们提出并评估了两种互动策略，并对互动过程中的各个阶段进行了细致分析。一个重要发现是确定了两个主要瓶颈，即规划能力和生成多个 SQL 查询能力。为了解决准确评估答案质量的挑战，我们引入了一个多代理评估框架，模拟学术同行评审过程，增强了我们评估的精确性和可靠性。该框架使我们能够更加细致地了解当前 LLMs 在复杂检索和推理任务中的优点和局限性。

Nov, 2023

大型语言模型展示对新颖文学隐喻的演绎能力

通过评估 GPT-4，一个尖端的大型语言模型，在解释塞尔维亚诗歌中提取的新颖文学隐喻时所提供的自然语言解释能力，它未展现出之前接触过这些隐喻的迹象，但提供了详细而深刻的解释，被盲审的人员（不知道涉及 AI 模型的事实）将 GPT-4 生成的隐喻解释评为优于来自一组大学生的解释，这些结果表明 GPT-4 等大语言模型已经获得了解释复杂新颖隐喻的新兴能力。

Aug, 2023