May, 2024

大型语言模型逐步理解句法有迷惑作用的句子：语义解释、句法重新分析和注意力

PDF
TL;DR阅读临时模糊句子时，错误解释有时会一直存在，甚至超过消除模糊的点。本研究通过使用四种大型语言模型（LLMs）——GPT-2、LLaMA-2、Flan-T5 和 RoBERTa，以及在线和离线的测量方法，调查了对园路理解句子的处理和错误解释的命运。研究结果表明，当有额外的语法信息可以引导处理时，人类和 LLMs 在处理园路理解句子方面存在良好的一致性。
garden-path sentenceslingering misinterpretationslanguage modelsprocessingalignment
发现论文，激发创造
  • GPT-2 中的花园路遍历

    本研究提出了一系列分析 GPT-2 内部状态的方法，并以对花园路径句子的遍历作为案例研究，使用最大的可用数据集编译了花园路径句子，并展示了曼哈顿距离和余弦相似性提供了比分析下一个标记概率更可靠的见解。通过这些方法，研究发现否定标记对动词对象明确的句子的表示影响较小，而对语态造成歧义的明确句子的表示影响更大。研究还发现分析解码器模型的隐藏状态揭示了可能会产生花园路径效应的歧义期，而惊奇分析通常会忽略这一细节。

    May, 2022

  • 机器心理学：大型语言模型预测人类记忆

    通过测试 ChatGPT 在语言记忆任务中对人类表现的预测能力，研究发现 ChatGPT 和人类的表现有惊人的一致性，尽管它们的内部机制可能存在显著差异，这一发现强调了生成型人工智能模型在准确预测人类表现方面的潜力。

    Mar, 2024

  • 神经模型中的句法惊讶预测语法歧义对人类处理难度的影响，但低估了它

    研究人类阅读园路效应时，提出的 surprisal 理论假设阅读者的速度减慢是由于句子中每个单词的不可预测性。但最近的研究表明，该假设低估了句法预测的影响。作者提出了计算句法预测能力的方法，并发现将其与词汇预测能力区分开来可以更准确地估计园路效应的影响。然而，即使这样，surprisal 仍然远远低估了人类阅读园路效应的影响。

    Oct, 2022

  • 大脑中的多路径分析

    人类通过逐词理解句子来理解句子，这意味着需要解决关于句法关系的临时歧义。我们通过将增量式生成依赖解析器的预测与人们在听音频书时进行功能性神经影像学时期的时间数据相关联来研究人类如何处理这些句法歧义。特别是，我们比较两种关于逐词理解中涉及的句法解析数量的竞争假设：一个与多个。这种比较包括使用经过 LLM 自适应编码的最先进的依赖解析器评估句法意外性与现有的 fMRI 数据集。在英文和中文数据中，我们发现了多通路解析的证据。与这种多通路效应相关的大脑区域包括双侧颞上沟。

    Jan, 2024

  • 大型语言模型中的范围模糊性

    研究了不同版本的自回归语言模型（GPT-2，GPT-3/3.5，Llama 2 和 GPT-4）如何处理涉及语义操作符的语义模糊句子，并与人类判断进行比较。发现几个模型对这些句子中的含义模糊很敏感，与人类判断相吻合，并且能够以高准确度（某些情况下超过 90%）识别出人类首选的解读。

    Apr, 2024

  • 您是一位专业的语言标注专家”：LLMs 作为抽象意义表达分析器的限制

    通过比较 GPT-3、ChatGPT 和 GPT-4 模型的分析结果，研究发现这些模型能够可靠地重现 AMR 的基本格式，并且通常能够捕捉到核心事件、论证和修饰结构，但模型的输出容易出现频繁和重大错误，从整体上来看，即使在演示中，模型也几乎没有成功地产生完全准确的解析结果，这表明这些模型尽管能够捕捉到语义结构的某些方面，但在支持完全准确的语义分析或解析方面仍存在关键的局限性。

    Oct, 2023

  • 大规模语言模型（LLMs）中的语义歧义分析

    本研究旨在分析和讨论 ChatGPT 和 Gemini 等模型中的语言歧义，关注巴西葡萄牙语中的语义、句法和词汇歧义。通过创建一个包含 120 个歧义和非歧义句子的语料库，进行分类、解释和消除歧义。结果经过定性分析和基于回答准确性的定量评估，证明了即使是像 ChatGPT 和 Gemini 这样先进的模型在回答中也存在错误和不足，解释通常是不一致的。此外，准确性达到了 49.58％的峰值，表明有必要进行有监督学习的描述性研究。

    Apr, 2024

  • 大型语言模型的组合语义解析

    通过逐步提示的基于句法分析的分解，本研究发现了更多语义分析任务中的挑战。这一最优方法使我们在 CFQ 上取得了最新的技术成果，同时只需要传统方法所需训练数据的 1％。由于我们方法的普适性，我们期望类似的方法将在知识密集型应用中取得新的成果。

    Sep, 2022

  • 将大型语言模型与逻辑编程相结合，从文本中进行稳健和通用的推理

    本研究探讨大型语言模型在自然语言推理任务上的表现。通过使用少量样本指导大型语言模型进行任务适应，以及可应用于多个任务的可重用的知识模块，结合逻辑形式输入的答案程序，实现了在多项 NLP 基准测试上的最新性能，包括 bAbI，StepGame，CLUTRR 和 gSCAN，并成功解决了机器人规划任务，而大型语言模型单独无法解决。

    Jul, 2023

  • 语言笔者大：LLMs、ChatGPT、接地、意义与理解

    ChatGPT 是如何运作并具备超过预期能力的？本文通过与 ChatGPT-4 对话的方式，对 ChatGPT 作出解释，包括与语言自身相关的良性偏见、语言的间接语义基础以及神经网络中的类别学习等。

    Feb, 2024