Mar, 2024

混合人工 - LLM 资料库建设与罕见语言现象的 LLM 评估

PDF
TL;DR通过使用依存解析和 GPT-3.5，我们以显著降低的注释成本且能标注稀有现象的规模，开展了一系列针对语言模型 (CxG) 的实验。结果显示所有模型在理解 CMC 中增加的运动成分方面都存在困难。
argument structure constructionsconstruction grammarlarge language modelscaused-motion constructionlinguistically annotated text
发现论文，激发创造
  • 论施事结构构式的神经实现

    本研究适用于多项心理语言学的研究方法，发现了 Transformer-based 语言模型 (LMs) 中的 Argument Structure Constructions (ASCs) 的存在，并对研究者提供了未来通过心理语言学实证研究语言模型的方法和方向。

    Feb, 2022

  • 建构语法为神经语言模型提供独特的洞见

    本研究基于构式语法，对大型预训练语言模型（PLMs）在构式结构和含义方面的性能进行了探究，并提出了未来研究的建议和挑战。

    Feb, 2023

  • 更好的语法，更好的语义？探究预训练语言模型对于英语比较关联的渗透

    本文基于预训练语言模型研究了构式语法（CxG）与句法语义知识的兼容性，并探讨了预先训练的语言模型在英语比较关联结构（CC）的分类和理解中的表现，结果显示预训练语言模型的类人表现与语言学知识之间还存在显著差距。

    Oct, 2022

  • 探索构式的结构：一个计算语言学的 CxG 的分析

    通过学习构造语言学，将无人监督语法与语言学视角相结合，形成计算构造语法的任务，生成构建词的语料库；并且，将学习到的构建词的 Token 和类型等推广到不同的社会和地理语言方言的变异模式上的一项研究工作。

    Jan, 2023

  • 基于 LLM 的数据增强方法提升跨语言表现

    本研究探讨了利用大型语言模型进行数据增强在跨语言常识推理数据集中的潜力，通过使用包括 Dolly-v2、StableVicuna、ChatGPT 和 GPT-4 在内的大型语言模型来扩充三个数据集，确定了该方法的有效性，并比较了使用英语生成数据和将英语生成的数据翻译成目标语言。实验结果表明，使用 GPT-4 生成的合成数据进行训练的性能比其他模型优秀，ChatGPT 和 GPT-4 在大多数语言中生成的自然文本效果非常好，但在某些情况下，它们的效益会下降。

    May, 2023

  • 您是一位专业的语言标注专家”：LLMs 作为抽象意义表达分析器的限制

    通过比较 GPT-3、ChatGPT 和 GPT-4 模型的分析结果，研究发现这些模型能够可靠地重现 AMR 的基本格式，并且通常能够捕捉到核心事件、论证和修饰结构，但模型的输出容易出现频繁和重大错误，从整体上来看，即使在演示中，模型也几乎没有成功地产生完全准确的解析结果，这表明这些模型尽管能够捕捉到语义结构的某些方面，但在支持完全准确的语义分析或解析方面仍存在关键的局限性。

    Oct, 2023

  • 大型语言模型是否能理解常见词汇的不常见含义？

    通过创新构建一个包含细粒度和跨语言维度的词汇语义理解数据集，本研究揭示了大语言模型在基本词汇意义理解任务上的性能不佳，甚至落后于 16 岁的人类 3.9% 和 22.3% 分别。这突显了其关键不足，并激发了进一步研究和开发更智能的大语言模型的新见解。

    May, 2024

  • 利用结构信息增强语言表示以提升自然语言理解能力

    本文介绍了一种使用构造语法概念来丰富语言表示的方法，该方法由一种基于使用的构造语法框架支持，通过提取具有辨别性的构造，然后利用关系超图注意网络获取构造信息的表示来增强语言表示，实验结果表明该模型在各种自然语言理解任务方面具有明显优势。

    Jun, 2023

  • 使用 CCG 分析和大型语言模型建模大脑中的结构构建

    通过使用组合范畴语法（CCG）作为语法模型，研究人员发现可以更好地理解自然环境中语言理解的行为和神经相关性。使用 fMRI 收集参与者听故事期间的神经信号，研究发现 CCG 在解释神经信号方面的有效性优于上下文无关文法，并可以从可选附加语方面解释。

    Oct, 2022

  • 面向目标的语法评估语言模型

    该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

    Aug, 2018