ACLApr, 2022

广义量词作为多语言 NLU 基准测试中的误差来源

PDF
TL;DR本文探讨自然语言理解模型处理量词单词的困难性，并基于广义量化器理论提出了一种语言无关的表示方法来解决这一问题。研究发现，与性能降低相关的频繁发生在自然语言理解基准测试中。同时，这篇文章还提出了对抗广义量化器的 NLI 任务（GQNLI），并发现预训练的语言模型对广义量化器推理缺乏鲁棒性。
quantifier wordsnlu modelsgeneralized quantifier theoryperformance dropspre-trained language models
发现论文，激发创造
  • 使用多重量化语句进行自然语言推理神经模型的压力测试

    本文提出了一种生成数据集的方法，用于生成特定的自然语言推理例子，从而更精确地表征语义复杂性，并指出仅强制词汇对齐的模型可以避免关键信息的损失。

    Oct, 2018

  • FRoG：对大型语言模型中广义量词的模糊推理进行评估

    模糊推理在日常环境中对于使用不精确信息至关重要，本文引入了一个新的基准 FRoG，用于对模糊推理进行评估，实验结果表明大型语言模型在处理模糊推理方面仍面临重大挑战，并且现有的增强推理方法在涉及模糊逻辑的任务中并不一致地提高性能。此外，我们的结果显示了大型语言模型在 FRoG 上的逆比例缩放效应，有趣的是，我们还证明了强大的数学推理技能并不一定意味着在我们的基准测试中取得成功。

    Jul, 2024

  • 探索语言上下文对量词预测的影响

    研究语言环境对于预测量词 (`few',`all') 的作用。从人类参与者中收集众包数据，在单句和多句的情况下测试不同模型，发现模型在前者方面的表现显著优于人类，而在后者方面则仅略胜一筹。模型非常有效地利用了词汇和形态句法模式，而人类则更擅长真正理解（全局）语境的含义。

    Jun, 2018

  • 大型语言模型中的量词理解探究

    本文探讨了大型语言模型在量词理解方面的能力，发现传统的测试方法导致了对 LLM 在 few-type quantifiers 上理解能力逆反缩放的错误认知。研究者提出了替代方法，发现随着模型规模的增加，LLM 在量词理解方面的表现与之前的研究不同，并揭示了 most-type quantifiers 存在逆反缩放的特性，这与人类语言认知实验和以前的研究相反。

    Jun, 2023

  • 很少 ' 成问题吗？自然语言模型在预测上表现出与 ' 少量 ' 类量词相反的缩放

    语言模型在量化任务中表现较差，特别是在 Few-type 的量化词上，而且模型越大，表现越差。这暗示着越大的模型越倾向于反映在线而非离线的人类语言处理，并且这种表现下降可能挑战语言模型作为自然语言系统基础的应用。

    Dec, 2022

  • 量化如何影响多语言 LLMs？

    量化、多语言 LLMs 的性能、语言、评估

    Jul, 2024

  • 使用语言模型的学习界限

    本文研究大语言模型在自然语言处理中的局限性，特别是无法学习一些基本语义属性，如语义蕴涵和一致性，以及不能学习超越 Borel 层次结构的概念，这对语言模型的语言理解能力产生了严重限制。

    Jun, 2023

  • 使用比较和广义量词进行逻辑推理

    本研究提出了一种基于组合范畴语法的组成性语义，并与基于自动定理证明的推理系统相结合，成功将英语中各种比较结构映射到语义表示中，本研究在包含比较、量词和数字的三个自然语言推理数据集上的实验证明该系统的表现优于之前的逻辑系统和最新的深度学习模型。

    May, 2020

  • 人机交互中自然语言量词的形式化

    介绍了一种形式化自然语言中量词的方法，运用于人机交互的背景下，该方法基于带有变量基数表示能力的一阶逻辑，类似于广义量词的操作；通过设计了一个端到端系统，能够接收自然语言输入，将其转换为形式逻辑表示，进行评估，并返回结果或向模拟机器人发送命令来演示该方法。

    Aug, 2023

  • 上下文化语言模型中的否定、协同和量词

    本文探讨了上下文化的语言模型及其内部机制，尤其关注其对虚词的语义学约束和周围环境的影响，研究了相应的数据集，实现了可视化的定性分析界面。

    Sep, 2022