ACLMay, 2021

标量形容词识别与多语言排名

PDF
TL;DR本文介绍了一个新的多语言数据集，在这个数据集上，使用单语和多语境的语言模型进行了一系列实验，设置了性能基准，并引入了一个新的英语标量形容词分类任务。此外，还探索了上下文表示，并报告了此任务的未来比较的基线结果。
scalar adjectivesmultilingual datasetlanguage modelsbinary classificationcontextualised representations
发现论文，激发创造
  • 用于量级形容词词汇语义和量级多样性语用学的大型语言模型探测

    这项研究使用 GPT-4 等大型语言模型探究了标量形容词的词汇语义和语用学的一个方面，即标量多样性。结果发现，这些模型对标量形容词的词汇语义有很好的理解，但对标量多样性的理解却不足。同时，对比了不同规模和复杂性的模型，发现较大的模型并不总是更好。最后，通过利用语言直觉和模型训练目标解释了探索结果。

    Apr, 2024

  • BERT 确认 Punta Cana 不仅仅是美丽的，更是华丽的：使用上下文表示对标量形容词进行排序

    提出一种基于 BERT 的方法来强度检测标量形容词，通过从上下文表示直接提取向量来建模强度，结果显示 BERT 能够更好地提供关于标量形容词语义的信息，比静态嵌入和以前的模型具有更好的强度排名。

    Oct, 2020

  • 先验语言模型中的标量副词：普通与明显的对比研究

    本文系统研究了 scalar adverbs 这一类词在 BERT，RoBERTa,GPT-2 和 GPT-3 预训练语言模型中的表现，并发现虽然这些模型对逻辑含义的理解有一定的表现，但与人类的表现还有很大差距。

    May, 2023

  • 利用潜变量模型研究跨语言形容词排序倾向

    本研究提出了一种基于语料库的多语言形容词顺序模型，能够在 24 种不同语言中准确排序形容词，并通过此模型提供强有力的证据证明了形容词顺序的普适性、跨语言及层级倾向。

    Oct, 2020

  • 红场有多大？MALeViC：利用视觉环境建模形容词

    本研究旨在建立一种模型，从视觉背景中学习可分级形容词（如 “大”，“小”）的含义，并通过关注完整目视文本，证明了多模型方法的有效性，在一系列任务中获得了建模尺寸含义的优异表现，但在开发可组合的抽象分级形容词表示方面仍然存在缺陷。

    Aug, 2019

  • 利用语言信号预测标量推理

    研究神经网络句子编码器是否能够学习利用语言特征预测实用推理的强度，发现 LSTM 句子编码器能够高精度地预测人类推理强度评分，并学会利用语言特征预测实用推理。

    Oct, 2019

  • 深度词汇假说：自然语言中的人格结构识别

    该论文介绍了一种从语言模型中提取形容词相似性的方法，这种方法可以应用于几十种语言，涵盖上万个项目，在历史文本中进行分析，成本极低。通过该方法，可以更加接近词汇假设的原始（语义）视觉。

    Mar, 2022

  • 语言距离与国家英语能力的关系

    本文提出一种基于深度神经网络技术利用多语言预训练语言模型（如 BERT）中嵌入空间的词分布测量语言之间语义差异的解决方案，并通过实证考察验证了该方法对于解释各国英语能力在 TOEFL iBT 中一致变异的有效性，结果表明语言距离对国家的英语能力具有负面影响，在语言的生产方面如说和写的子技能方面影响更显著。另外，我们对未来的研究方向提出具体的建议。

    Nov, 2022

  • 语言嵌入是否涵盖了规模？

    本研究探讨了预训练语言模型在把握物体的标量数量方面的表现情况及其在常识推理中的不足，发现语言模型能够捕获相当数量的关于数量的信息，但性能受上下文信息和数字知识的影响，文中提出了一个简单的标准化数字的方法，具有显著的结果改进。

    Oct, 2020

  • 黑色大盒子：语言模型是否隐藏了形容词顺序的理论？

    通过研究多个语言中形容词在复杂名词短语中的排序模式，评估语言模型 (LMs) 学习传统句法、语义和语用学跨越因素的细微语言规则的能力。我们发现，所有模型的预测都与人类的形容词排序模式更加接近，而与理论语言学中确定的因素的预测相差较大。与此同时，我们证明了在 LMs 中观察到的形容词排序模式与训练数据中形容词对的频率强相关，并且在未见组合上具有有限的泛化能力。这凸显了建立语言模型性能与语言学理论之间联系的困难。因此，我们对未来研究提出了一个路线图，并讨论了关于 LMs 中知识性质和其在训练集之外的泛化能力的关键问题。

    Jul, 2024