COLINGApr, 2024

用于量级形容词词汇语义和量级多样性语用学的大型语言模型探测

PDF
TL;DR这项研究使用 GPT-4 等大型语言模型探究了标量形容词的词汇语义和语用学的一个方面，即标量多样性。结果发现，这些模型对标量形容词的词汇语义有很好的理解，但对标量多样性的理解却不足。同时，对比了不同规模和复杂性的模型，发现较大的模型并不总是更好。最后，通过利用语言直觉和模型训练目标解释了探索结果。
scalar adjectivesscalar implicaturespragmaticslexical semanticsgpt-4
发现论文，激发创造
  • 先验语言模型中的标量副词：普通与明显的对比研究

    本文系统研究了 scalar adverbs 这一类词在 BERT，RoBERTa,GPT-2 和 GPT-3 预训练语言模型中的表现，并发现虽然这些模型对逻辑含义的理解有一定的表现，但与人类的表现还有很大差距。

    May, 2023

  • 标量形容词识别与多语言排名

    本文介绍了一个新的多语言数据集，在这个数据集上，使用单语和多语境的语言模型进行了一系列实验，设置了性能基准，并引入了一个新的英语标量形容词分类任务。此外，还探索了上下文表示，并报告了此任务的未来比较的基线结果。

    May, 2021

  • 利用语言信号预测标量推理

    研究神经网络句子编码器是否能够学习利用语言特征预测实用推理的强度，发现 LSTM 句子编码器能够高精度地预测人类推理强度评分，并学会利用语言特征预测实用推理。

    Oct, 2019

  • BERT 确认 Punta Cana 不仅仅是美丽的，更是华丽的：使用上下文表示对标量形容词进行排序

    提出一种基于 BERT 的方法来强度检测标量形容词，通过从上下文表示直接提取向量来建模强度，结果显示 BERT 能够更好地提供关于标量形容词语义的信息，比静态嵌入和以前的模型具有更好的强度排名。

    Oct, 2020

  • 语言嵌入是否涵盖了规模？

    本研究探讨了预训练语言模型在把握物体的标量数量方面的表现情况及其在常识推理中的不足，发现语言模型能够捕获相当数量的关于数量的信息，但性能受上下文信息和数字知识的影响，文中提出了一个简单的标准化数字的方法，具有显著的结果改进。

    Oct, 2020

  • 评估统计语言模型作为实用推理器

    本文考察了大型语言模型对语言习得中的概率关系和上下文敏感性建模的能力，并针对基于强度先验条件的语境下的 pragmatism utterances 进行了阈值估计实验。结果表明该方法成功地推导出了一些复杂 pragmatic utterances 相关的人类类似信息分布，但对于否定的组成较为困难。

    May, 2023

  • 神经语言模型中的蒙塔古语义学和修饰一致性测量

    本研究提出一种新的方法来衡量当今语言模型中形容词修饰现象的组合表现，研究结果表明当代神经语言模型在考虑下文影响时存在显著的差异，并且词类之间存在差异但在组合中无法表现，这引起了当前语言模型是否能够捕捉到真正的语言分布特性的质疑。

    Oct, 2022

  • 深度词汇假说：自然语言中的人格结构识别

    该论文介绍了一种从语言模型中提取形容词相似性的方法，这种方法可以应用于几十种语言，涵盖上万个项目，在历史文本中进行分析，成本极低。通过该方法，可以更加接近词汇假设的原始（语义）视觉。

    Mar, 2022

  • 语言多样性的好奇衰退：基于合成文本训练语言模型

    研究通过以前辈生成的合成数据对大型语言模型进行训练的后果，重点关注这种训练方法对语言多样性的影响，特别是在逐步迭代的过程中。通过开展递归微调实验，应用一系列针对词汇、句法和语义多样性的新型度量标准，我们的研究发现模型输出的多样性在连续迭代中显著降低。这一趋势强调了在训练大型语言模型时使用前辈生成文本的潜在风险，特别是涉及保留语言丰富性方面。我们的研究突出了需要仔细考虑这种训练方法对大型语言模型的语言能力所产生的长期影响。

    Nov, 2023

  • 不言而喻的替代选择与语用推断的期望

    本研究使用神经语言模型来近似人类的预测分布，发现强度相似性的可预期性是解释标度内和标度间变异的共同机制，并且这种预期在概念层面上解释跨标度变异。该研究表明，言语推理源自于对概念水平上备选项的基于语境的期望。

    Apr, 2023