Dec, 2022

语言模型接受度判断对上下文敏感性不强

PDF
TL;DR本文研究了语言模型对有不同语境且违反语法规则的句子的语法判断能力的鲁棒性，结果发现模型判断能力在线性语境下稳定，在和测试内容有相同句法结构的语境中不稳定，此外，文章还探究了模型训练时语境对语法判断的影响，并指出模型在不同语境下的表现是由其隐含的学习能力决定的。
language modelssyntactic evaluationcontextgrammaticalityin-context learning
发现论文，激发创造
  • 面向目标的语法评估语言模型

    该研究提出了使用一个语言模型预测的句子的语法正确性来评估该模型的数据集。实验结果表明，在众多句子变体中，LSTM 语言模型的准确性较差，而使用句法目标的多任务训练可以提高模型的准确性，但模型仍存在较大的进步空间。

    Aug, 2018

  • 神经语言模型中的语法推广的系统评估

    我们对神经语言模型的句法知识进行了系统评估，发现模型架构的不同对句法泛化性能产生了显著影响，而不同数据集大小的影响相对较低。

    May, 2020

  • 无色的绿色观念能以多大的愤怒睡觉？上下文中的句子可接受性

    研究上下文对句子可接受性的影响，结论是上下文会使人们承受认知负担，从而压缩了评分分布，而在相关上下文中观察到的话语连贯性效应可以一致地提高接受度；此外，测试了单向和双向语言模型在预测可接受性评级方面的能力，表明双向模型取得了极具前景的结果，最佳模型实现了无监督接受性预测的最新水平。

    Apr, 2020

  • 有限上下文对成分句法分析的限制

    本文探讨了当前神经语法学习方法对句法结构的表征方式，以及限制神经语法学习方法的表征能力的主要因素，并利用概率上下文无关文法为基础，说明上下文对神经语法学习方法进行语法分析决策时的关键作用。

    Jun, 2021

  • 关于文体改写需要上下文模型和评估的重要性

    本文着重于文本的形式、毒性和情感转移任务，并提出了将上下文信息应用于文本改写的方法，比较了有上下文和无上下文改写的效果，并通过新型语言模型 GPT-3.5 和 GPT NeoX 进行实验比较，结果表明，上下文改写会更符合人类的阅读习惯，但并不一定反映在自动评测指标上。因此，也提出了通过融合上下文信息来优化常见的自动评测指标，以更好地反映人类偏好。总的来说，本文强调了将上下文信息应用于文本改写和评测的重要性。

    May, 2023

  • 文本嵌入模型对语法的理解程度如何？

    本研究通过开发评估集 SR 来审查文本嵌入模型在句法理解能力方面的表现，发现现有的文本嵌入模型在面对句法理解挑战时效果不佳，尤其在与现有基准数据集的对比中更加明显。同时，通过深入分析揭示了导致这些局限性的因素，并提出了增强文本嵌入模型在不同句法场景中泛化能力的策略，为强化模型在各类句法上下文中的性能提供了实用指南。

    Nov, 2023

  • 小型语言模型是通过记忆还是泛化来回答上下文问题的？

    使用语言模型进行问题回答的过程中，我们提出了一种基于输入和标签之间的语义相似性的方法，用于区分模型对评估样本的直接记忆和通过一些泛化方法预测标签的能力。通过应用该方法，我们在评估数据集的无法记忆子集中观察到了显著的性能改善。

    Nov, 2023

  • Transformer 语言模型可以使用哪些上下文特征？

    通过在 Transformer 语言模型上进行一系列实验，我们发现对于当前 Transformer 语言模型的低困惑度，长上下文至关重要，但上下文的详细句法和命题内容并不重要，且在中长程上下文中，包括重新排列句子中的单词和删除除名词以外的所有单词在内的多种极端破坏性上下文操作仅会移除不到 15％的可用信息。

    Jun, 2021

  • 跨语言句法评估词预测模型

    通过多语言的句法评估套件 CLAMS，调查神经词语预测模型在各种语言中学习语法的能力，结果表明单语 LSTMs 在句子成分及吸引子存在时达到了很高的精度，而在其他方面的一致性准确率较低，多语言模型通常表现不如单语模型。

    May, 2020

  • 实验背景下可以促进语言模型中的稳健语义属性推理，但结果不一致

    在先前研究中，语言模型在执行属性继承任务方面表现不佳，然而我们的研究表明，在实验环境中加入上下文示例和指令可以显著提高语言模型的鲁棒性，但这一能力并不一致，暗示着语言模型在语义属性推理的计算原则方面仍有待改进。

    Jan, 2024