大型语言模型在理解否定时表现亚优，本研究通过引入一个大规模自动生成的常识知识数据集，涉及到约 40 万个描述性句子，其中大约 2/3 的句子包含否定形式，使用零样本学习方法对现有开源语言模型进行测试，结果表明尽管模型对于肯定的句子有较高准确性，但在否定句子方面存在困难，缺乏深入理解否定的能力。尽管在否定句子上对模型进行微调可以提高其性能，但在处理否定方面仍然存在泛化能力不足的问题，突显出大型语言模型在否定理解和泛化方面仍面临挑战。

Oct, 2023

本研究针对 LLMs，比如 BERT、GPT-neo、GPT-3 和 InstructGPT 等不同模型，通过实验验证了它们在处理否定句时的局限性，包括对否定句的敏感性不足、无法捕捉词汇语义的否定表述以及在否定条件下推理的失败。

Jun, 2023

本文提出了一种新的针对否定语的预训练策略，包括有针对性的数据增强和否定掩蔽，以更好地将否定信息纳入语言模型。在常见的基准测试中进行的广泛实验显示，我们提出的方法提高了否定检测性能和泛化能力，超过了强基线 NegBERT (Khandewal 和 Sawant, 2020)。

May, 2022

通过使用三个任务（意图分类、意图聚类和新颖的三元组任务）来评估意图嵌入模型在语义理解方面的能力，研究使用预训练方法和数据增强来改善意图嵌入模型在实际对话系统中的性能。

Mar, 2024

通过自动搜集否定语句及其肯定解释，本文提出了一种基于神经网络的生成模型，使得 RoBERTA 分类器在自然语言推理和情感分析任务中得到更好的结果。

Oct, 2022

本文介绍为了解决语言模型 (LMs) 无法满足的逻辑否定性质 (property) 所采用的方法。研究者提出一种名为 Meaning-Matching 的新的任务，用于直接帮助 LM 学习词汇语义信息，进而满足逻辑否定性质 (property)。在七个 GLUE 任务上的微调实验证明了该方法的有效性。

May, 2022

本研究旨在改进语言模型对否定词的敏感性，提出了一种基于否定词的 BLEURT 评估指标 NegBLEURT，并通过设计基于规则的句子否定工具和创建 CANNOT 数据集进行模型优化。结果表明，经过优化的模型在否定句上表现优于现有的评估指标，并且在其他扰动上保持基准模型的性能。

Jul, 2023

本文研究分析了 6 个自然语言理解的任务中，八个流行的语料库中的否定词的使用情况，指出这些语料库中的否定词较少且不重要，而最新的 transformers 在处理含有重要的否定词的实例时表现不佳，因此需要新的包含否定词的语料库来解决自然语言理解任务中的问题。

Mar, 2022

本研究使用现有数据集 (VATEX, MSR-VTT) 重新构建评估协议，提出了一种基于学习的方法来训练具有否定意义的视频检索模型，该方法通过部分否定原标题来为特定训练视频构建软负标题，然后计算三元组的双向约束损失，将这个辅助损失加权到标准检索损失中。实验证明，使用所提出的方法重新训练 CLIP 模型能够明显提高处理具有否定查询的能力，同时还提高了模型在原始基准测试中的表现。

Apr, 2022

该研究构建了一个主题为否定形式对神经信息检索的影响的基准测试数据集，发现跨编码器表现最好，晚交互模型次之，对数器和稀疏神经架构最差。同时研究表明，当存在否定形式时，大多数当前的信息检索模型表现相似或不佳，而本研究在对比文本数据集的继续优化和扩大模型尺寸方面，虽然提高了性能，但仍存在机器与人之间的巨大差距。

May, 2023