May, 2023

NevIR: 神经信息检索中的否定

PDF
TL;DR该研究构建了一个主题为否定形式对神经信息检索的影响的基准测试数据集，发现跨编码器表现最好，晚交互模型次之，对数器和稀疏神经架构最差。同时研究表明，当存在否定形式时，大多数当前的信息检索模型表现相似或不佳，而本研究在对比文本数据集的继续优化和扩大模型尺寸方面，虽然提高了性能，但仍存在机器与人之间的巨大差距。
negationlanguage modelsinformation retrievalneural irbenchmark
发现论文，激发创造
  • 视频检索中的否定理解学习

    本研究使用现有数据集 (VATEX, MSR-VTT) 重新构建评估协议，提出了一种基于学习的方法来训练具有否定意义的视频检索模型，该方法通过部分否定原标题来为特定训练视频构建软负标题，然后计算三元组的双向约束损失，将这个辅助损失加权到标准检索损失中。实验证明，使用所提出的方法重新训练 CLIP 模型能够明显提高处理具有否定查询的能力，同时还提高了模型在原始基准测试中的表现。

    Apr, 2022

  • 神经信息检索：文献综述

    本研究总结了当前神经信息检索研究的情况，特别关注了问题和文档的学习性表示（即神经嵌入），强调了神经信息检索目前的成功之处，列出了其更广泛采用的障碍，并建议未来研究的潜在方向。

    Nov, 2016

  • 信息检索的神经模型

    本文介绍了神经信息检索模型以及基础概念和直觉，包括传统的学习排序模型的学习技术和基于神经网路以原始文本学习语言表示的自然语言处理方法。同时，也简单介绍了浅层和深度的神经网络以及目前的深度神经网络检索模型，并探讨了神经信息检索未来的发展方向。

    May, 2017

  • 语言模型不抗拒否定：对否定基准测试的分析

    本研究针对 LLMs，比如 BERT、GPT-neo、GPT-3 和 InstructGPT 等不同模型，通过实验验证了它们在处理否定句时的局限性，包括对否定句的敏感性不足、无法捕捉词汇语义的否定表述以及在否定条件下推理的失败。

    Jun, 2023

  • NegatER：基于常识知识库的负例自动发现方法

    该研究提出了 NegatER 框架，使用上下文语言模型对常识知识库中的负面语句进行排序，不需要真实的负面数据，有助于完成知识库中的缺失信息。实验结果证明，与多种数据扩增方法相比，NegatER 产生的负面语句更合理、更连贯、更具有信息量，以显著地提高知识库补充任务的准确性，证实了语言模型中的正面知识可以 “重新利用” 来生成负面知识。

    Nov, 2020

  • 这不是一个数据集：一个用于挑战大规模语言模型的大规模否定评估基准

    大型语言模型在理解否定时表现亚优，本研究通过引入一个大规模自动生成的常识知识数据集，涉及到约 40 万个描述性句子，其中大约 2/3 的句子包含否定形式，使用零样本学习方法对现有开源语言模型进行测试，结果表明尽管模型对于肯定的句子有较高准确性，但在否定句子方面存在困难，缺乏深入理解否定的能力。尽管在否定句子上对模型进行微调可以提高其性能，但在处理否定方面仍然存在泛化能力不足的问题，突显出大型语言模型在否定理解和泛化方面仍面临挑战。

    Oct, 2023

  • 理解非理解：在语言模型中建模否定

    本文针对自然语言中否定句的建构，借助负面通用语句的反向学习目标，优化了 BERT 语言模型，将 negated LAMA 数据集的平均 top1 错误率降至 4％，并在 negated NLI 基准测试中看到了一些改进。

    May, 2021

  • LLM 可能主导信息检索：神经检索器偏向于由 LLM 生成的文本

    大型语言模型在信息检索应用中产生的源偏见以及相关的模型评估和研究的重要性。

    Oct, 2023

  • 自然语言理解语料库中否定语分析

    本文研究分析了 6 个自然语言理解的任务中，八个流行的语料库中的否定词的使用情况，指出这些语料库中的否定词较少且不重要，而最新的 transformers 在处理含有重要的否定词的实例时表现不佳，因此需要新的包含否定词的语料库来解决自然语言理解任务中的问题。

    Mar, 2022

  • 利用否定中的积极解释来提高自然语言理解

    通过自动搜集否定语句及其肯定解释，本文提出了一种基于神经网络的生成模型，使得 RoBERTA 分类器在自然语言推理和情感分析任务中得到更好的结果。

    Oct, 2022