Nov, 2020

分析神经网络 IR 模型的行为

PDF
TL;DR该研究使用一种名为 ABNIRML 的新框架进行分析，进一步探讨了预训练上下文化语言模型在信息检索中的有效性及其潜在的偏差和限制，证明了最近的神经排序模型有与之前排序模型本质的不同特征，并可能受到单词和句子顺序、语态和其他文档变量的影响。
neural ir modelspretrained contextualized language modelsbertt5diagnostic tests
发现论文，激发创造
  • 上下文神经语言建模在信息检索中的应用

    本文探讨了利用上下文语境中的神经语言模型 BERT，可以提供更深入的文本信息理解，以增强预先训练的 BERT 模型以及相关的搜索任务。

    May, 2019

  • 自然语言推理模型的行为分析：揭示三个因素对鲁棒性的影响

    研究自然语言推理 (NLI) 模型的鲁棒性，特别关注三个因素：不敏感、极性和未见过的词汇。结果发现，所有模型在处理未见过的反义词语上表现都欠佳，并且容易受到单词和标签之间的简单统计相关性的影响。

    May, 2018

  • 神经排名模型的鲁棒性如何？

    本文就神经排序模型的鲁棒性进行了全面研究，提出了三种不同定义下的 5 种鲁棒性任务，并在相关基准数据集上进行了实验验证，结果表明神经排序模型在多数情况下不如传统排序模型鲁棒，但在少数任务中仍然具有优势。

    Aug, 2021

  • 信息检索的神经模型

    本文介绍了神经信息检索模型以及基础概念和直觉，包括传统的学习排序模型的学习技术和基于神经网路以原始文本学习语言表示的自然语言处理方法。同时，也简单介绍了浅层和深度的神经网络以及目前的深度神经网络检索模型，并探讨了神经信息检索未来的发展方向。

    May, 2017

  • 语言模型行为：综合调查

    调查了 250 多个英文语言模型行为的研究，讨论了 Transformer 语言模型在特定任务微调之前的基本功能，以及模型对特定输入和表面特征的敏感性。尽管模型参数规模扩大到数百亿，但仍容易出现非事实性回答、常识错误、记忆文本和社会偏见等弱点。我们综合近期结果，强调了目前关于大型语言模型能够和不能够做到什么的已知情况。

    Mar, 2023

  • 神经语言模型并非一出生就适合大脑数据，但训练有助于改善

    本文探讨了使用神经语言模型对大脑活动进行研究的方法，主要研究了测试损失、训练语料库和模型架构对捕捉大脑活动的影响，并提出了未来研究的良好实践建议。

    Jul, 2022

  • BERT 不是什么：从一套新的心理语言诊断中学到的教训，适用于语言模型

    本文介绍了一种从人类语言实验中提取的一系列诊断方法，旨在检验语言模型用于生成上下文预测的信息。将这些诊断方法应用于 BERT 模型的案例研究中，发现其可以区分涉及共享类别或角色逆转的好坏完成情况，但对具有挑战性的推理和基于角色的事件预测存在困难，并且特别是对否定性上下文影响的敏感性不足。

    Jul, 2019

  • 大型语言模型在信息检索中的应用：综述

    信息检索系统和大型语言模型的融合，包括关键方面，如查询重写、检索、重新排序和阅读器，在这一快速发展的研究领域中提供全面的概述和深入的见解。

    Aug, 2023

  • 神经排序模型是否加剧了性别偏见？

    本研究以非性别查询为基础，根据两个度量标准，从性别偏见的角度研究了 BM25 模型和几种最近的神经排名模型，实验表明，虽然所有模型都强烈偏向男性，但神经模型，特别是基于语境嵌入模型的神经模型，显著加剧了性别偏见。而且当这些神经模型利用传递学习时，性别偏见总体上呈增加趋势。

    May, 2020

  • 深入研究信息检索中的神经排名模型

    该研究论文主要讨论了信息检索中的排名模型如何应用传统启发式方法、概率方法和现代机器学习技术等技术构建，并重点介绍了基于浅层或深层神经网络的神经排名模型，分析了其基本原理和学习策略，并通过基准测试比较了这些模型，最后探讨了当前文献中存在的问题以及未来的发展方向。

    Mar, 2019