神经排名模型的鲁棒性如何?
该研究论文主要讨论了信息检索中的排名模型如何应用传统启发式方法、概率方法和现代机器学习技术等技术构建,并重点介绍了基于浅层或深层神经网络的神经排名模型,分析了其基本原理和学习策略,并通过基准测试比较了这些模型,最后探讨了当前文献中存在的问题以及未来的发展方向。
Mar, 2019
这篇论文进行了一项元分析研究,发现神经排序模型在有限数据情况下并不能提高特定检索任务的效果,并对作者通过与弱基线比较来展示神经 IR 论文中 “胜利” 的 anecdotal evidence 提供了权威的实验证据和结论。
Apr, 2019
本文研究 Web 检索中排名函数的鲁棒性,使用不同定义和方法进行形式化分析。通过证明对线性排名函数的正则化可以增加排名鲁棒性,我们提出了几种量化排名鲁棒性的方法,并使用它们来分析文档作者之间的排名竞赛。经验证实了我们的研究成果和猜想。
Jun, 2018
该研究使用一种名为 ABNIRML 的新框架进行分析,进一步探讨了预训练上下文化语言模型在信息检索中的有效性及其潜在的偏差和限制,证明了最近的神经排序模型有与之前排序模型本质的不同特征,并可能受到单词和句子顺序、语态和其他文档变量的影响。
Nov, 2020
使用对抗性例子的神经排序模型(NRMs)在信息检索(IR)中取得了巨大的成功,但是可以通过添加不可察觉的扰动来操纵它们的预测结果。本研究通过将对抗性例子融入训练数据,建立了关于 NRMs 中效果和鲁棒性的权衡的理论保证,并设计了一种新的具有扰动不变性的对抗训练(PIAT)方法,以实现更好的效果和鲁棒性的权衡。实验结果表明,PITA 在多个排序模型上相对于现有的对抗防御方法具有优越性。
Dec, 2023
本文介绍了神经信息检索模型以及基础概念和直觉,包括传统的学习排序模型的学习技术和基于神经网路以原始文本学习语言表示的自然语言处理方法。同时,也简单介绍了浅层和深度的神经网络以及目前的深度神经网络检索模型,并探讨了神经信息检索未来的发展方向。
May, 2017
通过分析神经网络排序器的不确定性和标定性,本文提出了一种新的基于主义预测分布的随机排名器来解决常见的对话响应排序领域中的风险问题。其中,BERT-based rankers 的标定性不稳定,而 uncertainty estimation 模型则对风险感知神经排序和预测无法回答的对话背景具有益处。
Jan, 2021
在神经网络的研究中,我们开发了一种新的梯度基础的对抗攻击方法,相较于已有的攻击方法,它更可靠,可以适应广泛的对抗标准,并且在提高效率的同时,不需要进行超参数调整,这将对神经网络的鲁棒性评估做出有益的贡献。
Jul, 2019
本文通过定义三个角度的 OOD 鲁棒性来分析多个代表性的生成式检索模型和密集型检索模型的 OOD 鲁棒性,并得出生成式检索模型需要提高 OOD 鲁棒性的结论。
Jun, 2023