Jun, 2022

BERT 排名器容易受损毁：使用对抗性文档扰动的研究

PDF
TL;DR本文提出了基于梯度的算法，利用少量词语成功实现高相关或非相关文档的大幅度排名变化，同时发现 BERT-rankers 对文档的初始部分有很大的依赖性，并且在不同数据集中存在主题偏好，具有潜在的偏见。
发现论文，激发创造
  • 文本检索中对抗性排序攻击的防御：通过检测进行基准和基线

    建立了一个基准数据集，针对神经排序模型的对抗文档进行了两类检测任务的研究，并对多个检测基线的性能进行了综合调查，实验结果表明，使用监督分类器可以有效缓解已知攻击，但对于未知攻击效果很差。此外，这样的分类器应避免使用查询文本以防止学习相关性分类，以免误分类相关文件。

    Jul, 2023

  • BERT 强健性的案例！反驳基于同义词的文本分类对抗样本

    本文调查了针对 BERT 的四种基于词汇替换的攻击方法，结合人类评估和概率分析，发现 96% 至 99% 的攻击并不能维护语义，其成功性主要基于将质量较差的数据输入模型中。作者进一步提出了有效的数据增强方案，以防止许多对抗性攻击。最终，通过对词汇更换的约束条件设定更合理的阈值，作者得出结论：BERT 比攻击研究所说的要更加健壮。

    Sep, 2021

  • 检测社会偏见的内容：BERT 排名器的度量框架与对抗性缓解

    本研究提出了一种新的框架来度量排名模型中检索文本内容的公平性，并使用针对信息检索的对抗性公平性缓解方法提出了一种排名模型 (AdvBert)，该模型联合学习以预测相关性并删除受保护特征，为信息检索中存在的偏见问题提供了有效的解决方案。实验结果表明，与基线算法相比，所有排名模型的公平性较低，使用提出的 AdvBert 模型可以显著提高 Bert 排名器的公平性，同时在不损失实用性的情况下保持显着的公平性改善。

    Apr, 2021

  • 对抗性文档操纵下的排名鲁棒性

    本文研究 Web 检索中排名函数的鲁棒性，使用不同定义和方法进行形式化分析。通过证明对线性排名函数的正则化可以增加排名鲁棒性，我们提出了几种量化排名鲁棒性的方法，并使用它们来分析文档作者之间的排名竞赛。经验证实了我们的研究成果和猜想。

    Jun, 2018

  • BERT 的多阶段文档排名

    利用 BERT 模型，在多阶段排名结构中将文档排序问题分别转化为点和对分类的两个变量来解决，这是一种终端到终端的用于搜索的系统设计，可以通过控制每个管道阶段的候选人数量来权衡质量和延迟，并在 MS MARCO 和 TREC CAR 数据集上提供了与现有技术相当或更好的结果。

    Oct, 2019

  • BERT 排名行为解析

    本文研究了预先训练的 BERT 在排名任务中的表现和行为，探索了在两种排名任务中优化 BERT 的几种不同方法，并实验证明了 BERT 在问题回答焦点的段落排名任务中的强有效性，以及 BERT 作为强交互式序列到序列匹配模型的事实。

    Apr, 2019

  • BERT-Defense: 基于 BERT 的概率模型用于抵御认知启发式正交攻击

    本文研究在深度学习系统中敌对攻击的问题，使用字符级攻击并检验了几种防御方法和模型，表明一种无监督的迭代方法与 BERT 的掩码语言模型相结合可以达到与人类众包工人相当的效果。

    Jun, 2021

  • 使用 TF-Ranking 中的 BERT 进行排序学习

    该论文提出了一种利用 BERT 表示和 learning-to-rank 模型进行文档排序的机器学习算法。在公共基准测试中，采用这种方法可以取得更好的表现。最新的实验使用 RoBERTa 和 ELECTRA 模型，取得了较之其它方法更好的排名成绩。

    Apr, 2020

  • 神经排序模型的校准与不确定性

    通过分析神经网络排序器的不确定性和标定性，本文提出了一种新的基于主义预测分布的随机排名器来解决常见的对话响应排序领域中的风险问题。其中，BERT-based rankers 的标定性不稳定，而 uncertainty estimation 模型则对风险感知神经排序和预测无法回答的对话背景具有益处。

    Jan, 2021

  • 文本检索的鲁棒性排序器

    通过使用多个检索模型作为负样本生成器，引入大规模的噪声标签和多样性负样本进行训练，提出了一种鲁棒的排序模型 R^2anker，实验结果显示该模型表现优于现有工具。

    Jun, 2022