SIGIRApr, 2022

使用 CharacterBERT 和自学习技术提高密集检索器对带有拼写错误查询的健壮性

PDF
TL;DR本文研究了密集型检索器在处理拼写错误查询时的问题，并提出了使用 CharacterBERT 作为骨干编码器和自我教学（ST）方法的密集型检索器，这样可以在具有拼写错误的查询上实现更高的效果。在此基础上，文章还提供了一个包含真实查询和相关性评估数据集，并在 https://github.com/facebookresearch/DPR 上公开了代码和实验结果。
发现论文，激发创造
  • 基于 BERT 的段落检索和排名中处理打字错误的方法

    本文探讨了针对关键字错别字造成的关键字不匹配所产生的影响，针对这一问题，我们提出了简单而有效的错别字感知培训框架，实验证明该框架可以显著提高 DR 和 BERT Re-ranker 的有效性。

    Aug, 2021

  • Adv-BERT：在 BERT 上生成自然语言错拼的对抗样本

    这篇论文探讨了 NLP 中最先进的模型 BERT 在处理存在于真实文本中的打字错误等噪声数据时的鲁棒性，并在情感分析和问题回答基准测试中进行了实验。研究表明：各种单词的打字错误对于 BERT 的影响不同；打字错误是损坏 BERT 性能最严重的因素之一；人类和机器对于识别对抗攻击有不同的关注点。

    Feb, 2020

  • 密集检索中鲁棒性表示学习

    提出了一种新方法来解决处理拼写错误查询的问题，并在两个基准数据集和两个基础编码器中取得了比现有方法更好的性能。

    Jun, 2023

  • BERT-Defense: 基于 BERT 的概率模型用于抵御认知启发式正交攻击

    本文研究在深度学习系统中敌对攻击的问题，使用字符级攻击并检验了几种防御方法和模型，表明一种无监督的迭代方法与 BERT 的掩码语言模型相结合可以达到与人类众包工人相当的效果。

    Jun, 2021

  • 使用强健的单词识别技术对抗对抗性拼写错误

    为应对对抗性拼写错误，本文提出在下游分类器前放置一个单词识别模型。该方法使用基于 RNN 的半字符架构的单词识别模型，并引入了几种新的回退策略来处理罕见和未见单词。与半字符模型相比，该方法实现了 32% 的相对误差降低（和 3.3% 的绝对误差降低）。本文提出的方法不仅可以提升鲁棒性，还可以超越敌对训练和现成的拼写检查器。

    May, 2019

  • 在线市场搜索中的领域特异性和数据效率对容错拼写检查器的影响

    通过数据增强和递归神经网络，我们提出了一种解决在线市场拼写错误的方法，以找到用户查询和可用产品名称之间的最佳匹配。这种数据高效的解决方案证明了受控高质量合成数据在当前依赖于庞大且常常无法控制的数据集的大型语言模型的背景下可能成为强大的工具。

    Aug, 2023

  • MockingBERT: 为 NLP 模型添加后期弹性的方法

    该研究提出了一种新的方法，增加基于变压器的 NLP 模型的抗拼写错误能力，而无需重新训练原始 NLP 模型，仅在没有拼写错误输入的情况下略有语言理解能力下降，并且还提出了一个新的高效近似的对抗拼写错误生成方法，显著降低了评估模型对对抗攻击的鲁棒性所需的成本。

    Aug, 2022

  • 神经检索的 FGSM 对抗训练研究

    本文针对神经检索模型易受打字错误、分布偏移和恶意攻击的问题，研究了对抗训练作为提高模型鲁棒性的可能解决方案之一。研究中采用了两种主要类型的 BERT-based 神经检索模型，并表明最简单的对抗训练技术 Fast Gradient Sign Method (FGSM) 可以提高模型的鲁棒性和效果。

    Jan, 2023

  • 从数十万亿的标记中检索以提高语言模型

    通过从大型语料库中检索与前面 token 相似的文档块来改善自回归语言模型的条件，并创建 Retrieval-Enhanced Transformer（RETRO），该模型在 Pile 数据集上的表现与 GPT-3 和 Jurassic-1 相当。 RETRO 结合一个冻结的 Bert 检索器，一个可微分的编码器和一个分块交叉关注机制，可以基于比通常在训练期间消耗的数据量高一个数量级的数据预测 token，并在 fine-tuning 后转化为下游的 knowledge-intensive 任务，例如问答等，这一研究为利用显式记忆来提高语言模型的性能开辟了新的途径。

    Dec, 2021

  • BERT 强健性的案例！反驳基于同义词的文本分类对抗样本

    本文调查了针对 BERT 的四种基于词汇替换的攻击方法，结合人类评估和概率分析，发现 96% 至 99% 的攻击并不能维护语义，其成功性主要基于将质量较差的数据输入模型中。作者进一步提出了有效的数据增强方案，以防止许多对抗性攻击。最终，通过对词汇更换的约束条件设定更合理的阈值，作者得出结论：BERT 比攻击研究所说的要更加健壮。

    Sep, 2021