Feb, 2020

神经阅读理解过低敏感度

PDF
TL;DR研究表明精度高的阅读理解模型倾向于依赖于所提供的有关输入中的模式，而对该模型进行噪声对抗性攻击、数据扩增和对抗性训练可以提高其鲁棒性和泛化性能，并改善在 train/evaluation distribution mismatch 时的结果。
reading comprehension modelsadversarial inputsmodel predictiondata augmentationadversarial training
发现论文，激发创造
  • 未能回答问题对机器阅读理解模型鲁棒性的影响

    本文研究了使用 SQuAD 2.0 中不可回答的问题对预先训练的语言模型进行微调，以提高其对抗攻击的鲁棒性。结果表明，在 SQuAD 2.0 上进行微调可以显著提高模型的鲁棒性，并且 SQuAD 2.0 还会影响模型学习到的内容。

    Jan, 2023

  • 通过对抗训练实现强健的机器阅读理解模型

    通过提出一个新的对抗生成算法 AddSentDiverse 和改进模型的语义关系学习能力，作者在 Stanford 问题问答数据集上实现了一个近 36.5% 的 F1 得分提升并提高了模型的鲁棒性。

    Apr, 2018

  • 对输入数据分布的敏感性对抗鲁棒性

    在这篇论文中，我们发现通过在输入数据分布上进行语义保持的变换可以导致 Robust accuracy 的大幅度变化，而 clean accuracy 却没有变化，这表明输入数据分布可以影响神经网络的 Adversarial robustness。

    Feb, 2019

  • 用于评估阅读理解系统的对抗样本

    通过对斯坦福问答数据集（SQuAD）的对抗评估方案，测试阅读理解系统对插入的语义、语法错误的诈骗问题的正确性，从而提高模型对于语言的理解水平。

    Jul, 2017

  • 对大幅扰动输入进行惩罚并不提高问答任务中对分布外泛化的能力

    针对问题回答模型在面对大幅扰动时仍能自信地给出正确答案但无法泛化到其他领域和对抗测试集的问题，本文提出通过限制多种扰动类型的模型输出熵提高泛化性能的做法，结果表明模型泛化能力随着扰动限制的增加得到一定的提升，但同时也要注意到熵最大化的副作用。

    Nov, 2022

  • 不确定性量化的对抗性攻击

    机器学习模型容易受到对抗性示例的欺骗，对抗攻击针对的是不确定性量化技术，攻击的目标是操纵不确定性估计，实验结果表明这种攻击比诱导错误分类的攻击更有效。

    Sep, 2023

  • 基于 SQuAD 的神经问答模型比较分析

    本文通过定量和定性分析现有端到端神经模型在斯坦福问答数据集上的结果，旨在理解和比较其特性，以迈向实现在多个领域中的泛化能力。研究发现，预测错误反映了某些模型特定偏差，本文对此进行了进一步讨论。

    Jun, 2018

  • 对抗训练下类人行为的扩展研究

    本文探讨了神经网络对分布偏移的敏感性问题解决方案中的对抗训练，以及了解到神经网络与人类理解不同的处理方式，更进一步地研究对抗训练对于神经网络偏向形状的影响并给出可能的解释，从频率角度分析了其效果。

    Mar, 2023

  • 数字之力：通过每个示例使用四个对抗句进行微调的强大阅读理解

    通过添加对抗性句子来攻击阅读理解模型并测试新模型 ELECTRA-Small 的抗性，发现将模型分别在一句和五句对抗性句子上进行微调可以提高其对抗攻击的鲁棒性。

    Jan, 2024

  • 过度不变性导致对抗性漏洞

    深度神经网络对任务无关的改变过于敏感，对任务相关的改变过于不敏感，导致广泛的输入空间易受到对抗攻击，传统的交叉熵损失函数存在局限性，本文提出了基于信息论分析的目标函数以克服这些问题。

    Nov, 2018