COLINGSep, 2022

基于记号的论点单元识别鲁棒性测试中的摄动和子群

PDF
TL;DR本文旨在识别和分类文本中的论证单位并将其归类为支持或反对。研究表明，基于 token 的模型可以比基于句子的模型更好地分类句子，所以本文复制并进一步探究了这一结论及其原因，并进行了系统测试以分析使用这两种模型的行为差异，结果表明使用基于 token 的模型通常比基于句子的模型更加健壮。
argument unit recognitionclassificationtoken-based modelssentence-based modelsrobustness
发现论文，激发创造
  • 细粒度谏言单元识别和分类

    本文提出了 Argument Unit Recognition and Classification (AURC) 任务，通过 fine-grained sequence labeling 的方法识别不同来源中的 argument，并通过众包的方式进行标注，得到了 AURC-8 数据集，并发现相较于基于句子级别的标注方法，使用本文标注方法能够增加 15% 的 argument 数量。作者提出的方法比以往的方法更加鲁棒，并公开了代码和 AURC-8 数据集。

    Apr, 2019

  • 分析子词切分的认知可信度

    对比了三种分词算法在多种语言和词汇量上，发现 UnigramLM 算法在分词行为上的认知合理性较低，且派生形态的覆盖率较低。

    Oct, 2023

  • 提高任务导向对话系统的鲁棒性

    本文针对任务导向的对话系统中的意图识别和参数标记存在的过度敏感问题，介绍了构建对抗性测试集和采用对抗性训练方法和数据增强来提高模型健壮性的解决方案。实验结果表明，这些技术的组合能显著提高系统的健壮性。

    Nov, 2019

  • 探索 BERT Token 表达在句子探测结果中的作用

    本文从 BERT 的表示空间出发，通过一系列探针任务和属性方法探究模型的语言学知识表达方式，发现 BERT 倾向于对语法和语义异常进行编码，并能够明显地区分语法数和时态子空间。

    Apr, 2021

  • 学习您的标记：用于语言建模的单词汇总分词

    这篇论文通过学习词边界将字节 / 字符聚合成词表示，并在主要语言模型中解码个别字符 / 字节，结果表明这种分词方式在代表下一个词的预测模型测试中表现得比子词和字节 / 字符模型更好，特别是在稀有词方面达到了 30 倍的效果提升。

    Oct, 2023

  • 理解和减轻语言模型中的分词偏差

    通过提出一种新颖的算法，我们可以从单词化数据中得到无偏估计，而不需要调整模型。通过 Markov 链设置，我们从标记化语言模型中精准恢复了转换概率。

    Jun, 2024

  • 基于字符的词嵌入在标注和机器翻译中对抗单词混淆和随机噪声的鲁棒性如何？

    本文研究了 NLP 在含有误差的单词形式下的稳健性，考虑了不同类型和组合的误差分布、不同模型和基本单元对 NLP 任务（如形态标注和机器翻译）的影响，以及神经网络在此类应用中的鲁棒性。

    Apr, 2017

  • SenTest: 句子编码器鲁棒性评估

    通过对比学习方法评估句子编码器的鲁棒性，使用字符级、词级和句级攻击检验了模型的稳健性，结果显示模型在扰动数据集上的准确率可下降高达 15％，且当前的分类策略未能充分利用语义和句法结构信息。

    Nov, 2023

  • 法律文本中的多粒度论据挖掘

    探索使用多个粒度层次的法律论证挖掘，使用 Longformer 模型进行令牌级别的分类来更准确地识别法律论证的元素，并提供更大的灵活性来分析法律文本并获得更多有见地的信息。

    Oct, 2022

  • BERT 强健性的案例！反驳基于同义词的文本分类对抗样本

    本文调查了针对 BERT 的四种基于词汇替换的攻击方法，结合人类评估和概率分析，发现 96% 至 99% 的攻击并不能维护语义，其成功性主要基于将质量较差的数据输入模型中。作者进一步提出了有效的数据增强方案，以防止许多对抗性攻击。最终，通过对词汇更换的约束条件设定更合理的阈值，作者得出结论：BERT 比攻击研究所说的要更加健壮。

    Sep, 2021