Feb, 2020

基于 Transformer 的自然语言理解任务压力测试

PDF
TL;DR本文通过对三种基于 Transformer 的模型（RoBERTa，XLNet 和 BERT）在自然语言推断（NLI）和问答（QA）任务中的评估研究，发现这些模型在脆弱性测试中表现比循环神经网络模型更鲁棒，但仍具有各种意外行为，展示了在这个领域仍有改进的空间
natural language processingtransformer architectureadversarial-examplesrobertaxlnet
发现论文，激发创造
  • 基于 Transformer 的语言模型在抽取式问答中的比较研究

    本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

    Oct, 2021

  • 情感识别中的 Transformer 探索：BERT、DistillBERT、RoBERTa、XLNet 和 ELECTRA 的比较

    本文研究了如何在情感计算中应用自然语言理解技术，通过对不同 transformers 语言模型在细粒度情感数据集上的微调并对其性能（F1 度量）和完成时间进行评估。

    Apr, 2021

  • 基于 Transformer 的自然语言处理模型微调鲁棒性研究

    本文对三种基于 Transformer 的预训练语言模型（BERT、GPT-2 和 T5）进行了鲁棒性测试，并比较了它们在多种输入扰动下的性能表现。同时，使用 CKA 和 STIR 两个度量衡量了预训练模型与微调模型在各层上的表示变化。其中，GPT-2 表现出更好的鲁棒性。尽管这些模型都具有广泛的鲁棒性，但丢失名词、动词或改变字符是最具影响力的。这项研究为流行的基于 Transformer 的模型的扰动特异性弱点提供了宝贵的见解。

    May, 2023

  • 基于 Transformer 模型的临床关系提取

    研究比较了 BERT、RoBERTa 和 XLNet 三种 transformer 模型在临床关系抽取方面的性能，发现 RoBERTa-clinical 以 0.8958 的 F1-score 在 2018 MADE1.0 数据集上表现最好，XLNet-clinical 以 0.9610 的 F1-score 在 2018 n2c2 数据集上表现最好。在生物医学领域中，研究者们可以使用我们开发的开源工具包进行进一步的相关 NLP 任务分析。

    Jul, 2021

  • 基于变压器模型的社交媒体压力和抑郁识别校准

    使用 BERT 和 MentalBERT 模型，将额外的语言信息注入到社交媒体上进行的压力和抑郁症检测中，通过 Multimodal Adaptation Gate 此方法在三个公开数据集上的表现有所提高。标签平滑化可以提高模型性能和调整模型。在压力和抑郁症文章中观察到了语言差异。

    May, 2023

  • 语言模型与自动化文章评分

    本文通过比较两种强大的语言模型 BERT 和 XLNet 以及传统模型（词袋和 LSTM），阐述了其神经网络架构，并使用线性代数符号和图表解释了 transformer 机制构架的优势，最终在 Kaggle AES dataset 中实现了超出人类水平的准确度。

    Sep, 2019

  • 评估神经语言模型对输入干扰的鲁棒性

    我们研究了在现实世界中输入文本可能有噪音或不同于 NLP 系统训练数据分布的情景，通过各种类型的字符级和单词级扰动方法来模拟这种情况，发现语言模型对输入扰动非常敏感，即使引入了很小的变化，其性能也会下降，需要进一步改进模型并对扰动输入进行评估以更加真实地了解 NLP 系统的鲁棒性。

    Aug, 2021

  • 基于 Transformer 的大规模模型压缩：以 BERT 为例的案例研究

    本文总结了压缩预训练 Transformer 模型的研究进展，尤其关注流行的 BERT 模型的最佳压缩实践和方法，提出未来发展的方向，以达到轻量、高准确性和通用性的自然语言处理模型。

    Feb, 2020

  • 知识增强注意力用于稳健的自然语言推理

    本文提出一种利用简单变换将外部知识纳入注意机制来使 NLI 模型更加稳健的方法，将其应用于 Transformer 编码器和可分解模型中，结果表明该方法可以显著提高它们的稳健性。并且，在与 BERT 预训练相结合时，在对抗 SNLI 数据集上实现了人类水平的性能。

    Aug, 2019

  • 运用人工智能进行现场测试：使用变压器的自然语言处理

    RoBERTa 模型的五千个变体通过 29 道选择题完成了一项英语读写能力考试，利用数据计算了这些考题的心理测量性质，结果显示它们在某种程度上与人类考生数据获得的结果相符。

    Oct, 2023