AT-BERT: 针对缩略语识别的对抗训练 BERT 模型，SDU@AAAI-21 胜利解决方案

AAAIJan, 2021

AT-BERT: 针对缩略语识别的对抗训练 BERT 模型，SDU@AAAI-21 胜利解决方案

AT-BERT: Adversarial Training BERT for Acronym Identification Winning Solution for SDU@AAAI-21

Danqing Zhu, Wangli Lin, Yang Zhang, Qiwei Zhong, Guanxiong Zeng...

TL;DR本文提出了一个名为 AT-BERT 的对抗训练 BERT 方法，它采用预训练 BERT 进行更好的语义表示，结合 FGM 对抗性训练策略进行微调，采用多个 BERT 变体的表示，显著提高了 SDU 挑战赛的首字母缩略词识别任务的性能。

Abstract

acronym identification focuses on finding the acronyms and the phrases that have been abbreviated, which is crucial for scientific document understanding tasks. However, the limited size of manually annotated dat

acronym identification unsupervised pre-training adversarial training bert scientific document understanding ensemble mechanism

发现论文，激发创造

基于 BERT 的多训练策略缩写消歧

提出一种二元分类模型，结合 BERT 和多种训练策略进行缩写消歧识别，实验证明模型的有效性，在 SDU@AAAI-21 共享任务 2 中排名第一。

Feb, 2021

利用领域不可知和特定领域知识进行首字母缩写消歧

本研究提出一种 Hierarchical Dual-path BERT 方法，该方法利用 RoBERTa 和 SciBERT 预训练模型来分别编码通用精细和高级具体表示，用于缩写消歧。实验结果表明，该方法在各种评估指标上均优于现有技术，特别是其宏 F1 达到了 93.73％。

Jul, 2021

多语言首字母缩略词抽取的领域自适应预训练

本论文介绍了我们参加多语言首字母缩略词提取共享任务 SDU@AAAI-22 的发现。我们采用双向长短时记忆网络链条件随机场（BiLSTM-CRF）和多语言 XLM-RoBERTa 嵌入来处理多语言首字母缩略词提取。我们预训练了 XLM-RoBERTa 模型，以进一步适应共享任务的领域。我们的系统（团队：SMR-NLP）在所有语言的首字母缩略词提取方面都取得了竞争性的性能表现。

Jun, 2022

使用 BERT 进行基于方面的情感分析的对抗式训练

应用对抗性培训来提高 BERT 在情感分析的方面提取和观点分类任务中的性能。

Jan, 2020

通过对抗训练实现稳健的多语言词性标注

本文探讨基于对抗性训练的模型对自然语言处理任务的影响，发现对抗性训练不仅可以提高深度学习模型的鲁棒性，还能对词性标注和依存句法分析等任务有积极的影响。

Nov, 2017

BERT-ATTACK: 使用 BERT 对抗 BERT 的对抗攻击

本文提出了使用 BERT 预训练模型的高质量有效的方法 BERT-Attack，用于生成对抗样本并在对下游任务的深度神经模型进行攻击。在成功率和扰动百分比方面，我们的方法优于最先进的攻击策略，而生成的对抗样本则流畅且在语义上保留，且计算成本低，可用于大规模产生。

Apr, 2020

BERT-Defense: 基于 BERT 的概率模型用于抵御认知启发式正交攻击

本文研究在深度学习系统中敌对攻击的问题，使用字符级攻击并检验了几种防御方法和模型，表明一种无监督的迭代方法与 BERT 的掩码语言模型相结合可以达到与人类众包工人相当的效果。