bert encoder | BriefGPT - AI 论文速递

关键词bert encoder

搜索结果 - 5

ACL用于对抗性检测的输入特定注意力子网络
本文提出了一种利用自注意力头来进行对抗检测的方法，在 10 个 NLU 数据集上通过构建输入特定的自注意力子网络并提取三个特征来鉴别真实和对抗性样本，相对于当前最先进的技术，对 BERT 编码器的对抗检测准确度明显提高（超过 7.5％），并
PDF2 years ago
使用伪相关反馈技术改进密集检索的查询表示
本文提出了一种新的查询编码器 ——ANCE-PRF，利用伪相关反馈（PRF）来改进稠密检索的查询表示，使用 BERT 编码器消耗查询和从密集检索模型中检索到的顶级文档，直接从相关标签中产生更好的查询嵌入。
PDF3 years ago
对话状态跟踪中联合优化状态操作预测和值生成
本文提出了一种基于 Transformer 的框架，将 BERT 作为编码器和解码器，通过共同优化操作预测目标和值生成目标来实现多领域对话状态跟踪，同时重复使用编码器的隐藏状态构建平面编码器 - 解码器架构来实现有效的参数更新，实验表明我们
PDF4 years ago
ACL一种新型级联二进制标记框架用于关系三元组抽取
提出了一个新的级联二进制标记框架（CasRel）来解决关系三元组抽取任务中的重叠问题，并且在两个公共数据集 NYT 和 WebNLG 上相对于最强基线在 F1 分数上具有 17.5 和 30.2 绝对增益。
PDF5 years ago
EMNLP编码、标签、实现：高精度文本编辑
LaserTagger 是一种将文本生成转换为文本编辑任务的序列标注方法，并通过使用 BERT 编码器和自回归 Transformer 解码器的新型模型来预测编辑操作。在四个任务中测试表明，LaserTagger 在三个任务上取得了新的最优
PDF5 years ago