transformer encoder | BriefGPT

关键词transformer encoder

搜索结果 - 72

有说服力的对话理解：基线和负面结果
本文旨在研究使用 Transformer 和 CRF 模型进行说服策略识别的方法，并通过实验证明该方法存在缺陷，不能很好地识别个人之间的对话关系和标签依赖关系。
PDF4 years ago
ACLVECO: 变量和灵活的跨语言预训练模型，用于语言理解和生成
本文提出了一种在 Transformer 编码器中添加交叉注意力模块的方法，用于处理多语言预训练中的语言依赖关系问题，并在多种跨语言任务中获得新的最先进结果。
PDF4 years ago
基于状态图的跨领域对话状态跟踪
本文探讨了利用关系图与 relational-GCN 图卷积网络构建聊天机器人多域对话跟踪模型的方法，实验结果表明，该方法实现了新的最佳性能，优于使用现有方法提出的深度学习技术的性能。
PDF4 years ago
TERA：基于自监督学习的 Transformer 编码器音频表示学习
介绍了一种称为 TERA 的自监督语音预训练方法，利用一种通过沿着三个正交轴对变换来预训练 Transformer Encoders 的方法，在多个下游任务中实现了出色的性能。
PDF4 years ago
通过表示学习实现表格理解
本文提出了 TURL 框架，该框架利用预训练 / 微调方法，在无监督的情况下学习关系表的深度上下文化表示，并应用于各种任务中。通过结构感知的 Transformer 编码器建模关系表的行列结构，并引入了一种新的 Masked Entity
PDF4 years ago
ACLGECToR -- 语法错误修正：标注，而非重写
本文介绍了一种使用 Transformer 编码器的简单高效的 GEC 序列标记工具，该系统采用合成数据进行预训练，并在连续两个阶段上进行微调，第一阶段在有错误的语料库上，第二阶段在有错误和无错误的平行语料库上。使用自定义的 token-l
PDF4 years ago
EMNLPVD-BERT: 一个与 BERT 结合的统一视觉和对话 Transformer
该研究提出的 VD-BERT 框架，是一种简单且有效的视觉 - 对话 Transformer 编码器，可以通过统一的编码器捕获图像和多回合对话之间的交互，并通过与 BERT 语言模型的整合实现回答的排名和生成，同时无需预训练外部视觉 - 语
PDF4 years ago
LAMBERT: 面向布局的（语言）建模用于信息提取
在 OCR 系统获取的布局特征的基础上，改进 Transformer 编码器的结构来构建布局感知的语言模型，展示在信息提取方面的出色性能。
PDF4 years ago
CoKE: 上下文化的知识图谱嵌入
本文提出了考虑知识图谱中实体和关系的上下文特性的全新范例 Contextualized Knowledge Graph Embedding (CoKE)，它采用 Transformer 编码器以从实体和关系序列中获取语境化表示，并在广泛的公
PDF5 years ago
AAAISG-Net：基于句法引导的机器阅读理解
本文提出使用句法来指导文本建模，通过将显式的句法约束融入到注意机制中，设计出了一种句法导向的自注意力网络 (SG-Net)，并将其应用于预训练语言模型 BERT 中，实验结果表明，SG-Net 设计相对于强基线模型在 SQuAD 2.0 和
PDF5 years ago
BERTphone: 适用于话语级别的说话人和语言识别的音素感知编码器表示
介绍了 BERTphone，这是一种在大型语音语料库上训练的 Transformer 编码器，可输出具有音素感知上下文表示向量，可用于说话人和语音识别。Bertphone 在 speaker recognition 和 language r
PDF5 years ago
EMNLP基于 Transformer 编码器的多准则中文分词简明模型
提出了一种基于 Transformer 编码器的多准则中文词分割 (MCCWS) 统一模型，该模型可对简体和繁体中文进行分割，并具有出色的迁移能力。在八个具有不同准则的数据集上进行实验，结果表明我们的模型优于单准则基线模型和其他多准则模型。
PDF5 years ago