pre-trained language representation models | BriefGPT

关键词pre-trained language representation models

搜索结果 - 8

利用语义相似度的知识图谱编码器，用于常识问答的 ALBERT
本研究提出使用最新的预训练语言模型 ALBERT 结合知识图谱信息提取技术，方法为模式图扩展，并分析应用于最近的预训练语言模型的知识图谱基础知识提取技术的效果，并证实模式图扩展在某种程度上是有效的。此外，我们表明在 CommonsenseQ
PDF2 years ago
EMNLP面向情感分析的词语和句子级情感感知预训练
本文提出了一种新的基于情感的预训练语言模型 SentiWSP，结合了单词级别和句子级别的预训练任务，通过基于生成对抗网络的替换情感单词检测和对比学习的方法，使得该模型在情感分析任务中达到了最新的最佳性能表现。
PDF2 years ago
利用预训练语言模型进行从文本中获取对话式信息检索
本论文研究了利用上下文学习和预训练语言表示模型来解决过程描述文档中信息提取的问题，与原生 GPT-3 模型一起，通过注入概念定义和少量样本进行了两个上下文学习操作。研究结果显示了该方法的潜力和上下文学习的有用性，同时也指出了控制流关系所带来
PDF2 years ago
WSDM利用代表性词语预测的预训练来进行 Ad-hoc 检索
提出了一种基于语言模型的预训练方法 ——Pre-training with Representative wOrds Prediction (PROP) 来针对性地解决信息检索任务，其中包含两个子任务：Masked Language Mod
PDF4 years ago
一个基于 BERT 和音频的口语多选题答案框架
本研究通过设计一种基于 BERT 的 SMCQA 框架集成音频和文本信息，有效地提高了语音问答系统的准确性。
PDF4 years ago
ACLKEPLER: 知识嵌入和预训练语言表示的统一模型
本文提出了一种名为 KEPLER 的模型，将知识嵌入和预训练自然语言表示模型有效地结合起来，能够在多种自然语言处理任务上取得最先进的表现，并且能够作为一种归纳式知识嵌入模型在 KG 链接预测中取得显著的效果，同时构建了大规模的带有实体描述的
PDF5 years ago
EMNLPSentiLARE: 基于情感意识的语言表示学习与语言知识
为了提高 NLP 任务中的语言理解能力，在考虑了文本的语言学知识（例如词性标注和情感极性）的基础上，提出了一种新的语言表示模型 SentiLARE，并使用标签感知掩蔽语言模型进行预训练，实验结果表明 SentiLARE 在各种情感分析任务上
PDF5 years ago
K-BERT：利用知识图谱实现语言表示
提出了一种基于知识图谱的语言表示模型（K-BERT），可以将领域特定的知识注入到模型中，以用于解决需要专家知识的领域特定问题，实验证明其在 12 个 NLP 任务中有很好的表现。
PDF5 years ago