xlnet | BriefGPT - AI 论文速递

关键词xlnet

搜索结果 - 17

XLNet 模型应用于论证要素标注建模
该研究证明了 XLNet 在标记劝说性文章中的争论元素方面的有效性。XLNet 的体系结构采用了一种循环机制，使其能够模拟长文本中的长期依赖关系。经过微调的 XLNet 模型应用于三个使用不同方案标注的数据集，分别是使用 ARROW 方案的
PDF8 months ago
基于 R-Drop 结构改进的 Transformer 中的命名实体识别研究
该文介绍了一种名为 XLNet-Transformer-R 的模型，结合 XLNet 预训练模型和相对位置编码的 Transformer 编码器，以提高模型的泛化能力和处理长文本的能力，在防止过拟合的同时提高命名实体识别任务的准确性，并通过
PDFa year ago
EMNLP不同模型在语言知识定位方面并非都一样：对 BERToid 表示的逐层探索
本研究探究了不同的预训练模型（BERT、ELECTRA 和 XLNet）对语言信息编码的差异性，并表明基于深度的评估策略往往存在误导性，我们使用了一种信息论探究方法以获取更为可靠和有用的结论。
PDF3 years ago
MM电商基于会话的推荐的多模态特征和后融合上下文的 Transformer
本文介绍了 SIGIR 2021 Workshop on E-commerce Data Challenge 中获胜的 Session-based recommendation 算法解决方案，该方案受自然语言处理技术启发，由两个 Trans
PDF3 years ago
ACL研究视觉和文本特征以识别多模态社交媒体模因中的喷子
本研究介绍了一个基于多模态特征和融合方法的计算模型，使用 XLNet 取得最高的加权 f1 分数 0.58，并在对多模态社交媒体 meme Troll 的分类任务中获得第三名。
PDF3 years ago
AAAI使用 XLNet 模型和主题分布的假新闻检测系统: CONSTRAINT@AAAI2021 共享任务
本文介绍了一种新颖的方法，该方法是由我们团队提出的，用于将来自 Latent Dirichlet Allocation（LDA）的主题分布与来自 XLNet 的情境表示相结合，用于 COVID19 假新闻检测的共享任务，并与基准线进行了比较
PDF3 years ago
基于 Transformer 的歌词情感识别方法
本研究使用了基于 Transformer 的 XLNet 模型，首次探索结合歌词进行音乐情感识别。实验表明该方法的性能优于现有基于其他特征的方法。本研究为情感音乐播放列表生成和音乐推荐系统的改进等提供了重要的启示。
PDF3 years ago
COLINGCHIME: 交叉通道分层记忆网络用于生成式评论问答
介绍一种名为 CHIME 的基于记忆网络的文本生成问答系统，通过引入辅助记忆模块综合跨越段落证据和不断改进所生成答案的缓存区两部分，在 AmazonQA 评论数据集的多段问答中，其效果优于现有最佳方法并在句法结构正规及精度方面有所提高。
PDF4 years ago
BERT 下的跨语言信息检索
使用 BERT 模型在多语言语料中训练跨语言信息检索模型，实验结果显示该模型在英语查询与立陶宛语文档的信息检索任务中优于其他竞争模型
PDF4 years ago
EMNLP分析预训练 Transformer 模型中的冗余
本文旨在研究 Deep NLP 的 Transformer 模型中的冗余性，并从两个角度对 BERT 和 XLNet 这两个流行预训练模型进行了分析。在这篇论文中，我们提出了一个特征转移学习的方法，可以在只使用原始的 10％神经元的情况下，
PDF4 years ago
基于 Transformer 的自然语言理解任务压力测试
本文通过对三种基于 Transformer 的模型（RoBERTa，XLNet 和 BERT）在自然语言推断（NLI）和问答（QA）任务中的评估研究，发现这些模型在脆弱性测试中表现比循环神经网络模型更鲁棒，但仍具有各种意外行为，展示了在这个
PDF4 years ago
Speech-XLNet: 用于自我注意力网络的无监督声学模型预训练
本文提出了一种无监督预训练方案 “Speech-XLNet”，利用 XLNet 进行自注意力网络（SAN）无监督预训练得到语音表示，可以在混合 SAN / HMM 框架下微调。实验表明，Speech-XLNet 相比于从随机初始化权重训练的
PDF5 years ago
语言模型与自动化文章评分
本文通过比较两种强大的语言模型 BERT 和 XLNet 以及传统模型（词袋和 LSTM），阐述了其神经网络架构，并使用线性代数符号和图表解释了 transformer 机制构架的优势，最终在 Kaggle AES dataset 中实现了
PDF5 years ago
让人沮丧地简单的自然问答
文章研究了问题回答领域（Question Answering）中各种算法模型以及增强数据方法，提出了基于 Attention-over-Attention 等方法的组合以及数据增强和集成策略，可在 SQuAD 等基准数据集上取得超人的表现。
PDF5 years ago
在大型预训练变换器中集成多模态信息
本文提出了一种名为 Multimodal Adaptation Gate (MAG) 的附加组件，该组件可以扩展 BERT 和 XLNet 的语言模态以接受面部表情和语音等多模态信息，在情感分析等任务上具有显著的性能优势。
PDF5 years ago
AAAI通过精简句子嵌入，可扩展的注意力句对建模
该研究介绍一种基于知识蒸馏的 Distilled Sentence Embedding (DSE) 模型，旨在通过构建一个用于重构跨注意力模型得分的基于句子嵌入的学生模型，加速计算查询 - 候选句子对的相似度并在句子表示基准测试中达到最先进
PDF5 years ago
XLNet：语言理解的泛化自回归预训练
我们提出了 XLNet—— 一种广义的自回归预训练方法，它通过最大化分解顺序的所有排列的期望似然来学习双向上下文，并且集成了 Transformer-XL 的思想，从而在 20 项任务中胜过了 BERT，包括问题回答、自然语言推断、情感分析
PDF5 years ago