transformer-xl | BriefGPT - AI 论文速递

关键词transformer-xl

搜索结果 - 8

记忆训练场：无尽回合中基于记忆的智能体面临的部分可观测挑战
Memory Gym 引入了一种独特的基准测试，旨在测试深度强化学习代理的能力，具体比较门控循环单元（GRU）和 Transformer-XL（TrXL）在记忆长序列、抵抗噪声和泛化能力方面的性能。
PDF9 months ago
序列音乐生成任务中不同音高和节奏网格编码方法的比较分析
本研究针对音乐生成任务中的基本音高和节拍两个特征进行综合分析，考察了不同编码方式对一个基于序列的乐曲生成模型性能的影响，结果表明类 - 八度编码在音高相关的指标上显著优于 MIDI 编码；密集的小节度量栅格和多标记栅格提高了节奏质量，但也面
PDFa year ago
SinTra：从单个多轨音乐片段学习灵感模型
该论文提出了一种基于 SinTra 的自回归序列生成模型，可以从单个多轨音乐片段中学习，生成多个乐器的一致、美学、可变的多声部音乐，采用新颖的音高组表示法来确保生成样本的相关性和训练音乐，通过金字塔形的 Transformer-XL 与多尺
PDF2 years ago
MM电商基于会话的推荐的多模态特征和后融合上下文的 Transformer
本文介绍了 SIGIR 2021 Workshop on E-commerce Data Challenge 中获胜的 Session-based recommendation 算法解决方案，该方案受自然语言处理技术启发，由两个 Trans
PDF3 years ago
Mind the Gap: 评估神经语言模型的时间泛化能力
研究表明，Transformer-XL 语言模型在预测超出其训练期的未来话语时，性能会随着时间的推移而逐渐降低。基于此，提出了动态语言建模的思路，并通过不断更新知识来缓解性能退化问题。因此，应重新思考我们目前培训和评估语言模型的方法，并发展
PDF3 years ago
Transformer 是否需要深度长程记忆
通过一系列干预措施，研究表明使用更少的长时记忆和限制网络低层的注意力范围，可以实现与 Transformer-XL 相当的性能，并且可以获得更好的性能。
PDF4 years ago
注意事实：知识增强的连贯抽象文本摘要
本文提出了一种新颖的基于 Transformer 编码器 - 解码器结构的体系结构，通过将实体级知识与来自 Wikidata 的结构全球知识结合，改善了摘要不够准确和连贯的问题，实验证明该模型对长文本摘要具有较好的 ROUGE 分数的提高效
PDF4 years ago
XLNet：语言理解的泛化自回归预训练
我们提出了 XLNet—— 一种广义的自回归预训练方法，它通过最大化分解顺序的所有排列的期望似然来学习双向上下文，并且集成了 Transformer-XL 的思想，从而在 20 项任务中胜过了 BERT，包括问题回答、自然语言推断、情感分析
PDF5 years ago