transformers-based models | BriefGPT

关键词transformers-based models

搜索结果 - 6

Conformer：将连续注意力嵌入视觉 Transformer 以用于天气预测
以 Transformer 为基础的模型在天气预报中显示出了显著的潜力，但受到离散模型的限制，其学习连续的时空特征方面能力有限。本文提出了一种用于天气预报的时空连续视觉 Transformer 模型 Conformer，通过在多头注意力机制
PDF4 months ago
ACLTransformer 模型中的各向异性是否固有？
本文探讨了 self-supervised learning 方法在 transformer 架构的模型中出现的表示退化问题，提到了表征中的各向异性现象，并且指出该问题在表示学习、自然语言处理等领域都具有普适性。
PDFa year ago
基于课程的思维健康在线帖子抽象摘要
本研究旨在通过采用课程学习方法，结合基于 Transformers 模型的自动生成摘要技术，从 Reddit 社交媒体上的心理健康相关帖子中提取性问题，从而提高医生的阅读效率和准确性，为人们提供更及时有效的心理卫生服务。相较于目前已有的模型
PDFa year ago
Transformer 与生物医学背景知识的表示
我们研究了基于 transformer 模型（如 BioBERT 和 BioMegatron）在公开的生物医学语料库的基础上如何适应生物医学领域，以及它们编码和表征生物知识的潜力和在癌症精准医学中的应用 - 即，解释基因组变异的临床意义。通
PDF2 years ago
ACLLRG 参加 SemEval-2021 任务 4: 使用增强、语言特征和投票改进抽象词的阅读理解
本文介绍了我们在 SemEval-2021 任务 4 中的方法，使用 transformers-based 模型和词汇数据库进行阅读理解，包括用于模拟不可感知性的语言特征和用于模拟非特定性的信息，并提出了改进的变体，同时论文也介绍了一些对预
PDF3 years ago
大鸟：面向更长序列的 Transformer
本文介绍了基于 Transformers 模型 (BERT) 的缺点，提出了一种新模型 BigBird，该模型采用稀疏注意机制以线性方式减少了模型中由全面关注机制导致的二次依赖性 (主要是内存)，能够处理比以前长 8 倍长度的序列。因其能够
PDF4 years ago