pre-trained transformer-based models | BriefGPT

关键词pre-trained transformer-based models

搜索结果 - 5

利用合成数据集对命名实体识别上下文进行排序学习
采用 Alpaca 生成合成的上下文检索训练数据集，并使用基于 BERT 模型的神经上下文检索器，为命名实体识别找到相关的上下文，优于基准检索方法。
PDF9 months ago
ACL命名实体识别中的全局和局部上下文的作用
通过研究预训练基于 transformer 的模型在命名实体识别方面的应用，探索了全局文档上下文与局部上下文之间的关系，发现正确检索全局文档上下文对于性能的影响比仅利用局部上下文更明显，并促使进一步研究如何更好地检索该上下文。
PDFa year ago
ACL精细对比学习用于定义生成
本文提出一种新型对比学习方法，以有效地学习和表达所考虑词语的语义组成部分，并使模型在进行定义生成任务时，能够生成更具体、高质量的定义，实验证明该方法优于现有模型。
PDF2 years ago
ACL自然语言处理大规模在线开放课程教学
该论文介绍了一门新的面向非英语母语学生的自然语言处理大型在线开放课程，旨在教授 NLP 的核心概念、方法，以及实际应用中的架构和多语言处理技能，并在 2020 年制作和录制，在 2021 年初获得了积极的反馈。
PDF3 years ago
ACL基于 Transformer 的大规模模型压缩：以 BERT 为例的案例研究
本文总结了压缩预训练 Transformer 模型的研究进展，尤其关注流行的 BERT 模型的最佳压缩实践和方法，提出未来发展的方向，以达到轻量、高准确性和通用性的自然语言处理模型。
PDF4 years ago