downstream nlp tasks | BriefGPT

关键词downstream nlp tasks

搜索结果 - 5

COLINGEthioLLM：埃塞俄比亚语言的多语言大型语言模型与任务评估
EthioLLM introduces multilingual large language models for five Ethiopian languages and English, along with a new benchm
PDF3 months ago
自回归大型语言模型中的提示
自回归大语言模型已经改变了自然语言处理领域的格局。基于预训练和提示范式的方法已经取代了常规的预训练和微调方法用于许多下游自然语言处理任务。本文讨论了已经在自回归大语言模型上使用的各种提示技术，提供了一个基于这个分类体系的简明调研，并且确定了
PDF7 months ago
EMNLPROSE：针对预训练语言模型的强韧性选择性微调
本文提出了一种称为 ROSE 的新颖的微调方法，该方法通过选择性更新参数，过滤无价值和非鲁棒性更新的参数，在下游自然语言处理任务中实现对抗鲁棒性的显着提高，并可以轻松地融入现有的微调方法中进一步提高其对抗鲁棒性。
PDF2 years ago
高字内复杂度的神经词元分割
提出了一种结合了上下文化词元表示和字符级解码的神经分割模型，对于具有高令牌内部复杂性和极度形态歧义的希伯来语和阿拉伯语等语言，其分割准确性得到了显着提高，并对下游 NLP 任务的表现进行优化。
PDF2 years ago
EMNLP预训练语言模型的大型产品密钥存储器
本文研究了如何将 Product Key Memory（PKM）应用于预训练语言模型中，以提高模型容量和利用率，并验证了通过初始化和增加 PKM 来提高预训练和下游任务性能的有效性。
PDF4 years ago