pretrained transformer-based language models

关键词pretrained transformer-based language models

搜索结果 - 5

自我权衡：通过注意力规范化改进仇恨言论对抗生成
介绍了使用注意力正则化技术改进预训练变换器语言模型（PLMs）生成对抗叙事的能力，实验表明，正则化的模型在大多数情况下能够产生比现有方法更好的对抗叙事，尤其是在训练数据中不存在仇恨目标的情况下。
PDF10 months ago
探索农业自然语言处理的新前沿：探究大型语言模型在食品应用中的潜力
本文探究使用与食品相关的语料库对预训练基于 Transformer 的语言模型进行预训练的有效性，并利用外部知识源，如 FoodOn 本体论，对此任务进行微调，提出使用基于 GPT 模型作为基线和利用 ChatGPT 作为外部知识源进行研究
PDFa year ago
使用预训练语言模型集成的简答评分
本研究探讨了利用 Kaggle 自动化短问题评分数据集，通过微调一系列的小型、基础型、大型预训练 Transformer 语言模型，并训练一个特征模型来测试这些模型的集成的有效性。观察到较大的模型通常表现稍好，但它们仍无法自己达到最优结果，
PDF2 years ago
ACL透过 Adapter 实现基于预训练语言模型的强大迁移学习
本文提出了一种简单而有效的适配器方法来提高预训练模型在下游任务的稳定性和抗攻击性。该方法为预训练模型的每层插入小型的瓶颈层，然后在下游任务数据上固定预训练层并训练适配器层，通过在任务特定的无监督训练和监督训练 (e.g., 分类、序列标注)
PDF3 years ago
如何操作？在 Transformer 微调期间冻结图层
本文研究使用预训练的 transformer-based 语言模型 BERT 和 RoBERTa 在文本关系、语义相似性、情感分析和语言可接受性等标准任务中微调不同层数的效果，结果表明微调最后一层的四分之一即可达到 90% 的原始质量，微调
PDF5 years ago