domain-adaptive pretraining | BriefGPT

关键词domain-adaptive pretraining

搜索结果 - 4

NaijaHate: 用代表性数据评估尼日利亚推特上的仇恨言论检测
通过引入 NaijaHate 数据集、提出 NaijaXLM-T 模型以及使用领域自适应预训练和微调的方法，我们展示了针对恶意言论检测 (HSD) 在低资源环境中进行系统保护的重要性，同时揭示了在偏见数据集上评估 HSD 会严重高估其在真实
PDF3 months ago
大型语言模型中的连续预训练探索：洞见与影响
这篇论文研究了大型语言模型（LLMs）中不断学习（CL）领域的发展，重点是开发高效和可持续经验的训练策略。通过不断适应域预训练，我们的研究评估了 LLMs 在不同数据环境中的适应性和能力，并引入了一个新的基准来衡量这种适应能力，揭示了关于知
PDF4 months ago
对话建模预测出轨
提出一种基于分层 Transformer 的框架，结合话语级别和对话级别信息捕捉精细的上下文语义，同时考虑话语结构信息和距离变形的多任务学习方案，以实现对网络对话中马车出轨的预测。
PDFa year ago
ACL对话理解领域自适应预训练方法
本文探讨了领域自适应预训练目标对下游任务的有效性，并通过实验表明，适当的领域自适应预训练目标能够显著提高强基线在对话理解任务上的性能，从而实现了最新的最优表现。
PDF3 years ago