BriefGPT.xyz
Ask
alpha
关键词
pre-training language model
搜索结果 - 4
基于条件 MLM 对比学习的句子嵌入方法 (CMLM-CSE)
提出了一种基于条件 MLM 的无监督对比学习框架 CMLM-CSE，通过增加辅助网络来集成句子嵌入执行 MLM 任务，使句子嵌入学习更多的屏蔽词信息，使用 Bertbase 和 Robertabase 作为预训练语言模型进行预训练，在文本相
→
PDF
a year ago
BBT-Fin: 中国金融领域预训练语言模型、语料库和基准的全面构建
介绍了基于 T5 模型的新型 BBT-FinT5 中文金融预训练语言模型，同时构建了大规模金融语料库 BBT-FinCorpus 并提出了中文金融语言理解与生成评估基准 BBT-CFLEB 以促进金融领域自然语言处理研究。
PDF
a year ago
COLING
DPTDR: 深度提示调整用于稠密通道检索
本篇论文旨在研究在密集检索中，如何利用深度提示调整来减少部署成本，提出了两种与预训练语言模型和密集检索任务兼容的方法，并在 MS-MARCO 和自然问题数据集上取得了优于之前最先进模型的效果。
PDF
2 years ago
ACL
MWP-BERT: 数理增强的数学应用问题预训练
本文介绍了一种通过上下文表示学习的方式，将数值属性注入到符号占位符中的方法，以解决数值表示问题。我们将此想法引入到预训练语言模型（PLM）技术中，构建了一种有效的上下文数值表示 PLM（MWP-BERT）。我们在英文和中文基准上证明了 MW
→
PDF
3 years ago
Prev
Next