pre-training approach | BriefGPT

关键词pre-training approach

搜索结果 - 6

基于颜色化的预训练 LiDAR 三维目标检测器
通过引入创新的预训练方法 Grounded Point Colorization (GPC) 来解决自动驾驶汽车中的准确 3D 物体检测和理解问题，通过教导模型给 LiDAR 点云上色，为其提供有价值的语义线索，从而改善检测效果。
PDF8 months ago
XPhoneBERT：用于文本到语音的音素表征的预训练多语种模型
本研究介绍了 XPhoneBERT，这是第一个多语种模型，经过预训练学习用于下游文本转语音任务的音素表示。我们使用 RoBERTa 预训练方法对近 100 种语言和地区的 330M 个音素级句子进行了训练。实验结果表明，将 XPhoneBE
PDFa year ago
OutfitTransformer：学习服装表示以进行时尚推荐
提出了 OutfitTransformer 框架，该框架使用任务特定标记并利用自我注意机制来学习有效的全套装备级别表示，在分类和检索任务上获得了优越的性能，实现了配对、补充！
PDF2 years ago
ACLTaCL：利用 Token-aware 对比学习提高 BERT 预训练
本文介绍了 TaCL，一种全新的断续预训练方法，利用无监督学习使 BERT 学习各种符号表示的同构和具有辨别性的分布，通过广泛测试，TaCL 在中英文基准测试中带来了显著的改进。
PDF3 years ago
ACLStructuralLM：面向形式理解的结构化预训练
本文提出了一种新的预训练方法 StructuralLM，可以联合使用扫描文档中的单元格和布局信息，在对下游自然语言处理任务进行微调时获得了新的最先进结果，包括通过分类单元格位置等两种新方法进行预处理。能够有效提高表格理解、文档可视化问答和文
PDF3 years ago
一种简单的方法：将常识性知识融入语言表示模型中的对齐、掩码和选择
提出了一种利用预训练方法将常识知识融入语言表示模型的方法，并通过训练一个多项选择问题回答数据集来实现。实验结果表明，使用该方法进行预训练之后 Fine-tuning 的模型，在两个常识关联基准测试上都能取得显著提高，并且不会降低模型的语言表
PDF5 years ago