pre-training method | BriefGPT

关键词pre-training method

搜索结果 - 13

玉兰：一个开源的大型语言模型
该论文介绍了 YuLan 的开发，这是一系列具有 120 亿参数的开源 LLMs，其基础模型在多样化语料库中进行了预训练，并采用了三阶段预训练方法以提高整体能力。通过使用大量高质量合成数据，结合指导调整和人工对齐的后续训练阶段，以及跨这些阶
PDF6 days ago
CVPRGLID：预训练通用编码 - 解码视觉模型
该论文提出了一种用于处理各种下游计算机视觉任务的 GeneraLIst 编码器 - 解码器（GLID）预训练方法。GLID 通过在各种视觉任务上微调预训练的通用编码器 - 解码器，并最小限度地修改任务特定的架构，在预训练 - 微调体系结构不
PDF3 months ago
SPECTRUM: 面向长对话概述的说话者增强预训练
在本文中，我们提出了一种用于长对话摘要的说话者增强的预训练方法，该方法利用了多轮对话的内在结构。我们通过收集多样化的数据集，并进行预训练，实验证明我们的模型在具有长上下文的基准测试中取得了最先进的性能，超过了基准模型，并突出了我们方法的有效
PDF5 months ago
大规模多语种自我监督学习的联合预测与去噪
多语言自监督学习中的 WavLabLM 预训练方法，通过使用更强大的技术实现较高性能，同时提高训练效率，为更多研究团体开放自监督学习，达到和 XLS-R 相当的性能，并用相对较少的数据和资源。
PDF9 months ago
ICCVSCOB: 利用字符级有监督对比学习与在线文本渲染进行跨域差异缩小的通用文本理解
本研究探究了广泛领域中的有效预训练任务，并提出了一种名为 SCOB 的前馈方法，通过缩小领域差距，利用字符级别的监督对比学习和在线文本渲染来有效地预训练文档和场景文本领域。广泛的基准测试表明，SCOB 通常改进了原始预训练方法，并达到了与最
PDF9 months ago
扩散模型的牙科放射学分割预训练
医学放射学分割，尤其是牙科放射学，受标注成本的限制，这需要专门的专业知识和劳动密集型注释。本文提出了一种基于去噪扩散概率模型（DDPM）的简单的预训练方法，用于语义分割，该方法在生成模型方面显示出令人印象深刻的结果。我们的简单方法在标签效率
PDFa year ago
Road Barlow Twins：道路环境描述和运动预测中的冗余降维
为了确保自动驾驶车辆的安全运行，预测交通代理的未来运动至关重要。本文提出了一种新颖的自监督预训练方法和变压器模型来实现运动预测。
PDFa year ago
一种基于深度知识学习的风速预测新方法
提出了一种基于深度知识的学习方法，该方法使用预训练方法和自编码器结构来提高数据表示和建模，以预测风电的风速和功率。
PDFa year ago
ACLRetroMAE-2: 双工遮蔽自编码器用于预训练面向检索的语言模型
本文提出了一种新的预训练方法，名为 Duplex Masked Auto-Encoder（DupMAE），以改善用于信息检索任务的上下文嵌入的语义表示质量，其中所有上下文嵌入都可以被利用。通过两个互补的自编码任务，联合训练一个统一的编码器，
PDFa year ago
面向基于知识的视觉问答的多模式逆填空任务
本文提出一种基于预训练的多模态逆推理任务方法，用于解决基于知识库的视觉问答，该方法适用于不同的神经网络架构，相比于没有预训练的基准模型，检索和阅读理解的相对 MRR 和相对 F1 分别提高了 9% 和 15%。
PDFa year ago
RetroMAE v2：用于预训练检索定向语言模型的双工掩蔽自编码器
本文介绍了一种新的预训练方法 ——DupMAE，该方法可同时提高 [CLS] 和普通 token 的语境嵌入的语义表示能力，取得了在 MS MARCO 和 BEIR 基准测试中显著的改进效果。
PDF2 years ago
基于语言的室内野外 3D 语义分割
本文提出新的计算机视觉方法，使 3D 语义分割可以更好地理解具有更多类别和自然分布的真实环境，并在新的扩展基准上测试，使用语言驱动的预训练方法使特征更鲁棒。实验结果表明，我们的方法在提出的基准上始终优于现有技术。
PDF2 years ago
CVPR使用对比场景语境探索数据高效的三维场景理解
本文提出一种基于对比场景上下文的三维预训练方法，在数据量和标注不足时实现了全面标注的近乎完全的实例分割和语义分割。
PDF4 years ago