generative pretraining | BriefGPT

关键词generative pretraining

搜索结果 - 6

GeoBench：单目几何估计模型的基准测试与分析
通过构建统一的评估基准和使用高质量的合成数据，我们发现使用大规模数据进行微调的判别模型，如 DINOv2，可以在相同的训练配置下，通过较少量的高质量合成数据超越生成对应物，这表明微调数据的质量比数据规模和模型架构更重要。这项研究对几何估计任
PDF14 days ago
DCS-Net: 具有全球洞察能力的无漏洞点云预训练框架
我们引入了一种称为可微分中心采样网络（DCS-Net）的新型解决方案，通过同时学习点云中的全局模式和局部模式，有效地提升了现有点云模型的表达能力并解决了信息泄漏问题。
PDF5 months ago
走向基础采购模型：事务序列上的预训练生成自回归
通过生成预训练方法，获得金融交易的上下文嵌入表示，以提高卡片欺诈检测问题的价值检测率，并在不同领域中得到很好的迁移效果。
PDF6 months ago
利用扩散模型和元提示进行视觉感知
通过引入可学习的嵌入（元提示）来利用扩散模型解决视觉感知任务，我们的方法在深度估计和语义分割任务上取得了新的性能记录，并在 ADE20K 的语义分割和 COCO 数据集的姿态估计等方面达到了与最先进方法相媲美的结果，展示了其稳健性和多功能性
PDF6 months ago
JASMINE: 用于少样本学习的阿拉伯文 GPT 模型
该论文介绍了一个用于阿拉伯语的强大的自回归 Transformer 语言模型套件 JASMINE，用于 zero 和 few-shot 学习和广泛的 NLP 任务基准测试，旨在填补该领域在不同语言环境和文化中的问题和缺陷以及在这些模型中潜在
PDF2 years ago
跨语言语言模型预训练
本文提出了两种跨语言学习模型的方法 (XLMs): 一种是仅依赖于单语数据的无监督方式，另一种是利用新的跨语言模型目标并使用平行数据的有监督方式。通过这些方法在跨语言分类、无监督和有监督机器翻译中取得了最先进的结果。
PDF5 years ago