generative pre-training | BriefGPT

关键词generative pre-training

搜索结果 - 15

通过生成式预训练学习长形式视频首选权
通过使用视觉位置如边界框和关键点来表示视频中的关键信息，我们的方法利用生成式预训练技术（GPT）对长时视频进行学习，证明了其在长时视频先验学习中具有巨大潜力。
PDF2 months ago
扩散语言模型是多功能的蛋白质学习器
该研究介绍了扩散蛋白质语言模型（DPLM），一种多功能的蛋白质语言模型，展示了对蛋白质序列具有强大的生成和预测能力。通过生成自监督离散扩散概率框架对进化规模的蛋白质序列进行可扩展的 DPLM 预训练，使 DPLM 展现出无条件生成结构合理、
PDF4 months ago
UniST：用于城市时空预测的提示增强通用模型
UniST 是一个通用模型，通过对多样的时空数据特征的灵活性、精心设计的掩模策略以及时空知识引导的提示，实现对城市时空预测的强大泛化能力，15 个城市和 6 个领域的广泛实验证明了 UniST 在提升最先进预测性能方面的普适性，特别是在少样
PDF4 months ago
一个面向时空图传输学习的生成预训练框架
我们提出了一种新颖的生成式预训练框架 GPDiff，用于解决智能城市应用中由于数据稀缺导致的空间 - 时间图 (STG) 学习问题。通过将 STG 迁移学习重新视为生成式超网络的预训练，我们的方法能够在多个真实数据集上显著优于现有方法，对于
PDF4 months ago
Video-LaVIT：统一的视频 - 语言预训练与解耦的视觉 - 运动词汇编
本文介绍了一种用于视频 - 语言预训练的高效视频分解的方法，该方法通过设计良好的分词器将视觉和时间信息离散化为少量的标记，从而使大规模生成式预训练能够统一视频、图像和文本内容。在图像和视频的理解和生成的 13 个多模态基准测试中，我们提出的
PDF5 months ago
面向放射学的通用基础模型
本研究旨在构建放射学基础模型（RadFM），通过数据、模型设计和评估的多方面视角构建基础模型。我们的贡献包括：（一）构建一个大规模的医疗多模态数据集 MedMD，包含 1600 万份 2D 和 3D 医学扫描，这是首个包含 3D 医学扫描的
PDFa year ago
ICCV拍照：点云模型的 3D 到 2D 生成预训练
我们提出了一种新颖的适用于任何点云模型的 3D 到 2D 生成预训练方法，通过交叉注意机制生成来自不同指示姿势的视图图像作为预训练方案，以精确监督帮助 3D 主干更好地理解点云的几何结构和立体关系，实验结果证明了我们提出的方法在提升架构导向
PDFa year ago
ACL通过合成图的生成式预训练生成解释图
该研究提出了一种新的预训练框架 EG3P，通过生成式预训练技术和自动语料库合成策略来缩小自然语言处理和结构化图形之间的差距，进而有效地帮助生成更好的解释图，其效果显著优于所有基线系统。
PDFa year ago
VisorGPT：通过生成预训练学习视觉先验
本文旨在学习视觉先验，并通过生成预训练学习 Visual prior，以最大化可能性建模对象位置和形状等先验信息，进而能够在许多视觉任务中应用。实验结果表明，可用于多种视觉任务，例如控制网络中的条件图像合成模型，并提供代码供参考。
PDFa year ago
扩散模型作为遮盖自编码器
本文提出一种使用掩码自编码器作为扩散模型的条件，进而重复生成预训练视觉表示的方法，具备强大的下游识别任务的初始化能力，高质量图像修复和无需额外努力即可应用于视频分类等许多优点。同时，本文还对设计选择的利弊进行了全面的研究并建立了扩散模型和掩
PDFa year ago
文本到图像扩散模型是零样本分类器
通过使用扩散模型的去噪能力作为代理，将零样本分类器应用于 Imagen，探究其知识方面并与 CLIP 进行比较，结果显示 Imagen 与 CLIP 在零样本图像分类方面表现相当，同时在形状 / 纹理偏差测试方面取得了最先进的结果，能够成功
PDFa year ago
预训练基础模型综述：从 BERT 到 ChatGPT 的历史
本研究综述了最近的预训练基础模型技术的研究进展，重点探讨了这些技术在文本、图像、图形以及其他数据模态中的应用前景、挑战和机遇，同时也讨论了这些技术的基本组成、现有预训练方法和未来趋势。
PDFa year ago
双重知识增强生成预训练语言模型的多模态对话系统
本文提出了一个可以双重增强知识的生成式语言模型，用于为多模态任务导向式对话系统生成适当的文本响应。实验证明，该模型优于现有竞争对手。
PDF2 years ago
AAAIDialogLM: 面向长对话理解和摘要的预训练模型
本文提出了一种用于长对话理解和摘要的预训练框架，其中包括以窗口为基础的去噪方法和稀疏注意力机制，并通过实验表明 DialogLM 预训练模型显著优于现有的模型。
PDF3 years ago
XGPT: 图像字幕跨模态生成预训练模型
这篇论文提出了一种新的跨模态生成预训练方法 XGPT，用于图像字幕生成，其能够在不需要特定任务架构修改的情况下进行微调，实验证明在基准数据集上获得了新的最佳结果，并且在图像检索任务中作为数据增强产生了显著的进步。
PDF4 years ago