pre-training model | BriefGPT

关键词pre-training model

搜索结果 - 7

TrTr：一种基于 Transformer 的多功能预训练大型交通模型，用于捕捉车辆群体中的轨迹多样性
使用 Transformer 技术，通过分析其注意机制并设计特定的预训练任务，可以学习车辆群体内轨迹的多样性，同时预训练模型在捕捉车辆群体的空间分布方面表现出色，并能准确预测时间序列中的轨迹速度。
PDF9 months ago
SignDiff: 学习美国手语表达的扩散模型
该研究论文介绍了一个基于深度学习的大规模美国手语（ASL）生成预训练模型，以解决对 ASL 依赖的残障人士之间的沟通障碍，并提出了用于 ASL 生成的基于条件扩散的预训练模型，同时改进了模型的准确性和质量，以及图像指标的优化。
PDF10 months ago
ACLLayoutMask：以多模态预训练增强文档理解中的文本布局交互
本论文旨在改进文本布局交互，提出了一种新的多模态预训练模型 LayoutMask，该模型使用本地 1D 位置作为布局输入，并具有两个预训练目标：掩码语言建模和掩码位置建模，LayoutMask 可以增强文本和布局模态之间的交互，并为下游任务
PDFa year ago
ECCV通过 CLIP 引导的分组优化实现独特的图像字幕
本研究聚焦于生成能够区分目标图像和其他相似图像的独特描述，引入了一系列使用大规模视觉 - 语言预训练模型 CLIP 量化独特性的度量标准，并提出了一种简单有效的训练策略，通过比较目标图像与相似图像组并优化组嵌入差距来提高字幕生成模型的独特性
PDF2 years ago
基于 Bag 采样和分组损失的文档排序中的标签噪声信息检索
该研究提出了预训练模型、包采样和基于组的本地对比评估（LCE）方法以消除长文档排序中的噪音、数据标签噪音、负数据不平衡采样等问题。在 MS MARCO 长文档排名榜上表现出了良好的性能。
PDF2 years ago
ACL使用自监督语音表示学习快速开发非洲语言的自动语音识别技术
本文描述了在 2020 年 6 月非洲机器智能硕士（AMMI）期间启动的一次非正式合作的结果，该合作集中在自动语音识别（ASR）项目上，描述了如何收集数据以及使用少量（1 小时）转录语音作为训练数据如何开发 ASR 系统。在这种低资源条件下
PDF3 years ago
ACL形式转换的并行数据增强
本论文研究如何增广平行数据，提出了新颖且简单的数据增广方法来获得有用的句子对，并表明采用增广平行数据进行预训练可以帮助改善正式语体转换，并在 GYAFC 基准数据集中取得了最先进的结果。
PDF4 years ago