pretraining strategy | BriefGPT

关键词pretraining strategy

搜索结果 - 8

DeepSeek-VL: 实现真实世界的视觉 - 语言理解
DeepSeek-VL 是一个开源的视觉 - 语言模型，设计用于实际的视觉和语言理解应用，通过多样性数据、基于用户场景的细分以及高效的编码方式来提升模型的用户体验和性能。
PDF4 months ago
使用非平行数据将从 TTS 中转移的语言表示进行口音转换
该研究提出了一种新颖的非自回归框架用于口音转换，通过学习口音无关的语言表示并使用它们来转换源语音中的口音，从而保留说话者的身份。研究还调查了在我们提出的框架中的本地数据和不同声学特征的预训练策略的有效性，并使用主客观度量来全面评估了我们方法
PDF6 months ago
利用公开未标记数据的好处：基于 Frangi 滤波的预训练 3D 脑血管分割网络
通过利用未标记的数据和基于 Frangi 滤波的预处理策略，本研究构建了迄今为止规模最大的预处理未标记 TOF-MRA 数据集 (1510 个对象)，有效地实现了 3D 脑血管的分割，提高了模型性能，相对于现有的半监督和自监督方法还有约 3
PDF6 months ago
神经图像压缩中有效的掩码采样建模探索
本研究旨在提出一种新的神经图像压缩预训练策略，引入 Cube Mask Sampling Module (CMSM) 以及 Learnable Channel Mask Module 和 Learnable Channel Completi
PDFa year ago
ECCV无监督骨骼动作学习的全局 - 局部运动转换器
本论文提出了一种新的 transformer 模型，旨在实现对骨架运动序列的无监督学习。该模型结合了全局和局部注意机制，通过新的预训练策略，成功地学习了局部和全局的内容，并在测试中显示出了优异的性能。
PDF2 years ago
EMNLP双向训练优化神经机器翻译
通过双向的预训练策略，将神经机器翻译模型从'src -> tgt' 朝向'src + tgt -> tgt + src' 方向进行更新，成功地提升了神经机器翻译在 15 项任务上的表现，具有更好的双语对齐。
PDF3 years ago
ACL探索与利用：提高中文拼写纠正模型的两种方式
本文介绍了一种利用序列到序列学习和神经网络的方法来进行汉语拼写纠错，通过不断发现模型的弱点生成更有价值的训练实例并进行任务特定的预训练，逐步将生成的对抗性示例添加到训练集中的对抗性训练方法，可以提高多个 CSC 模型的泛化能力和鲁棒性，达到
PDF3 years ago
ACL针对任务导向对话的噪声通道模型预训练
使用 Bayes' 定理将任务型对话分解为两个模型，上下文给定回复的分布和回复本身的先验，采用嘈杂信道模型的方法既弱化了解释效应，又允许合理地将大型预先训练的模型纳入回复先验中。大量实验证明，相比于直接解码，嘈杂信道模型具有更好的解码性能，
PDF3 years ago