self-supervised transformer | BriefGPT

关键词self-supervised transformer

搜索结果 - 5

统一的视频 - 语言联合预训练与同步音频
我们提出了一种增强的视频语言预训练框架，使用同步音频，可以在统一的自监督转换器中学习三模态表示。我们的模型在仅使用 90 万条数据进行预训练的情况下，取得了相对于现有基准的改进结果，并通过定性可视化展示了其在学习有区分性的视觉文本表示方面的
PDF2 months ago
自监督变形器与领域自适应重建用于一般人脸伪造视频检测
通过自我监督学习的实现，该论文提出了一种自我监督变压器协同对比和重建学习 (CoReST) 方法，该方法首先仅在真实人脸视频上进行自我监督预训练，然后在特定的人脸伪造视频数据集上用线性头进行微调，通过引入对比和重建学习的辅助任务来增强表示学
PDF10 months ago
使用自监督 Transformer 和归一化割分割图像和视频中的对象
本研究采用基于图形的算法，通过利用自我监督变压器获得的特征来检测和分割图像和视频中的显着对象，并最终通过经典的归一化割算法解决检测和分割问题，并在多个常见的图像和视频检测和分割任务中实现了最新的结果。
PDF2 years ago
基于预训练语音模型的低资源语音识别改进：继续预训练与半监督训练
本文通过在多种低资源语言的未标注同语言音频数据上使用 XLSR-53 预训练模型进行持续预训练来改进自动语音识别的性能，结果表明持续预训练在单词错误率方面与半监督训练的效果相当且更加高效。
PDF2 years ago
自监督变压器用于稀疏和不规则采样的多元临床时间序列
提出了一种基于自监督变压器的多元时间序列数据建模方法，使用连续值嵌入技术对连续时间和变量值进行编码，避免了聚合或插值旧方法带来的问题，并利用自监督学习处理有限标记数据情况下的预测问题。在真实的多元临床时间序列基准数据集上进行了实验证明该方法
PDF3 years ago