pre-training approaches | BriefGPT

关键词pre-training approaches

搜索结果 - 7

MASA: 带有语义对齐的运动感知遮挡自编码器用于手语识别
提出了一种结合丰富的动作线索和全局语义信息的运动感知遮蔽自编码器（MASA）框架，通过自我监督学习范式实现对手语的全面表示，实现了在四个公共基准测试上的最先进性能。
PDFa month ago
图中的少样本学习：从元学习到预训练和提示
综合分析了最近的 Graph 表示学习的发展情况，并提供了比较和未来方向，将现有研究系统分类为元学习方法、预训练方法和混合方法，并比较它们的优势和局限性，为 Few-shot 学习在图上的未来方向提供了引导。
PDF5 months ago
通过空间关系建模改进视觉语言推理
通过构建空间关系图并设计两种预训练任务，即目标位置回归和空间关系分类，本研究提出的方法在 VCR、VQA 和 NLVR 三个视觉与语言推理任务中取得了最先进的结果。
PDF8 months ago
基于交互矩阵的对比式提示学习代码检索
CPLCS 是一种基于交互式跨模态学习对比提示的代码搜索方法，通过学习 PL 和 NL 表示之间的语义匹配关系、使用双编码器结构的提示学习设计来改善语义表征问题，并使用交互式跨模态学习机制增强 NL 和 PL 之间的精细映射，实验结果在六种
PDF9 months ago
CLIP 为视觉美学学习者带来更好的特征
旨在提升图像审美评估（IAA）的性能，本研究提出了统一且灵活的两阶段 CSKD（CLIP-based Semi-supervised Knowledge Distillation）范式。通过特征对齐损失，该方法整合和利用多源无标签数据集，将
PDFa year ago
特征蒸馏 Fine-tuning 中，对比学习与图像遮盖模型不相上下
研究发现通过简单的特征蒸馏，可以极大地提高预训练方法的微调性能，使其与基于遮挡图像模型的方法一样强大，在从事未来研究时，可以更加注重学习表示的普适性和可扩展性，而不需要过分关注其优化的友好性。
PDF2 years ago
用于口语识别的预训练方法：TalTech 在 OLR 2021 挑战赛中的提交
本文研究了口语语言识别的不同预训练方法，并基于我们在东方语言识别挑战赛 2021 中的提交，参与了有约束和无约束的语言识别的两个任务。我们主要使用 Conformer-based 编码器 - 解码器模型和 XLSR-53 wav2vec2.
PDF2 years ago