pretraining framework | BriefGPT

关键词pretraining framework

搜索结果 - 10

CLIP 引导属性感知预训练用于可泛化图像质量评估
提出了一种新颖的预训练框架，通过从通用视觉语言模型中选择性提取与图像质量相关的知识，并利用大型数据集的可扩展性，构建了一种适用于图像质量评估的通用表示。同时我们的方法在多个数据集上取得了最先进的性能，并展现了显著的泛化能力。
PDFa month ago
重新思考面向掩码自编码器的补丁依赖
我们重新审视了遮蔽自编码器（MAE）解码机制中的区块间依赖关系，并将此解码机制分解为自注意力和交叉注意力。我们的研究表明，区块之间的自注意力对于学习良好的表示并非必要。基于此，我们提出了一种新颖的预训练框架：交叉注意力遮蔽自编码器（Cros
PDF5 months ago
DACBERT: 利用依存句法协议进行高性价比的 Bert 预训练
通过引入新的预训练模型 DACBERT 和其两阶段的预训练框架 Dependency Agreement Pretraining，我们在代价高效的 Crammed BERT 的基础上进一步提升了其性能和可解释性。DACBERT 在多个任务中
PDF8 months ago
EMNLP使用文字属性的异构图预训练语言模型
该研究提出了一种新的语言模型预训练框架，明确考虑了 Text-Attributed Heterogeneous Graph 中的拓扑和异构信息，通过优化语言模型和辅助异构图神经网络，定义了上下文图，并通过拓扑感知预训练任务来预测与上下文图有
PDF8 months ago
RMP: 一种用于运动预测的随机遮罩预训练框架
在本研究中，我们提出了一个预训练框架，以形式化交通参与者轨迹预测的预训练任务，通过改变掩码配置文件，我们的框架可以轻松切换多个与运动相关的任务，通过在 Argoverse 和 NuScenes 数据集上的评估，我们展示了我们提出的预训练框架
PDF10 months ago
学习多尺度一致性的自监督电子显微镜实例分割
我们提出了一种新的预训练框架，利用多尺度视觉表示来捕捉电子显微镜（EM）体积中体例的像素级一致性和特征级一致性，并在特征金字塔上使用对比学习方案提取多尺度的具有区分性的特征，以实现神经元和线粒体体例分割任务的表现提升。
PDF10 months ago
生成以理解为基础的表征
本文介绍了一种使用最长公共子串筛选相似文本对同时进行预处理和对比学习的预处理框架 GUR，无需标注数据即可在召回基准测试中以检索器的身份优于所有其他预训练基线。
PDFa year ago
面向视觉的三维目标检测的几何感知预训练
提出了一种名为 GAPretrain 的几何意识预训练框架，通过使用几何丰富的模态和来自 LiDAR 点云的结构提示，实现跨不同模态之间的属性转移，从而解决多镜头自动驾驶中图像和视角不一致的问题，实现了很好的效果。
PDFa year ago
ACL文本到 SQL 的结构驱动预训练
StruG 是一种基于弱监督预训练框架的文本转 SQL 方法，在列基础和值基础映射方面，使用 Spider-Realistic 数据集进行评估，并在多个数据集上进行跨库评估，证明其在所有设定上都显著优于 BERT-LARGE，并且在更现实的
PDF4 years ago
ConveRT: 基于变形金刚的高效和准确的对话表示
提出了一种名为 ConveRT 的预训练框架用于对话任务，其采用一种检索式的响应选择任务来预训练轻量级双编码器，能够实现在显著提高性能的同时降低模型大小，进而应用于广泛的对话任务和意图分类任务中。
PDF5 years ago