pretraining method | BriefGPT

关键词pretraining method

搜索结果 - 8

TokenUnify: 可扩展的自回归视觉预训练与混合 Token 预测
TokenUnify 是一种新型的预训练方法，通过整合随机标记预测、下一个标记预测和全部下一个标记预测的方法，减轻了视觉自回归中的累积误差，并在大规模电子显微镜图像数据集中表现出更好的可扩展性和分割性能。
PDFa month ago
ACLReactXT：通过反应上下文化的分子 - 文本预训练理解分子之 “反应关系
分子 - 文本建模是一个新兴的研究方向，旨在通过文本界面和文本知识促进与分子相关的任务。针对单个分子之外，研究反应 - 文本建模对于帮助合成新材料和药物具有潜力，然而，以往的研究大多忽视了反应 - 文本建模。为了解决这些挑战，我们提出了一种
PDFa month ago
通过困难负样本增强多模态对比学习中的概念理解
通过合成困难的负面文字示例，引入了一种新的预训练方法来改善视觉 - 语言模型中细粒度概念理解的问题，并介绍了一个新的具有挑战性的用于评估颜色、物体和大小细粒度对齐的数据集 InpaintCOCO。
PDF4 months ago
分子联合自编码：2D 和 3D 扩散下的轨迹预训练
该研究提出了一种面向分子联合自编码（MoleculeJAE）的预训练方法，该方法可以学习分子的二维键和三维构象信息，通过扩增轨迹的弥散过程模型，MoleculeJAE 能够以自我监督的方式学习分子的化学结构，优于与其相比的 12 个竞争基准
PDF7 months ago
RelVAE: 微量样本视觉关系检测的生成预训练
我们提出了一种首个预训练方法，用于少样本谓词分类，无需任何带注释的关系；我们构建了少样本训练集，并在 VG200 和 VRD 数据集上展示了我们模型超过基准的定量实验；最后，我们通过进行各种定性实验来解释模型的决策。
PDF7 months ago
SPM: 美团搜索中结构化预训练和匹配架构的相关性建模
在电子商务搜索中，通过使用丰富的结构化信息和两阶段的预训练和匹配架构，可以有效改进相关性建模的性能。
PDFa year ago
使用自监督离散语音表示进行任意一对多序列到序列语音转换
利用自监督 VQ-Wav2vec 表示的任意人说话到固定目标说话的任意对一语音转换问题的序列到序列框架，通过预处理和后处理方法，我们的模型可以具有更好的泛化能力，即使只有 5 分钟的数据。
PDF4 years ago
对比学习：通过对比图像表示超越 ImageNet 预训练在放射线照片上的表现
本文提出了一种名为 Comparing to Learn（C2L）的预训练方法，通过比较不同的图像表示来学习稳健特征，在放射线方面的实验结果显示，C2L 在医学图像分析领域中能够显著优于 ImageNet 预训练和以往的最先进方法。
PDF4 years ago