pre-training strategy | BriefGPT

关键词pre-training strategy

搜索结果 - 17

轻量级音频分割用于长篇语音翻译
提出了一种小型模型的分段模型，使用 ASR 语音识别与标点任务作为前训练策略并将其整合到 ST 系统中，以提高语音翻译质量。
PDF17 days ago
AdaIR：利用适配器发现图像恢复任务的潜在相似性
在这项工作中，我们提出了一种名为 AdaIR 的新框架，通过在自我监督预训练中使用合成降解物来构建通用的恢复网络，然后训练特定的适配器来适应特定的降解物，从而实现低存储成本和高效训练，达到多任务恢复的卓越结果。
PDF2 months ago
底物范围对比学习：重塑人类偏见以学习原子表示
学习分子表示是分子机器学习中一个关键步骤，它对于建模的成功具有重大影响，特别是在数据稀缺情况下。本研究引入了一种新颖的预训练策略，基底范围对比学习，通过学习与化学反应性相匹配的原子表示。该方法将已发布的基底范围表中的基底组织和收率视为其在化
PDF4 months ago
EMNLPCONTRASTE：基于方面提示的监督对比预训练用于方面情感三元组提取
使用 CONTRASTE 作为一种基于对比学习的新型预训练策略，通过在解码器生成的面向方面的情感表示上应用对比学习来提高 Aspect Sentiment Triplet Extraction（ASTE）的性能，同时也展示了该技术在其他 A
PDF8 months ago
M$^{3}$3D：使用多模态掩蔽自编码器学习 2D 图像和视频的 3D 先验
提出了一种名为 M$^{3}$3D 的新的预训练策略，该策略基于基于多模态遮蔽自编码器，可以利用三维先验和学习的跨模态表示，以增强颜色 - 深度数据之间的对应关系，并能在各种下游任务中提高性能。
PDF9 months ago
异质性下的自监督学习和图分类
本文探讨了自监督学习在异构图表征学习中的表现，并提出了一种基于度量的自监督预训练策略来增强 GRN 的图结构捕捉能力。实验结果表明，该预训练策略在分子属性预测和蛋白质功能预测任务中取得了最先进的性能。
PDFa year ago
使用 LoReTTa 训练传递性和交换性多模态 Transformer
LoReTTa 是一种自我监督框架，它通过自动学习不同模态之间的可转移和可交换特性，使得在具有三个匹配模态的情况下进行数据集的组合和整合变得简单。该方法不同于传统预训练方法，并在生成任务的复杂度和新的模态组合分类任务中展示出良好的性能。
PDFa year ago
TVTSv2：学习开箱即用的大规模时空视觉表示
本论文分析了导致视频模型性能下降的因素 —— 语言监督失真，提出了一种去除降级的预训练策略，并采用排序任务同时使用掩蔽技术进行可扩展的训练，得到了一系列新的模型。
PDFa year ago
改进的翻译建议数据增强
介绍了我们在 WMT'22 翻译建议共享任务中提交的系统，该系统基于多种翻译架构的集合，并使用三种策略构建合成数据以补偿监督数据的缺乏，并引入多阶段预训练策略，并在英德和英汉双向任务中排名第二和第三。
PDF2 years ago
CCC-wav2vec 2.0：利用聚类辅助的交叉对比自监督学习的语音表征学习
提出了一种名为 ccc-wav2vec 2.0 的新的自监督预训练策略，该方法使用聚类和基于数据增强的相交对比损失作为自监督目标，并取得了约 15.6% 和 12.7% 的 WER 相对改进，也可在 Switchboard 数据上获得最高
PDF2 years ago
利用针对否定的预训练来改善否定检测
本文提出了一种新的针对否定语的预训练策略，包括有针对性的数据增强和否定掩蔽，以更好地将否定信息纳入语言模型。在常见的基准测试中进行的广泛实验显示，我们提出的方法提高了否定检测性能和泛化能力，超过了强基线 NegBERT (Khandewal
PDF2 years ago
ACL叙事预训练：零样本对话理解
本文提出了一种新的叙述引导的预训练策略，以学习从对话输入中叙述关键信息的能力，针对当前方法缺失的对话 - 叙述并行语料库，本文利用自动对齐的电影字幕和简介构建了一个这样的语料库，在此基础上，用一个 BART 模型进行预训练，并在四个需要理解
PDF2 years ago
IJCAI一种用于预训练图神经网络的简单图级自监督策略：成对半图辨别
本文提出了一种名为 PHD 的简单而有效的自监督预训练策略，通过在图级别上明确地预训练图神经网络，实现了对图数据的可传递、可推广和稳健的表征学习。结果表明，PHD 是一种有效的预训练策略，在与现有先进策略的比较中提供了相当或更优的性能，当与
PDF3 years ago
WWW电子商务中基于评论引导的有用答案识别
本文提出了一种基于评论引导的答案有用性预测模型，该模型不仅考虑了 QA 对之间的交互，还探讨了答案与众筹意见之间的意见连贯性作为识别有用答案的另一个重要因素，并探索了利用预训练策略将从一个特定设计的经过训练的网络中获得的文本推理知识转移的方
PDF4 years ago
洗牌再组合：学习与对象无关的视觉关系特征
本文提出了一种新的预训练策略 “洗牌 — 组装”，旨在学习对象不可知的视觉特征用于关系建模，其中通过残差变换来捕获共享但非特定于对象的视觉模式，实验结果表明，使用我们预训练的特征，关系模型不仅可以持续得到改进，甚至能够胜过其他最先进的关系模
PDF6 years ago
CVPR基于判别式跨模态迁移学习的 RGB-D 显著目标检测
本文研究使用卷积神经网络，通过跨模态传输问题对深度引导显著性检测进行提高。在这个方法中，我们有效地利用源模态的辅助数据来训练红绿蓝（RGB）显著性检测网络，并利用深度特定信息来预训练模态分类网络。这两个模块都是独立训练的，然后被拼接起来来初
PDF7 years ago
CVPRDeepID-Net: 可变形深度卷积神经网络用于目标检测
本文提出了一种新的深度学习目标检测框架，引入了变形卷积神经网络、约束池化层等创新，通过组合不同的网络结构和组件、改变训练方法等方式，提高了模型的泛化能力和检测精度，实验结果表明该方法在 ILSVRC2014 比赛中的表现明显优于 RCNN
PDF10 years ago