contrastive pre-training | BriefGPT

关键词contrastive pre-training

搜索结果 - 15

增强视觉语言模型的未屏蔽令牌对齐
Contrastive pre-training techniques like CLIP are computationally demanding, while Unmasked Token Alignment (UTA) levera
PDFa month ago
驻足于起始处：语言模型如何嵌入长篇文档以进行稠密检索
这项研究调查了 Transformer-based 模型在文本表征学习中的位置偏差存在情况，特别是在网络文档检索的背景下。我们基于先前研究的基础上，拓展了关于因果性语言模型输入序列中信息丢失的问题，将其应用于表征学习领域。我们在编码器 -
PDF3 months ago
AAAI利用凝视进行对比学习以促进计算机辅助诊断
通过眼动追踪作为替代文本报告的方法，我们可以 passively 收集放射科医师在阅读和诊断医学图像时的视觉关注和临床推理，从而在医学图像领域中改善对比度预训练的有效性。我们提出了医学对比度视线图像预训练（McGIP）作为对比度学习框架的即
PDF7 months ago
具备语音条件的潜空间扩散和人脸先验的逼真语音到人脸生成
提出了一种利用 Speech-Conditioned Latent Diffusion Model (SCLDM) 的语音到人脸生成框架，通过对话音频和面部特征之间的对比预训练以及引入残差的方式，实现了更加逼真的人脸图像生成。在 AVSpe
PDF9 months ago
学习三模态嵌入用于零样本声景映射
我们的研究主要关注声音景观映射的任务，利用先进的模型对地理位置的语音、语音的文本描述以及其拍摄地的航拍图像进行编码，构建了三种模态的共享嵌入空间，从而可以根据文本或音频查询构建任何地理区域的声音景观地图。在 SoundingEarth 数据
PDF9 months ago
规则化对比预训练用于少样本生物声音检测
通过提供开源代码，本研究旨在降低少样本生物声事件检测的门槛，通过提出一个简单而有效的框架来实现此任务，并通过规范化监督对比预训练来学习能够在新目标任务中进行良好迁移的特征，从而在无特征适应时取得 61.52%（0.48）的高 F 分数，在进
PDF10 months ago
ACL具有相关感知对比预训练的无监督密集检索
本文提出了一种基于对中间训练模型的关联系统估计和自适应加权的相关性感知对比度学习方法，应用于无监督稠密 Retriever 模型，提高了其检索效果并且表现出很好的 few-shot 学习能力。
PDFa year ago
ACL远程监督下基于加权对比预训练的关系抽取
本研究提出了一种加权对比学习方法，利用有监督数据估计预训练实例的可靠性并明确减少噪声效应，实验证明相对于两种最新的非加权基线，我们的加权对比学习方法在三个监督数据集上有明显的优势。
PDF2 years ago
ICML连接，而非坍塌：解释对比学习在无监督领域适应中的应用
本文针对无监督域适应问题，提出了一种基于对比度预训练的分类器学习方法，该方法可以学习到跨领域的分类特征而无需在领域间建立不变特征映射，并在基准视觉数据集上获得了验证。
PDF2 years ago
细心增广：对于组合问题的对比学习
通过引入 label-preserving augmentations 和对 contrastive pre-training 进行科学研究，我们发现可以利用有标签的数据集中仅 1% 的数据就可以训练出与全监督学习具有可比性的表示方法，并且
PDF2 years ago
EMNLPCodeRetriever: 用于代码搜索的单模态和双模态对比学习
本文提出了 CodeRetriever 模型，通过大规模的代码 - 文本对比预训练学习功能级别的代码语义表示，并采用单模态对比学习和双模态对比学习两种对比学习方案，以通过文档、函数名称和代码 - 文本对建立语义相关的代码对和代码 - 文本对
PDF2 years ago
对比式预训练用于文本与代码嵌入
本文研究了使用对比方式的自监督无监督训练大规模文本向量化，得到的向量在文本与代码搜索中表现优异，相较于之前使用监督学习方法的实验结果，相对提升了 4% 到 23.4% 不等。
PDF2 years ago
EMNLP基于对比度预训练和微调的小样本意图检测
本文提出了一种对于细粒度、语义相似的意图进行 Few-shot 检测的方案，使用了对比自监督预训练和有监督对比学习的组合方式，在三种不同的具有挑战性的 Few-shot 意图检测数据集上实验，获得了最先进的表现。
PDF3 years ago
ACLCLEVE: 事件抽取对比预训练
CLEVE 是一种对事件抽取进行对比预训练的框架，可以从大规模无监督数据和自动解析器获得的语义结构中更好地学习事件知识，并在传统的监督学习和无监督的事件抽取中显着提高了性能。
PDF3 years ago
CAPT: 对比性预训练学习去噪序列表示
提出了 ContrAstive Pre-Training (CAPT) 来学习抗干扰的序列表示，这种方法通过无监督的实例训练信号来鼓励原始序列的表示和其被污染版本的表示之间的一致性，从而既缓解了先训练的噪声引起的误差，也提高了模型对输入全局
PDF4 years ago