contrastive learning objective | BriefGPT

关键词contrastive learning objective

搜索结果 - 6

对比困惑度与受控生成：在去毒化大型语言模型中的应用
研究通过对大型语言模型进行对比学习目标的整合，以实现隐式知识编辑和受控文本生成，从而解决生成不受欢迎和事实不正确的内容的问题。该方法在自毁训练方式的基础上，通过利用现成的语言模型进行数据生成，成功降低了生成有毒内容的频率，并在通用任务（如常
PDF6 months ago
利用检索增强学习改进生物医学实体链接
通过引入新的 $k$NN-BioEL 方案，以及使用动态难负采样 (DHNS) 进行对比学习，本研究提出了一种改进型的生物医学实体链接模型，可以提高模型对稀有和困难实体的处理能力，并在多个数据集上优于现有方法。
PDF7 months ago
ICCVRCA-NOC: 相对比对对齐用于新颖物体字幕生成
通过相对对比学习，本研究提出了一种新颖的方法来学习视觉和语义对齐，从而实现新颖物体的描述。针对每个图像，通过利用基于 CLIP 的正负样本的相对性质增加标签，设置适当的对比学习目标，并且将每个增强标签在列表中的排名作为相对相关性标签来对比每
PDF7 months ago
使用 WavText5K 和 CLAP 训练进行音频检索
本文提出了一个新的 Web 音频文本检索框架，使用文本编码器、两个音频编码器和对比学习目标来实现语言和音频内容间的连接，包括多个数据集的使用，取得了相对于 AudioCaps 和 Clotho 在文本 - 音频检索上 2％和 16％的提高，
PDF2 years ago
COLING不要以最后一层来评估语言模型：分层注意力池化对比学习
该论文介绍了一种基于注意力池化策略和对比学习目标的方法，可以从预训练的语言模型中提取语言学特征和层次信号，用于下游任务，并在语义文本相似度和语义搜索任务中取得了显著提升。
PDF2 years ago
CVPR电影理解的分层自监督表征学习
本文介绍了一种面向电影理解的自监督视频学习方法，采用分层的预训练策略，在低层进行对比学习，高层则采用事件遮罩预测任务来预训练视频上下文模型，并在 VidSitu 基准测试中表现出更好的性能。同时，在 LVU 任务中，我们还展示了上下文化事件
PDF2 years ago