- UniCL:大型时间序列模型的通用对比学习框架
UniCL 引入了一种通用的和可扩展的对比学习框架,用于预训练时间序列基础模型,跨领域数据集验证了 UniCL 在各个领域的高泛化性能。
- HecVL:零样本手术阶段识别的分层视频语言预训练
通过使用自然语言实现手术模型的普适性训练,本研究提出了一种名为 HecVL 的新型分层视频 - 文本预训练方法,其中通过构建层次化的视频 - 文本配对数据集,通过剪辑级、阶段级和视频级的文本信息学习了多模态嵌入空间,并使用对比学习的框架进行 - CLHA: 人类对齐的简单而有效的对比学习框架
通过对比学习实现人机对齐的简单而有效框架,以提高大型语言模型与人类偏好的一致性。
- 脑血管分割的无监督领域自适应:基于 Transwarp 对比学习
该研究提出了一种简单而强大的对比学习框架,用于医学图像分析中的无监督领域自适应,在标记的源分布和未标记的目标分布之间缩小域间差距。实验证明,该方法可以从标记的 3DRA 模态数据中学习潜在特征,并改善未标记的 MRA 模态数据中的血管分割性 - 学习对比特征表示用于面部动作单元检测
通过引入一种增强的对比学习框架并结合监督和自监督信号,以获取具有区分性的特征,本研究通过样本采样、重加权策略以及损失函数 AUNCE 等方法,针对面部运动单元(AU)检测中困扰的像素级学习问题、标签噪音和 AU 类型不平衡等挑战,取得了优于 - CLDR: 自然语言监督下的对比学习药物响应模型
利用基于深度学习的药物响应预测方法可以加快药物研发过程和降低研发成本。通过提出一种基于对比学习的自然语言监督框架,将回归标签转换为文本,并将其与传统的图形和序列模态进行比较,可以在药物响应预测方面取得卓越的预测性能,并能有效约束样本在表示空 - EMNLPSimCKP:关键短语表示的简洁对比学习
我们提出了一个简单的对比学习框架 SimCKP,它由两个阶段组成:1)一个提取器 - 生成器,通过对比学习的方式学习上下文感知的短语级表示,同时生成不出现在文档中的关键短语;2)一个重新排序器,通过将生成的短语的表示与相应的文档对齐来调整每 - Sat2Cap:从卫星图像映射细粒度文本描述
我们提出了一种新的弱监督方法来使用自由形式的文本描述(或标题)创建地图,我们将这种新的工作称为零样本映射。我们的实验结果证明,我们的模型成功捕捉到了细粒度概念并有效地适应时间变化。
- 基于对比学习的多模态超声引导下对脑肿瘤切除的解剖标志物检测
提出了一种用于神经外科应用中 MRI-US 标志物检测的对比学习框架,通过训练卷积神经网络在 MRI 和 US 扫描中编码图像特征,以匹配包含 MRI 相应标志物的 US 图像块,该方法首次在 MRI-US 标志物检测方面取得了有希望的结果 - ACL通过对比奖励学习提高抽象摘要生成的准确性
通过对比学习框架和事实度指标的最新发展,本文提出了一种简单而有效的对比学习框架,实证研究表明该框架能够通过对比奖励学习从事实度指标的反馈中学习,从而在人类评估中生成更加符合事实的摘要,这表明学习和评估算法的进一步发展可直接提供更加符合事实的 - 基于不确定性感知的联合显著目标检测与伪装目标检测
通过数据级矛盾建模和任务级矛盾建模,引入不确定性感知学习流程,从而在突显物体检测和伪装物体检测任务中充分探索矛盾信息。为了更好地理解这两个任务的不确定性,我们广泛研究了不确定性估计技术,以实现对每个任务的困难区域进行有效估计和学习。实验结果 - ACL提高抽象摘要的事实性而不牺牲摘要质量
本文提出了一种名为 EFACTSUM 的候选摘要生成和排名技术,旨在在不牺牲摘要质量的前提下提高摘要的事实性。通过使用对比学习框架并结合两个度量,训练出的模型在 XSUM 和 CNN / DM 上相对于基本模型均有显著的事实性和相似性改进。
- 针对槽位填充的词汇外问题的再探:一种综合对比框架,配有多级数据增强
本文介绍了一种基于多层数据扩增的 OOV 坚韧性槽填充模型,通过从词和槽的角度解决 OOV 问题。实验表明,该模型比现有模型和之前的最佳模型在 OOV 词和槽方面表现更出色。
- 从零开始设计离线强化学习目标
本文提出了一种基于对比学习框架的评分指标,能够更准确地排名离线策略并用于监督式的离线策略优化,其在各种离线增强学习基准测试中表现优异,需求的策略网络容量更低、无需额外的网络配合。
- ICML通过对比学习实现离线元强化学习的稳健任务表示
在离线元强化学习的背景下,提出了一种对抗学习框架,用于学习对行为策略不敏感的任务表示,并通过对各种离线元强化学习基准测试的实验,展示了该方法相比之前的方法在行为策略的泛化能力方面的优越性。
- 通过易于关系增强和对比学习改善长尾文档级关系抽取
本文针对文本提取中长尾分布问题,提出 Easy Relation Augmentation (ERA) 方法和基于此的对比学习框架 ERACL,以改善面向真实场景的文档级关系提取性能,取得了优越的表现。
- 零 - shot 转移学习的综合缩放
研究使用 BASIC 方法将对比学习框架在三个方面进行扩展:数据规模、模型规模和批次大小,并取得了对比学习模型的极高准确性和健壮性。
- EMNLPSimCSE: 简单的对比学习句子嵌入
本文介绍了一种简单的对比学习框架 SimCSE,通过无监督和监督学习两种方法,显著提高了句子嵌入的性能,适用于语义文本相似性任务。
- 知识感知对比分子图学习
本文介绍了一种融合领域知识的自我监督分子表示学习模型,通过在对比学习框架下显式编码领域知识,将化学领域知识融合到分子图表示中,证明这种方法可以区分具有相似化学公式但不同功能的分子。在 8 个公共数据集上进行的实验表明,该模型具有显著的有效性 - ACL通过对比学习提高预训练语言模型对实体和关系理解的能力 - ERICA
该论文提出了一种对文本中的实体和关系进行深入理解的新型对比学习框架 ERICA,可显著提高预训练语言模型在低资源环境下的关系提取,实体类型和问题回答等多个语言理解任务的性能表现。