- Whistle: 数据高效的多语言和跨语音识别模型:通过弱语音监督方法实现
本文研究了预训练与弱语音监督的方法,提出了一种名为 Whistle 的数据有效 MCL-ASR 方法,通过国际音标转写,构建了一个基于 CommonVoice 数据集的实验平台,实验证明基于音素的模型在多语言语音识别中具有更好的性能和高数据 - ICCV错位,对比,提炼:再思语言 - 图像预训练中的错位问题
提出了一种新的度量学习方法 ——Misalign, Contrast then Distill (MCD),该方法利用图像和文本之间的错位作为额外的训练来源,通过预测增强图像和文本之间的连续错位程度,达到了多个分类和检索数据集中最先进的迁移 - 少即是多 —— 多任务强化学习的调度器 / 执行器原则
通过引入调度员与执行员原则,以及设计原则和结构的改变,可以改善泛化性能并显著提高数据效率。
- EMNLP从错误到正确:一种递归方法用于视觉语言解释
针对有限注释的视觉推理任务,我们提出了一种递归视觉解释算法(ReVisE),通过逐步计算视觉特征、答案和解释来提高解释质量,同时作为宝贵的用于少样本自我训练的注释,该方法在几项指标上超过以往方法,仅利用人类注释的 5% 的数据,VCR 和 - 基于状态 - 动作相似性的离线策略评估
该研究通过引入一个 OPE-tailored 的状态 - 动作行为相似性度量并使用固定数据集来学习该度量以增加数据效率,证明了这种度量可以限制导致的 OPE 估计误差,并通过实证研究证明这种学习表示方法相对于其他 OPE-based 表示学 - 黎曼流形上 Matérn 高斯过程的后置收缩速率
本研究论证了紧致黎曼流形上的内蕴 Matérn 高斯过程和外蕴过程在收敛速率上相符,通过在多个实例上的实证结果表明内蕴过程在实践中可以获得更好的性能,这加强了对几何高斯过程的数据效率水平进行细粒度分析的必要性。
- PromptSum: 参数高效的可控抽象自动摘要
PromptSum 方法结合 Prompt 调优技术、多任务目标和离散实体提示,实现了在高效参数、高效数据和可控性三重条件下的强大自动摘要性能。
- RISE: 利用检索技巧进行摘要评估
使用信息检索中的技术,我们提出了 RISE 方法,可自动评估生成的文本摘要在不需要参考摘要的情况下。在 SummEval 基准测试和跨语言数据集实验中,RISE 表现出更高的人类相关性和数据效率,可视为一种有效的自动化评估摘要方法。
- KDD基于数据效率的形式文档信息提取
本文介绍了如何使用少量标记数据和被标记语料库进行转移学习,以实现在规模上自动从表单状文件提取信息。
- Refiner: 为视觉 Transformer 优化自注意力
通过引入一个概念简单的方案,称为 Refiner,直接改进 Vision Transformers 的自注意映射,该方案探索了一种名为 attention expansion 的扩张机制,可以将多头注意力地图投射到高维空间以促进其多样性,然 - 利用紧凑型 Transformer 逃离 “大数据” 范式
本论文提出了一种名为紧凑型 Transformer(CCT)的方法,并证明使用恰当的大小和卷积记号化技术,可以在小型数据集上避免过度拟合并优于现有卷积神经网络(CNNs)的表现,从而使得 Transformer 在应对较小的数据集、资源受限 - 医学影像的 3D 自监督方法
本文提出了针对五种不同的自监督学习方法的三维版本,利用这些技术进行神经网络特征的学习,通过对三维图像的预处理,显著提高语义表示的精确性,从而在医学成像领域实现了数据效率、性能和收敛速度的提升,具有较高的竞争力和可扩展性。
- 医学图像分析的多模态自监督学习
该论文提出了一种利用多个成像模式的新型自监督方法,设计了一个多模式拼图任务以促进多种图像模式的特征表征,提出了一种利用跨模态生成技术进行多模态数据增强的方法,实验表明该方法能够提高数据效率和语义表征,广泛应用于四种不同的下游任务,并取得了领 - 通过时间对齐的少样本视频分类
本文提出了一种新的少样本学习框架 ——“Temporal Alignment Module (TAM)”,通过显式利用视频数据中的时序信息,计算查询视频与新类别代理之间的距离值以实现视频分类,并引入连续松弛以在端到端的学习中直接优化少样本学 - MM基于知识的不确定性顺序决策制定
本文提出一种将 DRL 算法与符号计划相结合的新算法,引入声明性知识来提高其数据效率和可解释性,并通过公开基准的实验分析验证了其子任务的可解释性,结果表明我们的方法在数据效率方面优于现有的最先进方法。
- 基于贝叶斯优化的因素化情境策略搜索
提出基于贝叶斯优化的因式化上下文策略搜索方法来提高机器人学习数据效率,通过将通常考虑的文本刻画为目标类型上下文和环境类型上下文两个部分,从而实现经验在目标类型上下文中直接泛化。初步结果表明,该方法在模拟玩具问题上可以更快地泛化策略。
- ICML上下文子模预测学习策略
本文介绍了一种基于无悔学习的简单、高效、近似最优化的方法,以优化具有多种选择项的预测问题。实验验证了该方法在各种问题中的高效性和适用性,包括机械臂轨迹优化、新闻推荐和文件摘要。