- MM推荐系统中的数据稀缺现象:一项调查研究
应对推荐系统中的数据稀缺问题,本文提出了多种策略,包括数据增强、自监督学习、迁移学习、广义学习和知识图谱利用,以缓解该挑战,并深入探讨了推荐系统领域中的挑战和未来发展方向,为研究人员和实践者提供宝贵的指导和启示,最终推动推荐系统领域的进展。
- HandDiffuse: 通过扩散模型生成的双手交互控制器
提出了一个新的数据集 HandDiffuse12.5M,它是一个包含强烈的双手互动时间序列的数据集,用于可控的互动手势生成;通过扩散模型和设计不同控制器的两种运动表示方法,进一步提出了强基准方法 HandDiffuse;实验证明,该方法在运 - 基于相关性引导的神经机器翻译
我们提出了一种基于可解释性的 NMT 训练方法,应用于无监督和有监督模型训练,用于翻译英语和三种不同资源的语言 —— 法语、古吉拉特语和哈萨克语。我们的结果表明,我们的方法在低资源条件下可以有希望,优于简单的训练基线;尽管改进只是微小的,但 - 神经 GPT:为脑电图开发基础模型
为应对脑机接口任务中的电脑断层扫描(EEG)数据稀缺和异质性,以及利用大规模的公共数据,我们提出了神经 - GPT,这是一个由 EEG 编码器和 GPT 模型组成的基础模型。该基础模型在大规模的公共 EEG 数据集上进行自监督任务的预训练, - 转移分子基础模型以预测聚合物性质
使用在小分子上预训练并在聚合物属性上微调的 Transformer 模型,可以达到与在扩增聚合物数据集训练的模型相当的准确性,对于一系列基准预测任务来说。
- 异构存储增强神经网络
通过引入可学习的记忆令牌和注意机制,我们提出了一种新颖的异构记忆增强方法,可以有效提升性能而不需要巨大的计算开销。
- 多网格张量化傅里叶神经算子用于高分辨率偏微分方程
通过引入一种新的高效数据、可高度并行化的操作符学习方法,称为多网格张量化神经算子 (MG-TFNO),我们解决了部分微分方程 (PDEs) 的学习解算符在高分辨率下存在的内存复杂度和数据稀缺性的限制。
- 揭示空间时间遮挡自编码器在多变量时间序列预测中的威力
该研究提出了一种基于空间 - 时间蒙面自编码器(STMAE)的多元时间序列(MTS)预测框架,利用蒙面自编码器来增强空间 - 时间基线模型的性能,并通过在多个 MTS 基准上进行广泛实验来证明其在提高 MTS 预测能力方面的潜力。
- 预训练多语言翻译模型中的属性控制器是否具有可迁移性?
以预训练的大规模多语种翻译模型为基础,通过研究训练和推理过程中的控制技术,探索了零 - shot 方向上的属性控制能力,并在低资源语言孟加拉进行了人工评估。
- 探索基于元信息的音频零样本鸟类分类
这项研究利用元信息来改善零样本音频分类,以鸟类物种作为例子进行了研究,并通过文本描述、功能特征和鸟类生活历史三种元信息的来源,提取了音频特征并采用零样本学习算法得出了最佳结果。
- 基于离散单元的风格转换的语音到语音翻译
直接语音到语音翻译(S2ST)结合了离散的自监督表示,取得了显著的准确性,但无法在翻译过程中保留源语音的说话人音色。我们提出了一个基于自监督模型的离散单元和神经编解码器的 S2ST 框架,用于样式转换。声学语言模型利用自监督的上下文学习,获 - 从人工制造到真实:利用大型语言模型的伪数据进行低资源分子发现
利用大型语言模型生成的人工真实数据,我们通过提出一种查询引导策略以构建高质量的伪数据,并探索了有效利用这些伪数据的最佳方法来解决低资源挑战。实验证明,使用伪数据进行领域适应的效果优于所有现有的方法,同时需要更小的模型规模、更少的数据量和更低 - 大型语言模型在信息检索中的应用:综述
信息检索系统和大型语言模型的融合,包括关键方面,如查询重写、检索、重新排序和阅读器,在这一快速发展的研究领域中提供全面的概述和深入的见解。
- ICLR神经崩溃终点:类增量学习及其变种的统一解决方案
该论文提出了一种统一的解决方案,通过神经崩溃终局将分类增量学习、灾难性遗忘和数据不平衡与数据稀缺等问题融合在一起,并通过原型演化方案实现了对背景特征的平滑转变,从而在面临常规情况、长尾类增量学习和少样本类增量学习时实现了更好的学习能力。
- 在数据稀缺领域中利用专家模型训练深度神经网络:应用于离线手写签名验证
该研究引入了一种新方法,在任务特定数据有限或不可用的领域中,利用现有专家模型的知识来训练新的卷积神经网络。该方案应用于脱机手写签名验证(OffSV),通过特征为基础的知识蒸馏(FKD)和全局相似性度量,仅使用手写文本数据来监督学生的训练,从 - 可穿戴设备数据的生成模型
通过开发一个多任务自注意模型,我们可以合成真实的可穿戴活动数据,并通过定量和定性方法来检验其与真实样本的相似性,从而解决医疗研究中的数据稀缺问题。
- 评估认知任务结构的迁移学习
通过在不同的 EEG 解码任务上进行深度学习网络的预训练和评估,研究了深度学习表达在任务之间的可迁移性,并发现在解码性能上有显著的提升,同时揭示了特定解码范式引发特定脑活动的证据,从神经科学的角度加强了我们对认知任务之间层次关系的理解。
- ICCV视觉与语言导航中的数据生成扩展
通过构建大规模数据集,研究了语言引导的视觉导航中各个组成部分对代理性能的影响,并通过简单模仿学习将现有代理的性能推向了一个显著的新高度,成功率达到了 80%,并将在已见和未见环境中导航的泛化差距降低到不到 1%。
- TinyTrain:极端边缘的深度神经网络训练
TinyTrain 是一个在设备上训练的方法,通过选择性更新模型的部分并明确处理数据稀缺性,大大减少了训练时间,在减少计算和内存占用的同时,实现了高精度的未知任务。
- 利用基于物理的生物力学模拟进行步态数据增强
本文介绍了一种基于 OpenSIM 的新型步态数据增强框架,通过仿真出符合人体行走生物力学约束的步态序列,增强 WBDS 和 CASIA-B 两个数据集,并在 3D 性别步态分类和 2D 步态个人识别中训练步态分类器,实验结果表明我们的增强