- 面向任务的特定领域优化,用于高效和稳健的对于开放域问答的密集检索
提出了一种新的体系结构,Task-aware Specialization for dense Retrieval (TASER),该模型通过交错共享模块和专用模块在单个编码器中实现参数共享,能够在使用密集检索模型时提高准确性并显著减少了参 - ECCV可流式神经场
提出了可流式传输的神经场模型,通过可执行的各种宽度的子网络,可以重构不同品质和部分信号,例如,较小的子网络产生平缓和低频信号,而较大的子网络可以表示细节,实验结果表明,该方法有效地应用于 2D 图像,视频和 3D 信号。同时,该方法还利用参 - EMNLP超级适配器多语言机器翻译
本文介绍了通过使用超适配器,克服多种语言间负面干扰和参数共享问题。研究表明,相比于传统适配器,超适配器具有更少的参数数量和更好的性能表现,且能够促进跨语言的积极转移。
- CVPR多任务学习的任务自适应参数共享
为了在多任务学习中最小化资源使用和任务之间的竞争,本文提出了一种名为 TAPS 的方法,其通过自适应修改小的任务特定层子集来将基本模型调整到新任务中。与其他方法相比,TAPS 在保持高精度同时引入很少的任务特定参数方面表现优异。
- 使用图形超网络进行异构架构的联邦学习
提出了一个新的标准联邦学习 (FL) 框架,该框架通过采用图形超网络进行参数共享,适应了异构客户端架构的需求,并在标准基准测试中表现显着优于现有解决方案。
- ACL通过理解和学习辅助文本翻译任务来提高语音翻译
本文研究了在多任务学习框架下,辅助文本翻译任务对语音到文本翻译任务的影响及参数共享等解决方案,提出三种方法以提高翻译质量,实验结果表明该方法在几种语种翻译任务中相对于基线都达到了最新水平。
- IJCAI逆强化学习驱动的面向目标的交通仿真
本研究使用参数共享对抗逆强化学习模型,将交通仿真视为一个逆强化学习问题,并且能够在实际环境中模拟出车辆轨迹,同时还能够恢复反映车辆真实目标的奖励函数,与现有方法相比,在多样化的实际交通环境中表现出卓越的性能和稳健性。
- Transformers 中层间参数共享经验
提出一种参数共享方法,通过针对 Transformer 和 Universal Transformer 的参数共享策略提高计算效率,并验证其在大数据配置中的有效性。
- 使用超网络进行个性化联邦学习
本文提出了一种基于超网络的个性化联邦学习方法 pFedHN,该方法可以协同训练多个客户端的个性化模型,在考虑数据分布差异和减少通信成本的同时实现有效的参数共享,并在多个个性化联邦学习挑战中得到了很好的表现。
- ICML利用选择性参数共享扩展多智体强化学习
该论文提出了一种新颖的方法,通过根据智能体的能力和目标对其进行分区,将参数共享的样本效率与多个独立网络的表征能力相结合,以缩短训练时间并提高最终回报,从而解决多智能体深度强化学习中,参数共享方法在不同环境下对训练速度和收敛效果的影响。
- 异质图神经网络用于移动蜂窝系统的功率控制学习
使用嵌入先验知识的 HetGNN 及参数共享方案来学习多用户多小区网络中的最优功率控制策略,相比于 DNN,其拥有更低的样本复杂度和较小的网络规模。
- EMNLP重新审视模块化多语言神经机器翻译以满足工业需求
本研究对多语言神经机器翻译模型重回共享同一语言模块作为一种实用的替代方法,发现使用多路径训练可将模型的性能提升到与要求相当的水平,而增量学习可比单一训练模式具有更好的效果,在工业应用中是一种有竞争力的候选模型。
- EMNLP用 Softmax 温化技术训练神经机器翻译模型
本研究探讨了采用 softmax tempering 技术来训练神经机器翻译模型,在亚洲语言 Treebank 数据集和 WMT 2019 英德翻译任务中实验证明该技术显著提高翻译质量,同时使贪心搜索与 Beam Search 解码同为一体 - ICLR通过重新参数化实现元学习对称性
这篇研究论文介绍了一种从数据学习平移对称性、提高深度学习在图像处理任务中的性能的方法,而非人为设计具有相应等变性质的架构,其通过学习相应的参数共享模式来实现对等变性的学习及编码,并且结果显示其成功替代了传统手动构建深度学习架构的方法。
- ECCV通过不对称三向 Faster-RCNN 实现域自适应目标检测
提出一种基于不对称三路 Faster-RCNN 和辅助网络的非监督域自适应目标检测方法,在保证安全性的同时提高了区别性并在多个数据集上达到 SOTA 性能。
- ICLR神经参数分配搜索
本文提出神经参数分配搜索 (NPAS) 以及 Shapeshifter Networks (SSNs) 算法,通过自动学习神经网络中参数的共享,从而达到内存优化和性能优化的目的。这一方法在多项任务和网络结构中取得良好的效果。
- ACL多语言命名实体识别中的转移来源
本论文研究多语言命名实体识别问题,提出用多语言数据训练模型,并在单语言数据上进行微调,通过参数共享和微调提高多语言模型的性能。
- ACL标题中的钩子:学习使用受控样式生成标题
本研究提出了一种新的任务 —— 文体标语生成(SHG),通过将摘要和重构任务组合成一个多任务框架以及新颖的参数共享方案,为文摘添加了三个样式选项(幽默、浪漫和点击量讹诈),从而吸引更多读者。通过自动和人工评估,我们证明了 TitleStyl - EMNLP元学习实现零样本跨语言迁移
研究多语言应用中,如何应用元学习来提高模型性能,通过实验表明在标准的监督学习、零样本学习和少样本学习的跨语言自然语言理解任务中,元学习对于 15 种语言始终有效。
- 音乐源分离元学习提取器
我们提出了一种层次化元学习启发的模型(Meta-TasNet)用于音乐源分离,其中发生器模型用于预测单个提取器模型的权重,实现高效参数共享,同时仍允许特定于乐器的参数化,比独立训练或多任务设置的模型更有效,实现与最先进方法相当的性能。与后者