- 个性化联邦学习的束超网络
通过将图神经网络与超网络相结合,图超网络(GHNs)在神经架构搜索、分子性质预测和联邦学习等各个领域中利用关系数据。为了克服 GHNs 的不足,在个性化联邦学习(PFL)的背景下,我们提出了一种新型的超网络类,即 sheaf 超网络(SHN - 中國跳棋中高效學習:多智能體增強學習中的參數共享比較
用全参数共享的多智能体强化学习(MARL)在中国跳棋的完全信息同质博弈中胜过独立和部分共享结构。为了运行实验,我们开发了一个新的 MARL 环境:可变大小、六人中国跳棋。该定制环境是在 PettingZoo 中开发的,支持游戏的所有传统规则 - ICMLHarmoDT:用于离线强化学习的多任务决策协同变压器
HarmoDT 是一种融合多任务强化学习算法,通过使用 Transformer 架构的可扩展性和参数共享的优势来解决任务之间的相似性问题,并通过双层优化问题来确定每个任务的最佳参数子空间。
- 实体和关系的联合提取的解耦和聚集框架
我们提出了一种新模型,旨在联合提取实体和关系,通过解耦特征编码过程并使用细粒度的子任务特定特征以及采用新的信息交互策略来增强模型性能,并在实验中展现了优于现有模型的结果。
- CVPR多任务密集预测通过低秩专家混合
提出了一种名为 MLoRE 的新型解码器集中方法,用于多任务密集预测,通过添加一个通用的卷积路径到原始 MoE 结构中以及利用低秩卷积格式的专家网络,以建模全局任务关系并增加表示能力,在多个密集任务学习中实现了优越性能。
- InterroGate: 学习共享、专精和修剪多任务学习的表示
本研究提出了一种名为 InterroGate 的新型多任务学习架构,用于减轻任务干扰并优化推理计算效率。通过可学习的门控机制自动平衡共享和任务特定的表示,同时保持所有任务的性能。在广泛的实证评估中,我们使用卷积和基于 transformer - 神经多网格架构
我们提出了一种简便的无矩阵神经网络结构用于多重网格方法。该结构简单到可以在不到五十行的代码中实现,但包含许多不同的多重网格求解器。我们认为,固定的神经网络没有密集层不能实现高效的迭代方法。因此,标准的训练协议不能生成竞争优势的求解器。为了克 - 多智能体强化学习的策略距离测量
多样性在提高多智能体强化学习 (MARL) 性能方面起着关键作用,本文提出了一种通用的量化智能体政策差异的工具,多智能体政策距离 (MAPD),并通过在线部署设计了一个多智能体动态参数共享 (MADPS) 算法来应用该工具。实验证明,我们的 - 多智能体强化学习的自适应参数共享
我们提出了一种新颖的参数共享方法,通过将每种类型的代理映射到共享网络中的不同区域,基于它们的身份,形成不同的子网络,从而增加了不同代理之间的策略多样性,而不引入额外的训练参数,通过在多个环境中进行的实验证明,我们的方法表现优于其他参数共享方 - 模块化混合注意力网络用于视频问答
多模态机器学习中的网络结构复杂,通过连接可重用且可组合的神经单元,可以以更直观的方式完成多模态机器学习任务的网络构建,同时通过参数共享大大减少了空间复杂度。
- FP3O: 多智能体合作中的参数共享灵活性下 Proximal Policy Optimization 的实现
为了解决现有多智能体 PPO 算法在扩展 PPO 的理论保证到合作多智能体强化学习时的不兼容性问题,本文提出了一种新颖且多功能的多智能体 PPO 算法。该算法基于全流水线范例,通过采用不同的优势函数等效分解建立多个并行优化流水线,成功地更一 - OFVL-MS:多个室内场景下的一次性视觉定位
利用多任务学习方式预测场景中的相机姿态,提出了 OFVL-MS 统一框架,通过设计适应性共享策略和梯度归一化算法,在减少存储成本和解决梯度冲突的基础上提高了视觉定位性能。
- 理解 Transformer 中的参数共享
通过研究深度模型中参数共享的原因,本文发现共享参数主要是通过优化训练收敛来提高模型性能。在机器翻译等任务中,我们的模型表现优异,且仅有参数共享模型一半的复杂度。
- DynaShare:基於任務和實例條件的參數共享用於多任務學習
本文提出了一种新颖的多任务学习参数共享方法,它在推理时间上联合任务和中间特征表示来调节参数共享。与传统的参数共享方法不同,我们的方法利用任务和输入实例动态决定哪些网络部分被激活。该方法学习一个分层门控策略,包括粗层选择的任务特定策略和个体输 - 异质智能体强化学习
本文提出了基于 HARL 算法的新框架 HAML,将多智能体强化学习的合作扩展到异构智能体模式,并对该框架下的多种算法进行了验证和比较。测试表明,HARL 算法在协调异构智能体方面的稳定性和有效性要优于现有的 MA 对应物。
- 网络修剪参数共享的可扩展多智能体深度强化学习
本文提出了一种基于结构剪枝的深度神经网络方法,旨在增加联合策略的表示能力从而在多智能体强化学习中减少共享参数对不同行为任务的性能影响。多项基准测试表明所提方法相比共享参数方法具有显著的提高。
- ICML自我参照元学习消除元优化
研究自指元学习系统,探讨其与环境相关和基于记忆体的元学习的关系,提出一种名为‘fitness monotonic execution’的方法来避免显式元优化,通过分配更多的计算资源使神经网络自我修改来解决控制问题并学习如何学习。
- 我们学习的隐喻
本文探讨了参数共享与类比推理之间的联系,并提出了将循环和自回归模型视为从静态特征自然扩展到动态技能和过程的方法,同时质疑了现有计算模型中基于连接主义和经典规则的计算方法之间的界限问题。
- PaCo: 参数组合多任务强化学习
本文介绍了一种名为 PaCo 的参数组合方法,用于解决多任务强化学习中关于参数共享的挑战,并在 Meta-World 基准测试中取得了最先进的性能。
- ECCV多语言文本识别的任务分组
本篇论文提出了一种使用 Gumbel-Softmax 的自动多语言文本识别方法,引入了任务分组损失和加权识别损失,以允许模型和分组模块的同时训练,并验证了将一些语言分为组所带来的参数共享的好处。