- ICLRProto-Value Networks: 辅助任务扩展表示学习的规模
本研究通过增加辅助任务来提高深度强化学习代理学习到的表征,特别是通过基于后继度量的辅助任务建立的对象 proto-value networks 学习代理的丰富表征,实验结果表明 proto-value networks 可以在仅进行少量与环 - 多任务学习在开放域对话系统中的实证研究
研究使用辅助任务对自回归模型进行改进,提高其在开放域对话生成中的长期语境处理和一致性维护,结果在小型和中型的 GPT-2 模型上表明引入新的辅助任务虽然有所改进,但仍有发展空间。
- ICLR关系多任务学习:建模数据和任务之间的关系
本文提出了一种创新的关系多任务学习框架 MetaLink,通过建立连接数据点和任务的知识图谱,利用来自辅助任务的数据点标签预测新任务中的结果,可以在不同领域的 6 个基准数据集上成功地利用不同任务之间的关系,在提出的关系多任务学习设置下,可 - 利用上下文结构生成有用的辅助任务
通过生成和学习有用的辅助任务,最大化经验重用,从而学习解决给定任务的方法,通过计数推理和离线策略方法同时学习这些辅助任务,从而实现多任务强化学习的新框架。
- 模型 Ratatouille:回收各种模型以实现超出分布的泛化
本文提出一种称为 Model Ratatouille 的新技术,通过在多个辅助任务上重新使用同一基础模型的多个微调,利用微调之间的差异提高结果多样性以优化目标任务结果。通过该技术在参考 DomainBed 基准上显着改善了结果,并将贡献到可 - 面向多模态摘要生成的基于摘要导向视觉建模
本文提出通过辅助任务来改善多模态主动摘要中的视觉特征质量,包括视觉到摘要任务和掩蔽图像建模任务,从而优化多模态主动摘要模型。实验结果在 44 种语言中验证了该方法的有效性和优越性。
- 以响应选择为辅助任务的高效任务导向型对话系统
本文提出两种具有辅助任务的模型,用于响应选择,并在 MultiWOZ 2.1 数据集上取得了 107.5 和 108.3 的综合分数,优于具有三倍以上的参数基线模型。
- ECCV自监督学习的定制与监督学习
本文探讨了如何将自监督任务应用于有监督学习,在此基础上提出了一种针对有监督学习的自监督任务 —— 预测可定位的旋转(LoRot),并通过实验证明其可应用于高鲁棒性和泛化能力。
- ACL检测、消岐、重新排序:自回归实体链接作为多任务问题
提出了一种采用两个辅助任务进行训练,学习在推断时重新排列生成样本的自回归实体链接模型。实验表明,在医学和新闻领域的两个基准数据集上,该模型在不使用知识库或候选集的情况下创造了新的最高成果,并表明辅助任务对提高性能很关键。
- 强化学习中有用的辅助任务是什么:研究目标策略的影响
本研究研究探讨在强化学习中,作为表示学习的辅助任务(auxiliary tasks)的目标策略(target policy)对主任务(main task)学习的影响,实证结果表明,贪心策略的辅助任务往往有效,而在所有策略中,甚至包括均匀随机 - 将对比学习与动态模型集成,用于从图像中进行强化学习
本文提出了一种自监督表征学习方法,它将对比学习与动态模型相结合,以协同地实现三个目标,即通过最大化信息 NCE 界来诱导线性预测嵌入,通过显式学习非线性转换模型进一步提高学习嵌入的马尔可夫性以及最大化下一嵌入的互信息,其基于当前动作和当前状 - 跟随你的嗅觉:在强化学习中使用通用价值函数进行有向探索
本研究探索了使用 GVF 和有向探索策略结合探索和辅助任务学习的方法来提高强化学习中的样本效率,实验表明该方法在不同大小的网格导航任务中表现出优异的性能。
- KESA:一种基于知识增强的情感分析方法
本研究提出了两种情感感知的辅助任务:情感词谜和条件情感预测,以更轻量的方式从情感知识中受益,并通过多种标签组合方法进行实验验证,结果表明该方法始终优于预训练模型并且在现有知识增强后训练的模型中具有增益效应。
- 学习使用辅助单目上下文有助于单目三维物体检测
该论文提出了一种不需要额外信息的单目 3D 物体检测方法 MonoCon,利用辅助任务学习单目上下文来帮助检测,在训练中利用了一组丰富的二维监督信号来学习辅助参数,该方法在 KITTI 基准测试中在车辆类别上实现了最佳表现,并获得了较高的检 - ICLR辅助任务更新分解:好的、坏的和中性的
为使辅助任务更新适应主任务,我们提出了一种模型无关的框架,通过对辅助更新进行分解和加权,使得这些更新可以帮助、损害或保持主任务损失不变,在处理文本和图像分类任务中,该方法与强基线方法相比表现更优。
- 基于图神经网络的自适应迁移学习
该研究提出了基于自监督任务的图神经网络(GNN)的迁移学习新范式,其能够有效地将自监督任务作为辅助任务在微调阶段与目标任务结合起来,通过元学习来学习辅助任务的权重,对于多任务学习,预训练和微调均表现出色。
- KDD数据效率深度强化学习的集成和辅助任务
研究了整合深度强化学习算法中的集成和辅助任务的影响,并在 ATARI 游戏中进行了案例研究,在有限的数据约束下,从不同的方法来分析学习集合和使用辅助任务的各种方式,并使用分析结果来提供对案例研究的理解。
- ACL具有辅助任务的数学语言问题神经符号求解器
本文提出了一种神经符号求解器 (NS-Solver),能够显式且无缝地结合不同级别的符号约束,其中包括问题编码器、符号方程式生成器和符号执行器。在四个新辅助任务的帮助下,我们的求解器不仅能够自我监督数字预测任务,还能进行常识常数预测、程序一 - Pareto 自监督训练在少样本学习中的应用
本文通过提出 Pareto 自监督训练(PSST)方法来解决少样本学习中的优化问题,该方法将少样本辅助学习分解成多个具有不同权衡偏好的约束多目标子问题,然后通过有效的首选 Pareto 探索在这样的首选区域中找到一组最优解。
- ACL基于信息解缠正则化的文本分类连续学习
本研究提出了基于信息分离的正则化方法,并引入了两个简单的辅助任务,用于在大规模基准测试中进行不同长度和序列的持续文本分类任务,证明了该方法的有效性。