- PYRA: 并行激活反馈以提高训练与推断的效率的任务适应
我们提出了一种新颖的并行适应重新激活(PYRA)方法,用于训练和推理效率高的任务适应,通过并行产生自适应权重和标记激活策略,以在大规模基础模型中同时保持训练和推理的效率。
- AAAISemTra: 跨领域零样本策略适应的语义技能转换器
该研究探索了语义技能的零 - shot 适应能力,在跨领域环境中,在交织的多模态片段中,通过用户输入可触发不同领域的新的远程任务。通过语义技能翻译框架 SemTra,该框架利用一组多模态模型从片段中提取技能,并利用预训练语言模型的推理能力将 - 基于误判的 LLM 情境学习的示范选择
本文介绍了一种名为 In-Context Reflection (ICR) 的新方法,通过策略性地选择示范来减少大语言模型 (LLMs) 的输出与实际输入输出映射之间的差异,从而克服了在实践中选择示范的困难。经过综合评估,ICR 在五个不同 - PartSTAD: 二维到三维零部件分割任务适应
我们介绍了 PartSTAD,一种用于 2D 到 3D 分割转换的任务适应方法。我们的实验在 PartNet-Mobility 数据集上展示出了显著的改进,与当前 few-shot 3D 分割模型相比,语义和实例分割的 mIoU 增加了 7 - 文本与图像人物再识别的提示解耦
这篇论文主要研究了使用文本描述查询来进行图像中的人物重识别,并提出了一种两阶段训练方法,通过解耦域适应和任务适应的过程来改善性能。
- ConPET: 大型语言模型的连续参数高效调整
Continual Parameter-Efficient Tuning (ConPET), a generalizable paradigm for continual task adaptation of large language - 分布式图像语义无线传输的高效通信框架
提出了基于联邦学习的语义通信框架(FLSC),旨在通过全局聚合改善多任务分布式图像传输,其中每个用户的每个链接由基于分层视觉变换器(HVT)的提取器和适应特定任务的适应性翻译器组成。通过仿真实验结果表明,FLSC 在粗略语义信息方面表现优秀 - MALIBO: 元学习用于无似然贝叶斯优化
提出了一种新的元学习贝叶斯优化方法,通过直接学习任务间查询的效用来解决现有方法在规模可扩展性、观测尺度和噪声类型上的限制,明确建模任务不确定性,并使用辅助模型实现对新任务的稳健适应,在各个基准测试中展现了强大的即时性能,并优于现有元学习贝叶 - ACLFew-shot Fine-tuning vs. In-context Learning: 公平比较和评估
本文比较了预先训练的语言模型的任务适应的两种替代策略:few-shot fine-tuning 和 in-context learning。通过控制模型、样本数量和参数数量,研究表明 fine-tuned language models 确 - ACL使用未确定演示测量上下文学习的感应偏差
通过构建自然语言信息的语境学习,研究了其归纳偏见的特征偏向,并尝试不同介入方式以对其进行干预,结果表明对于一些归纳偏见较强的特征,介入可能很难成功。
- 充分利用现有资源:在低数据条件下调整预训练的视觉语言模型
研究表明,视觉语言模型是目前广泛使用的预训练模型,但在适应少量样本方面,深度学习模型存在不足。本文研究了面向生成视觉语言模型的现有适应方法,提出了自标记的重要性,并提出一种任务适应流水线,可显著提高各种视觉语言任务(如图像分类、视觉问答等) - 基于语言引导的仿真学习任务适应
本研究提出了一种新的任务学习方式,即通过自然语言表述来传递任务间的区别,以实现重用其他任务的演示,并使用 transformer-based 模型来理解实体之间的关系以学习目标任务,并构建了 Room Rearrangement 和 Roo - AAAI面向任务适应性元学习框架的空间泛化能力提升
提出了一种模型无关的元学习框架,采用任务自适应的公式将地域异质性数据集合成位置敏感的元任务,使模型适应大量异质性任务,并在实际社会应用中处理了空间相关的异质性任务。
- AAAI增量学习维持公平性
该研究提出了一种名为 FaIRL 的表示学习系统,它可以在增量学习新任务的过程中维持公正,通过控制所学表示的速率畸变函数来实现公平和新任务的学习,并在目标任务上实现高性能,优于几种基准方法。
- 微调与元强化学习的有效性比较
本文研究使用 meta - 强化学习方法来完成多个视觉基准测试,在评估这些方法时,我们发现在不同的任务上,多任务预训练加微调的性能相当甚至更好,这与使用 meta-pretraining 和 meta test-time adaptatio - 基于模型的元学习批判家对策略梯度的优化
针对强化学习中仍存在的新场景快速泛化的问题,该研究提出了一个元学习算法,通过对反梯度策略学习的评论家进行元学习来优化学习任务通用的代理。结果表明,该算法可以学习到接近真实 Q 值函数的评论家,使学到的评论家能够适应于新的任务和环境,并能用于 - 深度学习中的可迁移性研究
本文介绍深度学习中的迁移学习,包含核心原理和方法、面临的基本问题、未解决的问题以及工具库和基准测试等方面的内容。
- 利用辅助大任务学习具有不一致标签的多项任务
该研究提出了一种框架,通过联合利用来自具有足够多类别的大型辅助任务和这些任务之间共享的信息,来学习在训练样本有限、标签集仅部分重叠或甚至没有的多任务。其关键思想是利用可用的标签信息,自适应地修剪辅助网络的隐藏层神经元,构建每个任务的相应网络 - 从 VQA 数据中学习视觉对话代理
研究如何提高视觉对话代理的适应性,使其可以在不忘记如何与人交谈的情况下,高效地适应新任务。通过分解意图和语言,减少在新任务中语言漂移的情况,并通过定性结果、自动化指标和人类研究证明我们的模型可以适应新任务并保持语言质量。
- ICLR无需记忆的元学习
通过信息理论设计的元正则化目标,可以使元学习器在任务训练数据和任务测试数据之间有效地适应,成功地使用来自非相互排斥任务的数据来有效地适应新任务,并在应用场景中大幅优于标准元学习算法。