- ACL通过语言反馈教授语言模型自我提升
本文提出了自我优化调整(SRT)方法,利用模型反馈来对齐大规模语言模型(LLMs),减少对人类注释的依赖,实现基础模型的自我评估和输出改进,从而促进持续学习。经验证明,SRT 在不同任务和模型大小上明显优于强基线模型,特别是在 Alpaca - HateDebias: 关于仇恨言论去偏见的多样性与可变性
社交媒体上的仇恨言论普遍存在且亟需控制,本研究提出了一个名为 HateDebias 的基准测试,旨在分析在不断变化的环境下仇恨言论检测模型的能力,通过收集不同类型偏见的现有数据集,并重新组织数据集以适应连续学习的设置,评估在单一类型偏见数据 - ACLA + B:优化 LLMs 以释放协同潜力的一般生成器 - 阅读器框架
检索增强生成(RAG)是一种有效的解决方案,用于为大型语言模型(LLM)补充必要的知识。我们提出了一个新的 “生成 - 然后阅读” 的流程以替代检索阶段,通过 LLM 自身的生成来解决该流程的性能瓶颈。本论文系统性探索了多种基础模型和类型的 - 增量深度神经网络中灾难性遗忘的方法学研究
通过模拟生物学习机制,文章研究了连续学习以及其在增量深度神经网络中造成的灾难性遗忘问题,并比较了三种增量学习方法的性能。
- ICML蜘蛛:一种用于上下文相关概念理解的统一框架
提出了一个单一模型 Spider,用于理解和区分不同的强依赖上下文概念,以准确捕捉指示器的意图,并在 8 个不同的依赖上下文分割任务以及连续学习方面显现明显的优势。
- 基于统一回放的连续学习框架在流数据上的时空预测
在无线和移动设备的广泛部署导致了时空数据的大量产生,我们提出了一个统一的回放式持续学习框架,用于实现对流数据的时空预测,避免灾难性遗忘并提高性能。
- DaCapo: 加速自主系统中的视频分析连续学习
通过硬件和算法的联合设计,DaCapo 实现了深度神经网络连续学习的能力,使自动化系统能够以高性能和高能效的方式进行推断、标记和训练,并在准确度上超过了现有的基于 GPU 的连续学习系统 Ekya 和 EOMU。
- 利用 SCADA 数据和连续学习进行风力发电预测的偏差校正
通过评估和比较四种基于机器学习的风力发电预测模型,我们发现卷积神经网络在纠正和改进从数值天气预报模型中提取的 48 小时风力预测方面取得了最好的结果,平均归一化均方根误差降至 22%,同时减少了均方根误差,并且未来研究应当探究模型流程的变化 - TinyCL:自主系统上用于持续学习的高效硬件架构
在资源受限的自主系统上执行连续学习的第一个硬件加速器 TinyCL,通过执行前向传播和反向传播,并进行内存管理和控制,实现了在训练模型上的高效率和高速度。
- CORE:通过认知重播减轻连续学习中的灾难性遗忘
本文介绍了一种新颖的观点,以显著减轻连续学习中的灾难性遗忘,强调模型保持现有知识和吸收新信息的能力。我们提出了 COgnitive REplay (CORE) 的方法,包括自适应数量分配和质量导向数据选择这两个关键策略。该方法在 split - 多智能体强化学习中的协作课程学习
在多智能体环境中,通过使用降低技能水平的协作队友为学习代理制定学习课程,能够同时实现任务完成与整体团队奖励最优。
- 探索尖峰神经网络中的连续学习
通过比较传统模型和第三代机器学习模型(也称为脉冲神经网络架构)的连续学习能力,本研究发现脉冲神经网络模型在保留之前类别信息方面表现更优,但仍需要进行更多工作。
- 少样本类别增量学习综述
Few-shot Class-Incremental Learning (FSCIL) is comprehensively reviewed, covering problem definition, challenges, genera - 基于连续学习的新颖感知情感识别系统
本文提出了一种基于连续学习的方法来应对自动情感识别任务中的新颖性。
- ICLR构建一个用于可扩展连续学习的策略子空间
本文介绍了一种基于 Continual Subspace of Policies 的自适应增量学习方法,使得机器人能够不断学习适应一系列任务,避免过多的模型大小或随着任务数量的增加导致性能下降的问题。实验表明该方法有效,没有出现遗忘现象,并 - 多模态知识发现和预训练的统一连续学习框架
该研究提出了将多模态预训练和知识发现统一到连续学习框架中的方法,以维护知识图作为基础,同时强化模型更新的外部知识引导作用在跨模态链接识别和预训练模型两方面取得了有效结果。
- KDD具有短回顾的半监督漂移流学习
提出了一种基于生成回放框架的半监督漂移流学习方法,能够解决在机器学习中标记数据有限,数据漂移、历史流数据存储有限以及短视窗下的模型更新等问题。
- 连续自监督学习的挑战
本文研究了自我监督学习在连续流数据中的应用及其效率,提出了重放缓存与最小冗余样本的方法来增强学习。实验结果表明,这些方法可以有效提高表示学习的精度和鲁棒性,在非平稳的语义分布下也不容易出现灾难性遗忘。
- EMNLP面向命名实体识别的现实单任务连续学习研究
本文讨论了现实连续学习中的一些挑战和数据演习作为缓解精度损失的一种方式,并从现有公开数据集构建了一个连续学习 NER 数据集并公开发布其与代码给研究社区。
- 深度神经网络的贝叶斯增量学习
本文研究了工业机器学习中的深度神经网络在不断学习过程中优化性能的方法,使用贝叶斯方法更新后验概率,与传统方法相比实验表明可以取得更好的效果。