本书介绍了概率编程的基础和技术,主要包括概率编程语言的设计和构建、基础推理算法和高阶概率编程语言、概率编程与可微分编程的交叉应用,尤其是深度概率编程系统的设计与语言特性对其的影响。
Sep, 2018
本文提出了一种通过随机程序进行无替换采样的优雅方法,包括逐步构造输出的生成性神经模型,且该方法即使在指数级的输出空间下也高效。此外,本文还提出了一种新的估计量来计算无替换采样的期望,并表明此方法适用于程序合成和组合优化等许多领域。
Feb, 2020
本文提出了一种增量学习的方法,该方法保留以前学习类别的训练图像的特征描述符,而不是图像本身,采用了比大多数现有方法更少的低维特征嵌入,通过多层感知器学习特征适应以实现分类器旧类别和新类别的联合优化,并取得了与保留图像相比更低的内存占用和最先进的分类准确率。
Apr, 2020
该研究提出了一个名为PyCIL的Python工具箱,实现了几个关键算法,可以用于在面对新类别数据时进行类增量学习。该工具箱包含许多CIL的奠基作品的实现,如EWC和iCaRL,同时还提供了一些当前最先进的算法。
Dec, 2021
本文介绍Renata——一个用于PyTorch模型的实时更新管道的连续学习库,旨在解决实践中使用连续学习算法的需求,并展示了实验结果。
Apr, 2023
深度学习和增量计算方法,采用向量量化处理输入数据,通过离散化中间值以便复用信息,应用于Transformer架构,实现了复杂度与输入变动比例成正比的高效增量推理算法,并通过实验证明在文档分类中达到了和传统方法几乎相等的准确性,但处理微小编辑序列时所需操作次数降低到了原先的12.1倍。
Jul, 2023
通过模拟未来数据流并评估最新的算法,我们提出了一种基于生成模型的算法推荐方法,用于选择最适合特定增量设置的算法,以促进增量学习的实际部署。
Mar, 2024
本研究通过实验证明了现有的基于任务准确率的持续学习性能度量方法的局限性,并提出了一个公平且更有用的评估指标Minimal Incremental Class Accuracy(MICA),以及一个综合考虑学习性能变化的单一标量度量方法。
Apr, 2024
本研究针对在TinyML环境下的增量学习挑战,提出了一种新算法,该算法通过知识蒸馏生成小型数据集,并动态调整模型大小,适应任务需求。研究表明,该算法在保持较低的计算需求和内存使用下,实现了小模型的增量学习,且仅需43%的计算资源就可保持1%的精度损失,具有显著的应用潜力。
Sep, 2024
本研究解决了增量学习中面对类和领域未知的任务时的知识累积问题。提出了一种名为ICON的增量学习框架,结合新颖的正则化方法CAST,有效减少了已学习知识的干扰,从而更高效地吸收新知识。实验结果表明,该方法在各种场景下均表现出色,尤其是在任务随机变化时。