Apr, 2022

Continual Inference: 一个在 PyTorch 中使用深度神经网络进行高效在线推断的库

PDF
TL;DRContinual Inference 是一个 Python 库，用于在 PyTorch 中实现 Continual Inference Networks (CINs)。CINs 是一类神经网络，专门为在线和批处理场景的高效推理而设计。该论文提供了关于 CINs 的全面介绍和指南，并提供了最佳实践和代码示例，以构建现代深度学习的复杂模块。
发现论文，激发创造
  • 深度神经网络的高效在线处理

    本论文致力于提高神经网络的效率，提出了连续推理网络（CIN），它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率，并采用 CIN 重构了几种广泛使用的网络架构，包括 3D CNN，ST-GCN 和 Transformer Encoders。另外，通过使用熔接适配器网络和结构修剪，本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。

    Jun, 2023

  • Renate：面向实际场景的持续学习库

    本文介绍 Renata—— 一个用于 PyTorch 模型的实时更新管道的连续学习库，旨在解决实践中使用连续学习算法的需求，并展示了实验结果。

    Apr, 2023

  • 文本分类的连续图卷积网络

    提出了一种使用连续图卷积网络的新方法来推断在线文本数据的模型，称为 ContGCN，采用了全标记 - 任意文档范式来动态更新每批处理的文档 - 标记图，并使用自我监督对比学习目标来更新模型。在华为公共舆情分析系统上进行的 3 个月 A/B 测试表明，ContGCN 相比现有的方法提高了 8.86％的性能。

    Apr, 2023

  • 连续不定概率神经网络

    引入了一种新的模型 ——CIPNN（连续不定概率神经网络），是基于 IPNN 的模型，用于处理离散潜在随机变量。本文提出了新的理论解决了连续潜在随机变量后验的计算问题，创新地提出了基于概率的自编码器 CIPAE，并且提出了一种视觉化方法及进行分类任务，实验结果表明该模型可以无限度地提高分类能力。

    Mar, 2023

  • OvA-INN：可逆神经网络的连续学习

    本文提出了一种新的方法，即 OvA-INN，它可以一次学习一个类别，不需要存储任何以前的数据，其利用预训练模型和具有逆变性的神经网络在连续学习问题上的性能优于现有的最佳方法。

    Jun, 2020

  • 神经网络中的持续学习

    通过研究任务增量设置和在线连续设置，本文提出了一些方法以解决神经网络的严重遗忘问题，并在不同的基准测试和学习序列上进行了评估，显示了连续学习技术现在的发展和应用面临的挑战。

    Oct, 2019

  • TorchDyn: 神经微分方程库

    本文介绍了 TorchDyn，一个专为连续深度学习而设计的 PyTorch 库，旨在将神经微分方程提升为与常规深度学习元素一样易用，该库基于将不同变量标识和子分成通用基本组件，可以自由地重新组合以获得复杂的组合架构，同时 TorchDyn 还提供逐步教程和基准测试，旨在引导研究人员和贡献者。

    Sep, 2020

  • 连续音频 - 视觉学习的增量聚类网络

    提出了一种新颖的类增量分组网络 (CIGN)，可以学习类别级的语义特征，以实现持续的视听学习，取得了最先进的视听类别增量学习性能。

    Sep, 2023

  • 连续深度神经网络

    通过将连续动力学系统嵌入高阶数值积分方案中，我们构造了一种连续的深度神经网络框架 ——ContinuousNet，其具有与时间步长大小无关的层次独立性和增量深度训练方法，实现了在保持准确性的同时加快推断速度。

    Aug, 2020

  • 在线连续学习与任意时刻推断的类增量模糊任务配置

    提出基于在线、免任务、模糊任务边界、随时进行推断查询的连续学习新模型，使用新度量标准评估模型性能，采用新的内存管理方案和学习技术进行有效的方法，实验验证表明，该方法的表现优于先前的方法。

    Oct, 2021