在移动设备上监控和调整机器学习模型
我们提出了一个名为 NAVER Smart Machine Learning (NSML) 的系统，用于处理机器学习任务中的 GPU 分配、可视化学习状态、处理模型参数快照、超参数修改以及性能指标比较等任务，通过实验确认其能够提升模型开发效率。
Dec, 2017
Talaria 是一个模型可视化和优化系统，通过在设备上进行机器学习来保护用户隐私并提供智能的用户体验。通过优化模型、平衡硬件指标，如模型大小、延迟和功耗，Talaria 帮助从业者创建高效的机器学习模型。
Apr, 2024
该研究提出了一种序列监测方案，通过考虑测量模型质量的时间依赖性，减少不必要的警报并解决多重测试问题，从而在检测模型质量相关变化方面优于基准方法。此研究为在动态环境中区分小幅波动和有意义的模型性能退化提供了实用解决方案，确保机器学习模型的可靠性。
Sep, 2023
通过将数据监督引入机器学习预测模型，我们提出了一种实时模型无关的方法，评估机器学习预测的相对可靠性，并通过针对操作数据集与训练数据集之间的差异来计算预测的相对可靠性，用以支持机器学习预测在常规插值任务中的可信度。
Aug, 2023
通过使用 Encoder-Adaptor-Reconfigurator（EAR）框架，本文提出了一种高效的持续学习方法，用于处理领域转移下的非平稳数据分布以及新的数据，该框架利用深度神经网络（DNN）特征编码器和浅层网络进行训练，通过组合 DNN 和超维计算（HDC）检测新数据是否在分布之外，使用零样本神经架构搜索（ZS-NAS）识别低参数神经适配器以适应分布之外的数据，并通过根据需要动态增长神经架构，并通过适当的适配器和重构器来处理领域增量和类增量的持续学习，以最小化对之前任务的灾难性遗忘。通过在几个基准数据集上系统评估我们的方法，并与最先进的 ODD 检测和零样本 NAS 算法进行对比，证明了我们方法的强大性能。
Aug, 2023
该研究提出了一种基于云的提取监视器，通过观察单个和串通的对手用户的查询和响应流来量化模型的提取状态，从而使用信息增益来测量具有不断增加查询数量的用户的模型学习速率，并维护智能查询摘要以在串通存在的情况下测量与输入特征空间覆盖度相关的学习速率，以提醒模型所有者可能存在侵犯攻击。
Nov, 2017
ML Health 为监测机器学习模型预测性能潜在下降提出了一种诊断方法，并将该方法应用于一种实现了全生产生命周期的系统中，来自动化追踪并生成进一步调查的警报。
Feb, 2019
本论文旨在确保 “基于机器学习和深度学习” 的系统能够像传统软件一样可靠。论文提出了一种度量数据漂移的方法以及在其发生时自适应地重新训练模型的方法，并生成不同层面的解释以理解漂移原因。
Nov, 2022
部署在设备上的机器学习模型可能泄露服务提供者的专有信息，我们提出了一个名为 SODA 的端到端框架，用于在边缘设备上执行、提供服务并防御恶意使用。实验结果表明，SODA 可以在少于 50 次查询中以最小的服务性能、延迟和存储影响下，以 89% 的准确率检测恶意使用。
Dec, 2023