Dec, 2023

基于人类同行学习启发的资源受限知识传播过程

PDF
TL;DR在给定人工学习者的情景下，通过优化性能的综合指标并在培训资源有限的情况下进行约束，研究人际教育系统中的同伴学习。我们通过研究人工学习者之间相互作用网络中的自然知识传播过程来讨论问题。我们实证表明这类过程确实有效利用培训资源，并使得能够进行模块化的神经模型的设计，能够在不易受到噪声标签过度拟合的情况下进行泛化。
artificial learnersaggregate measures of performancenatural knowledge diffusion processespeer learning groupsmodular neural models
发现论文，激发创造
  • 资源约束下的相关过程在线建模与监控

    基于有限资源监控依赖进程的人群是异常事件检测的关键。提出了一种新的在线协作学习方法，通过理论分析和实验证明了该方法的效率。

    Jul, 2023

  • 非线性系统建模网络上的适应和学习

    本文用于分析分布式情况下的非线性滤波问题，提出了一种针对多任务场景的基于核的算法，并对其进行了模拟基准测试，最后详细说明了目前尚未解决的问题和未来的研究方向。

    Apr, 2017

  • 人工神经孪生 —— 分布式工艺链的过程优化和持续学习

    工业过程优化和控制是提高经济和生态效益的关键。我们提出了人工神经双胞胎，结合了模型预测控制、深度学习和传感器网络的概念，以解决数据主权、不同目标或实施所需的专业知识等问题。通过将相互连接的过程步骤视为准神经网络，我们可以对过程优化或模型微调进行损失梯度的反向传播，从而调整过程参数或人工智能模型。该概念在 Unity 中模拟的虚拟机群中进行了演示，其中包括塑料回收中的散粒材料处理过程。

    Mar, 2024

  • 合作式深度强化学习

    本文提出了一种协作深度强化学习框架，其中包括深度知识蒸馏方法、异构学习任务深度对齐网络、有效的协同 A3C 算法等，用于在不同学习任务中执行自适应知识转移

    Feb, 2017

  • 资源受限边缘计算系统中的自适应联邦学习

    本文主要研究在边缘计算环境中使用分布式梯度下降学习模型参数的问题，提出控制算法以最小化给定资源预算下的损失函数，并通过真实数据集的大量实验评估算法性能。

    Apr, 2018

  • 在线知识蒸馏的同行协作学习

    该论文提出了一种名为 “Peer Collaborative Learning” 的在线知识蒸馏方法，该方法能够将在线集成和网络协作融入一个统一的框架中，并在 CIFAR-10，CIFAR-100 和 ImageNet 等数据集上得到了验证及优于其他方法的效果。

    Jun, 2020

  • 零阶异步学习与有界延迟：通信网络资源分配应用实例

    代理协同训练的异步学习过程中，通过分布式优化和深度学习进行资源分配的关键问题与相关的研究领域探索。

    Nov, 2023

  • 扩散增强神经过程

    基于扩散的方法能够通过对加噪数据集进行条件化，解决了当前神经过程模型中存在的一些限制，并且在性能上超越了目前的最先进技术。

    Nov, 2023

  • 同行学习：通过动作建议从零开始学习复杂策略的群体

    同行学习是一种新颖的高级强化学习框架，用于群体学习。通过研究代理人的学习行为，我们发现同行学习能够在多个具有挑战性的离散和连续动作空间中胜过单个代理人学习和基准方法，并能够从行为建议中发展出复杂策略。

    Dec, 2023

  • 网络上个性化模型的分散协作学习

    本论文研究了一组学习代理在协作对等网络中，每个代理根据自己的学习目标学习个性化模型。本文介绍和分析了两种异步流言算法，以完全分散的方式运行。我们的第一种方法旨在在网络上平滑预训练的本地模型，同时考虑每个代理在其初始模型中的置信度。在我们的第二种方法中，代理共同学习和传播其模型，基于其本地数据集和邻居的行为进行迭代更新，为了优化这一具有挑战性的目标，我们的分散算法是基于 ADMM。

    Oct, 2016