Nov, 2021

学习蒸馏协作图用于多智能体感知

PDF
TL;DR该研究提出了一种基于教师 - 学生框架和较大自适应度的 distilled collaboration graph 和网络，使多代理协作感知的性能 - 带宽折衷达到一个更好的平衡，并且实验结果证明其在 3D 物体检测中表现更好。
multi-agent perceptiondistilled collaboration graphteacher-student frameworkadaptivityperformance-bandwidth trade-off
发现论文，激发创造
  • DisCo: 基于蒸馏的学生模型联合训练用于半监督文本挖掘

    DisCo 使用知识蒸馏从一个大的 PLM 中生成小的学生模型，采用一种新颖的共训练技术来优化多个小学生模型，以促进它们的半监督学习效果，并在半监督文本分类和摘要提取任务中得到了比线性基准模型 7.6 倍更小和 4.8 倍更快的推理速度，同时保持可比的性能。

    May, 2023

  • When2com: 基于通信图分组的多智能体感知

    本文提出一个学习通信组和决定何时通信的通信框架，可以在两种不同的感知任务上展示其广泛适用性，并显示它显著减少了通信带宽并保持了优异的性能。

    May, 2020

  • 双重策略蒸馏

    本文提出了一种双学习者的框架，名为双重策略蒸馏（DPD），其中两个学习者在同一环境中运行，以探索环境的不同方面并相互提取知识以增强他们的学习，并对几个连续控制任务进行实验，表明该框架可以在没有使用昂贵的教师模型的情况下，在具有学习基础的代理和函数逼近的情况下获得优越的性能。

    Jun, 2020

  • DisCo: 用蒸馏对比学习订正轻量模型的自监督学习

    本文提出了一种名为 Distilled Contrastive Learning (DisCo) 的方法，通过将主流自监督学习方法中蕴含的最有价值的信息提取出来，然后通过约束学生模型的最终嵌入与教师模型的嵌入保持一致，从而大幅缓解模型规模减小时的性能退化问题，实验结果表明，DisCo 在所有轻型模型上取得了最先进的性能，并且在部署过程中不会引入任何额外的参数。

    Apr, 2021

  • 基于图的知识探索：通道关系图的多层特征蒸馏

    基于图知识的蒸馏方法结合多级特征对齐策略和注意力引导机制，利用谱嵌入的技术将学生模型的特征空间与教师网络的关系和结构复杂性相融合，通过全局视角理解和利用特征集之间的动态关系，从而更准确地模仿教师模型的复杂结构性依赖关系，实验证明该方法在 CIFAR-100、MS-COCO 和 Pascal VOC 数据集上的效果优于以往的特征蒸馏方法，证明其有效性和适用性。

    May, 2024

  • FedDisco：基于 Discrepancy-Aware 协作的联邦学习

    本研究考虑联邦学习领域的类别分布异质性问题，提出了一种基于数据集大小和局部与全局类别分布差异值的聚合权重调整方法（FedDisco），该方法在隐私保护、通信和计算效率上表现优异。

    May, 2023

  • 多任务自监督学习知识蒸馏在视频分类中的应用

    本文提出了一种基于图的蒸馏框架，将来自多个自监督任务的知识进行传递和压缩，以提高视频表示的学习效果和模型推理速度。

    Apr, 2018

  • 双向蒸馏的多视角特征表示在对话生成中的应用

    本文提出一种基于知识蒸馏的对话模型训练框架，通过分组多任务学习、多视角特征蒸馏和双向蒸馏等策略，找到多数据集共性知识以提高模型泛化性能。实验结果表明该框架可以有效地提高模型的泛化性能，而不影响训练效率。

    Feb, 2021

  • 协作学习的成本自适应推理

    我们提出了一个合作训练框架，用于深度神经网络架构，使得运行时的网络深度可以根据动态计算资源需求进行调整。

    Dec, 2023

  • 多智能体协同感知的注意力特征融合

    本研究提出了一种基于注意力机制的图形卷积网络作为中间的协作感知解决方案，通过该方法实现了信息聚合并提高了物体检测精度，同时减少了网络资源的使用，有效地解决了智能交通系统中的协作感知问题。

    May, 2023