neural layers | BriefGPT - AI 论文速递

关键词neural layers

搜索结果 - 4

可持续的自我监督学习用于语音表示
可持续人工智能聚焦于通过对数据、硬件和算法的优化来使机器学习模型更加环保。我们提出了一个可持续的自监督模型，用于学习语音表征，结合神经层和训练的优化以降低计算成本，并通过将其与资源高效模型进行比较，在内存使用和计算成本上实现了数量级的改进。
PDF25 days ago
深度学习中的信息平面分析可视化通过传递熵
在一个前馈网络中，可以使用传递熵（TE）来衡量一层对另一层的影响，通过在训练期间量化它们之间的信息传递。通过在输入数据中的信息量与压缩表示之间绘制图表来理解信息瓶颈方法中压缩和信息保留之间的权衡，这被称为信息平面分析。我们使用 TE 来量化
PDF3 months ago
独立学习个性化竞争行为的对比强化学习优化
在这篇论文中，我们提出了一个由三个神经层组成的新颖模型，用于学习竞争性游戏的表示、对特定对手策略的映射以及如何打乱对手。通过在线训练和对比优化的组合损失，我们的模型在 Pokemon 对战和四人竞技帽子师傅卡牌游戏中取得了较好的性能，尤其是
PDF9 months ago
ACLLightSeq：Transformer 高性能推理库
本文提出 LightSeq，一种高效的推断库，以加速 Transformer 系列模型的计算和减少内存占用。实验结果表明，相较于 TensorFlow 和 FasterTransformer，LightSeq 可以实现多达 14 倍的加速。
PDF4 years ago