BriefGPT.xyz
Ask
alpha
关键词
decentralized extension
搜索结果 - 2
只需一个字节(每梯度):关于使用共享随机性进行低带宽分散化语言模型微调的注记
本研究提出了一种基于共享随机性的分布式微调方法,通过使用单字节的梯度交换,减少了通信成本,并保留了最近研究中的内存效率和推理优势。
PDF
a year ago
在不断变化的世界中学习:具有未知动态的不安定多臂赌博机
此篇研究考虑了一个名为不安定多臂赌博机问题的模型,提出了一种探索和利用并行局部的策略,使得在一定的系统参数有限制时,能够获得对数级次的回报,而在缺乏关于系统的任何信息时,能够获得接近对数水平的回报。同时,也将问题扩展到了多个分布式参与者共享
→
PDF
14 years ago
Prev
Next