英伟达研究者周二公开了一种方法,只把训练这一步真正改动的权重传过去。万亿参数模型在两个云区域之间同步的时间,从87分钟降到150秒。英伟达说接收端拿到的权重逐位相同,代码放在开源的NeMo库里。
✓ 已核实 · 3个来源