Nvidia выяснила, что один шаг обучения меняет лишь 1% модели.

Исследователи Nvidia во вторник описали метод, который передаёт только реально изменившиеся веса. Синхронизация модели на триллион параметров между двумя облачными регионами упала с 87 минут до 150 секунд. Nvidia говорит, что получатель получает побитово те же веса, а код лежит в открытой библиотеке NeMo.

✓ Проверено · 3 источников

Похожие новости