Модель на 300 миллионов параметров угадывает, что скажет большая, — и MacBook отвечает в 2,87 раза быстрее

20 августа Liquid AI опубликовала DSpark: небольшие черновые модели примерно по 300 миллионов параметров каждая, сопоставленные один к одному с семейством LFM2.5 — 1.2B Instruct, 2.6B и 8B-A1B. Черновая модель предлагает блок из девяти токенов вперёд, настоящая проверяет весь блок за один прямой проход, а всё, с чем не согласна, отбрасывается. При жадном декодировании выходящий текст в точности совпадает с тем, что выдала бы большая модель сама по себе, поэтому точность на бенчмарках не меняется вовсе. Меняется время: до 3,18 раза на H100, до 2,87 раза на MacBook Pro с M4 Max; модель 2.6B на этом ноутбуке выходит за отметку около 140 токенов в секунду, а задержка в тестах с несколькими инструментами падает в среднем на 57 процентов. Загвоздка — в доле принятия. На MATH500 черновик для 8B-A1B добивается принятия 8,27 токена из каждых 10 предложенных, что и даёт 3,18 раза. На GSM8K — 4,02, то есть 1,29 раза: то же железо, та же модель, примерно треть выигрыша.

✓ Проверено · 2 источников

Похожие новости