Cloudflare показал, как умещает открытые модели с триллионами параметров на меньшем числе GPU
Cloudflare опубликовал приёмы, с помощью которых обслуживает тяжеловесные открытые модели вроде Kimi K2.6 от Moonshot и GLM 5.2 от Z.ai на платформе Workers AI. Хранение кеша внимания в 8 битах вместо 16 удваивает ёмкость контекста до 1,37 млн токенов и даёт на 41% большую пропускную способность при примерно на 30% меньшей цене за токен; сжатие весов GLM до 4 бит уменьшает модель с 705 ГБ до 421 ГБ. Точность на бенчмарках, по словам компании, неотличима от оригиналов.
Почему это важноПередний край экономики ИИ — не только лучшие модели, но и более дешёвый запуск тех же самых моделей. Именно такие приёмы — важная причина, почему тяжёлые открытые модели дешевеют в эксплуатации, и Cloudflare выложил их открыто: любая инфраструктурная команда может повторить.
Читайте в приложении — бесплатно, 9 языков
Похожие новости
Apple Music будет сообщать, что песню сделала машина, — но говорить об этом или нет, решает тот, кто её загружает2026-08-21Stripe только что заплатила 7,5 миллиарда за маршрутизатор моделей. Через несколько дней Ramp собрала свой и раздаёт его бесплатно до января.
2026-08-21Ассистент Meta стал приложением для Mac, которое читает ваш экран и печатает в любое окно, — а увиденное может пойти на обучение модели
2026-08-21Один клик на новостном сайте теперь говорит Google показывать вам его чаще — и вы остаётесь на той же странице
2026-08-21Adobe теперь сочинит музыку, начитает закадровый текст и хлопнет дверью — и уверяет, что лицензия вас прикроет
2026-08-21