Cloudflare показал, как умещает открытые модели с триллионами параметров на меньшем числе GPU
Cloudflare опубликовал приёмы, с помощью которых обслуживает тяжеловесные открытые модели вроде Kimi K2.6 от Moonshot и GLM 5.2 от Z.ai на платформе Workers AI. Хранение кеша внимания в 8 битах вместо 16 удваивает ёмкость контекста до 1,37 млн токенов и даёт на 41% большую пропускную способность при примерно на 30% меньшей цене за токен; сжатие весов GLM до 4 бит уменьшает модель с 705 ГБ до 421 ГБ. Точность на бенчмарках, по словам компании, неотличима от оригиналов.
Почему это важноПередний край экономики ИИ — не только лучшие модели, но и более дешёвый запуск тех же самых моделей. Именно такие приёмы — важная причина, почему тяжёлые открытые модели дешевеют в эксплуатации, и Cloudflare выложил их открыто: любая инфраструктурная команда может повторить.
Читайте в приложении — бесплатно, 9 языков
Похожие новости
TikTok поместил бота для покупок внутрь видео, которое вы смотрите.2026-10-06Помощник Meta ведёт почасовое дело на всех ваших знакомых.
2026-10-05Одна команда возвращает выключатель ИИ, удалённый Apple.
2026-10-05OpenAI обещает улучшение каждый день или сброс лимитов.
2026-10-05Meta открыла прошивку, чтобы вы собрали своё устройство Muse.
2026-10-04