Ein Modell mit 300 Millionen Parametern rät, was das große als Nächstes sagt — und ein MacBook antwortet 2,87-mal schneller

Liquid AI veröffentlichte DSpark am 20. August: kleine Entwurfsmodelle von je rund 300 Millionen Parametern, eins zu eins gepaart mit der LFM2.5-Familie — dem 1.2B Instruct, dem 2.6B und dem 8B-A1B. Der Entwurf schlägt einen Block von neun Token voraus, das eigentliche Modell prüft den gesamten Block in einem einzigen Vorwärtsdurchlauf, und alles, dem es widerspricht, wird verworfen. Bei Greedy-Decoding ist der ausgegebene Text identisch mit dem des großen Modells allein, die Benchmark-Genauigkeit bewegt sich also überhaupt nicht. Was sich bewegt, ist die Zeit: bis zu 3,18x auf einer H100, bis zu 2,87x auf einem MacBook Pro mit M4 Max, das 2.6B-Modell über rund 140 Token pro Sekunde auf diesem Laptop und im Schnitt 57 Prozent weniger Latenz in Tests mit mehreren Werkzeugen. Der Haken liegt in der Akzeptanzrate. Auf MATH500 werden vom Entwurf des 8B-A1B 8,27 von je 10 vorgeschlagenen Token akzeptiert, was 3,18x entspricht. Auf GSM8K sind es 4,02, also 1,29x — gleiche Hardware, gleiches Modell, etwa ein Drittel des Gewinns.

✓ Verifiziert · 2 Quellen

Verwandte Meldungen