MLX ist ein Open-Source-Framework, das speziell für Apple Silicon entwickelt wurde. Es ermöglicht Forschern, große Sprachmodelle lokal auf dem Mac auszuführen, zu feinjustieren oder zu experimentieren. MLX wurde 2023/2024 erstmals von Apple Machine Learning Research vorgestellt und vollständig im Unternehmen entwickelt. Einen Rückschlag hatte es Anfang des Jahres wohl gegeben, als laut Bloomberg fast das komplette Team kündigte – und Apple große Anstrengungen unternehmen musste, die Mitarbeiter zu halten. In einem Blogbeitrag dokumentiert Apple nun die jüngsten Erfolge, genauer gesagt die massiven Performancezuwächse, wenn man Modelle via MLX auf M5-Macs ausführt.


Ein M5 setzt sich deutlich ab
Der M5 bringt im Vergleich zum M4 zwei wesentliche Vorteile für KI-Aufgaben mit. 153 GB/s statt 120 GB/s an Speicherbandbreite sorgen neben verbesserten Neural Accelerators zu Ergebnissen, die sich sehen lassen können. Je nach Art der Aufgabe schnitt der M5 um Faktor 4 besser ab, unter anderem Bildgenerieren ging derart viel schneller vonstatten. Das getestete Modell mit 14 Milliarden Parametern erreichte eine "Time to First Token (TTFT)" von acht Sekunden, wohingegen sich der M4 35 Sekunden genehmigte. Folgendermaßen stellt Apple die ermittelten Werte gegenüber:


Durchgängig erhebliche Zuwächse
In Tests mit langen Prompts (10.000 bis 16.000 Token) zeigte der M5 in einem Fall sogar eine Verbesserung von 4,4× gegenüber einem M4-basierten Gerät. Der Speicherbandbreiten-Sprung von 28 Prozent sorgte laut Apple für eine Performance-Steigerung von 19 bis hin zu 27 % beim Durchsatz (gemessen in "token/s"). Gleichzeitig steigt die mögliche Modellgröße – 30-Milliarden-Parameter-Modelle sind nun problemlos möglich, waren auf M4-Geräten aber fast nicht sinnvoll einsetzbar. Dafür ist allerdings nicht nur die Bandbreite, sondern im Wesentlichen auch die simple Tatsache verantwortlich, 36 statt 24 GB Unified Memory verbauen zu können.

Es bleiben aber ganz praktische Probleme
Trotz der technischen Fortschritte bleibt Apples Ansatz ein Sonderweg, der nicht frei von Nachteilen ist. MLX liefert zwar beachtliche Ergebnisse auf Apple-Silicon-Chips, doch das Framework ersetzt kein etabliertes Ökosystem wie PyTorch. Da Apple keine native CUDA-Alternative bietet und die Branche weiterhin klar auf NVIDIA ausgerichtet bleibt, muss Apple jedes größere Modell erst mühsam anpassen, bevor es unter MLX performant läuft. Der M5 zeigt, was auf dem Mac möglich ist – aber ohne breitere Kompatibilität bleibt Apples KI-Strategie vorerst ein Inselbetrieb, der vor allem für interne Zwecke und spezialisierte Workflows interessant ist.