Große Sprachmodelle, sogenannte Large Language Models (LLM) wie etwa ChatGPT, Microsoft Copilot oder Google Gemini fußen auf Unmengen von Daten. Verarbeitet werden sie daher zumeist in Rechenzentren. Apple hingegen setzt bei Siri AI, also der künftigen KI-basierten Generation des hauseigenen Sprachassistenten, zumindest teilweise auf eine lokale Ausführung. Diese soll sogar auf Geräten wie iPhones und iPads möglich sein, welche nur über eine begrenzte Ausstattung mit RAM und SSD-Speicher verfügen. Um das zu erreichen, kommen auf den Smartphones und Tablets aus Cupertino reduzierte LLMs zum Einsatz; komplexere Anfragen der Nutzer werden an einen entsprechenden Cloudservice weitergereicht. Wie das in der Praxis funktioniert, hat das Wall Street Journal vor Kurzem anhand der Betaversion von iOS 27 getestet.


LLM-Speicherbedarf auf weniger als zehn Prozent geschrumpft
Auf Künstlicher Intelligenz basierende Features lokal ausführen zu können, stellt Hersteller wie Apple vor die Herausforderung, die Größe der entsprechenden Modelle zu reduzieren. Üblicherweise geht das mit einer Einschränkung der Möglichkeiten einher, weil nur eine geringere Anzahl an Parametern zur Verfügung steht. Einem Startup namens PrismML ist es aber nach eigenen Angaben gelungen, den Speicherbedarf von Large Language Models drastisch zu reduzieren, ohne den Umfang zu verringern. Das Unternehmen gibt laut einem Bericht von The Information (Bezahlschranke) an, das von Alibaba entwickelte quelloffene LLM Qwen 3.6 von 54 Gigabyte auf lediglich 4 Gigabyte geschrumpft zu haben. Die Leistung des Modells sei dadurch nicht eingeschränkt worden, so PrismML gegenüber dem Nachrichtenportal, denn es verfüge auch nach der Komprimierung noch über 27 Milliarden aktive Parameter. Dieser Werte entspreche ungefähr der Zahl der Synapsen im menschlichen Gehirn.

27 Milliarden gleichzeitig aktive Parameter auf dem iPhone möglich
Mit einem Speicherbedarf im Bereich einstelliger Gigabyte-Werte eignet sich das von PrismML geschrumpfte KI-Modell für den lokalen Einsatz auf Geräten wie etwa dem iPhone. Das ist in Cupertino offenbar nicht unbemerkt geblieben: Laut The Information hat Apple bereits Kontakt zu PrismML aufgenommen. Vertreter beider Unternehmen trafen sich demnach schon mehrfach, um Möglichkeiten der Zusammenarbeit auszuloten. Apple arbeitet selbst an der Reduzierung der LLM-Größe, kann im Falle Siri AI bislang allerdings lediglich auf 1 bis 4 Milliarden gleichzeitig aktive Parameter zurückgreifen, obwohl das gesamte Modell rund 20 Milliarden Parameter umfasst. Diese Einschränkung bestehe bei der neuen Technik von PrismML nicht, heißt es in dem Bericht. Das mache sie für den iPhone-Hersteller äußerst interessant. Ob eine Zusammenarbeit von Apple und PrismML zustande komme und wie diese aussehen könnte, sei derzeit aber noch nicht abzusehen.