Push-Nachrichten von MacTechNews.de
Würden Sie gerne aktuelle Nachrichten aus der Apple-Welt direkt über Push-Nachrichten erhalten?

Bericht: Apples KI-Serverarchitektur unzureichend, Server stehen ungenutzt herum – Google soll es richten

Bloomberg hatte kürzlich berichtet, dass Apple die kommende Siri-Generation nicht mehr auf der eigenen "Private Cloud Compute"-Architektur betreiben wolle. Die möglicherweise mit iOS und macOS 26.5 erscheinende Generalüberholung setze noch auf die eigenen Anlagen, das dürfte sich jedoch im Herbst ändern. Das Branchenmagazin The Information will nun entsprechende Pläne bestätigen können: Google soll damit beauftragt werden, neue Siri-Server in eigenen Rechenzentren zu betreiben – das allerdings unter Einhaltung von Apples Datenschutzvorgaben. Was bei Teilen des iCloud-Hostings der Fall war, stelle auch die Zukunft von Siri bzw. Apple Intelligence dar.


Apples Private Cloud Compute nicht leistungsfähig genug
Laut Bericht gilt Apples Private Cloud Compute intern als nicht ausreichend leistungsfähig für moderne LLMs. Die derzeit eingesetzten Server auf Basis modifizierter M2-Ultra-Chips seien nicht stark genug, um jene aktuellen Modelle von Google effizient zu betreiben, auf denen das neue Siri und zukünftige Foundation-Models ab Herbst 2026 aufbauen sollen. Zudem werde die bestehende Infrastruktur nur begrenzt ausgelastet. Durchschnittlich nutze Apple angeblich lediglich rund zehn Prozent der vorhandenen Kapazität. Bereits produzierte Server stehen demnach stapelweise auf Lager, da sich die installierte Basis schon weitgehend langweile.

Die generelle Struktur ist ebenfalls nicht zukunftsfähig
Den Angaben zufolge ist Apples Cloud-Architektur stark dezentral organisiert. Verschiedene Teams betreiben eigene Systeme, statt auf eine zentrale, flexibel nutzbare Serverplattform zuzugreifen. Das führe zu ineffizienter Nutzung und der geschilderten fehlenden Auslastung: Während einzelne Bereiche ungenutzte Kapazitäten vorhalten, könnten andere Abteilungen diese Ressourcen schlicht nicht verwenden – oder würden zu wenig Performance erhalten. Interne Versuche, die Infrastruktur zu vereinheitlichen, seien in den vergangenen Jahren mehrfach gescheitert. Erforderliche Milliardeninvestitionen zum Neuaufbau scheute Apple zudem, hier schritt angeblich die Finanzabteilung ein.

Siri in iOS 27 mit noch mehr Anforderungen
Während Apple Intelligence bislang hinter den Nutzungserwartungen zurückblieb, rechnet das Unternehmen bei einem vollwertigen, chatbot-basierten Siri mit maßgeblich höherem Bedarf. Die bestehende Private-Cloud-Architektur scheint dafür jedoch nicht ausreichend gerüstet, selbst wenn wie geplant eine Umstellung auf Chips vom Typ M5 Ultra erfolgt. Trotz dieser kurzfristigen Schritte gilt es in der Branche jedoch als sicher, dass Apple langfristig gesehen eigene Kapazitäten aufbauen und nicht von Drittanbietern abhängig sein will. Für die kommenden Jahre liegt das Hosting aber wohl in Googles Verantwortung.

Kommentare

FlyingSloth
FlyingSloth03.03.26 08:46
Irgendwie kommt es einem so vor, als ob Apple in Sachen KI in jeder Hinsicht die Zeichen der Zeit verkannt hat. An einem Ende muss OpenAi zu Hilfe genommen werden, am anderen Ende Google mit Infrastruktur und Gemini. Irgendwie echt schade.
Fly it like you stole it...
+10
Mendel Kucharzeck
Mendel Kucharzeck03.03.26 08:49
FlyingSloth
Das kommt dir nicht so vor, sondern alle von Außen erkennbare Dinge und die Vielzahl an Berichten in diese Richtung lassen leider keinen anderen Schluss zu.
+11
Metty
Metty03.03.26 09:00
Erst lese ich ...
Die derzeit eingesetzten Server auf Basis modifizierter M2-Ultra-Chips seien nicht stark genug,

dann folgt ...
Zudem werde die bestehende Infrastruktur nur begrenzt ausgelastet. Durchschnittlich nutze Apple angeblich lediglich rund zehn Prozent der vorhandenen Kapazität.

Habe nur ich ein Problem damit das als Widerspruch zu deuten? Was soll ich denn nun glauben?
+2
WollesMac
WollesMac03.03.26 09:03
Steht ja praktisch gleich dahinter - kein Widerspruch
+4
desko7503.03.26 09:14
WollesMac
Steht ja praktisch gleich dahinter - kein Widerspruch
Wo denn?
0
WollesMac
WollesMac03.03.26 09:19
„ Den Angaben zufolge ist Apples Cloud-Architektur stark dezentral organisiert. Verschiedene Teams betreiben eigene Systeme, statt auf eine zentrale, flexibel nutzbare Serverplattform zuzugreifen. Das führe zu ineffizienter Nutzung und der geschilderten fehlenden Auslastung: Während einzelne Bereiche ungenutzte Kapazitäten vorhalten, könnten andere Abteilungen diese Ressourcen schlicht nicht verwenden.…“
+6
esc
esc03.03.26 09:34
Metty
Erst lese ich ...
Die derzeit eingesetzten Server auf Basis modifizierter M2-Ultra-Chips seien nicht stark genug,

dann folgt ...
Zudem werde die bestehende Infrastruktur nur begrenzt ausgelastet. Durchschnittlich nutze Apple angeblich lediglich rund zehn Prozent der vorhandenen Kapazität.

Habe nur ich ein Problem damit das als Widerspruch zu deuten? Was soll ich denn nun glauben?


Ich würde es so verstehen, für aktuelle Aufgaben ist die Hardware überdimensioniert, aber für die zukünftigen mit Google geplanten unterdimensioniert.
+4
hal5303.03.26 10:33
Mal ne Parkplatz-Analogie. Du betreibst in einer Stadt 3 Parkplätze an 3 verschiedenen Standorten. Die Kapazität sind jeweils 20 Parkplätze. Der eine Parkplatz ist überfrequentiert. Hier wollen 30 Autos parken. Auf den anderen beiden Parkplätzen stehen jeweils nur 2 Autos. Obwohl die Gesamtkapazität aller Parkplätze ausreichen würden für 30 Autos, stellt der eine überfüllte Parkplatz einen Kapazitätsengpass dar. So schwer ist das doch wohl nicht zu verstehen, older?
+9
DunklesZischt03.03.26 11:03
FlyingSloth
Irgendwie kommt es einem so vor, als ob Apple in Sachen KI in jeder Hinsicht die Zeichen der Zeit verkannt hat. An einem Ende muss OpenAi zu Hilfe genommen werden, am anderen Ende Google mit Infrastruktur und Gemini. Irgendwie echt schade.
Das ist ganz sicher nicht so. Apple wollte oder will halt keinen "Yet another Chatbot". Ich sehe das völlig entspannt. Microsoft holt sich ja auch gerade eine blutige Nase mit ihrem "Copilot überall". Aber vielleicht klappt das ja mit neuen Namen besser...
-2
esc
esc03.03.26 11:05
DunklesZischt
FlyingSloth
Irgendwie kommt es einem so vor, als ob Apple in Sachen KI in jeder Hinsicht die Zeichen der Zeit verkannt hat. An einem Ende muss OpenAi zu Hilfe genommen werden, am anderen Ende Google mit Infrastruktur und Gemini. Irgendwie echt schade.
Das ist ganz sicher nicht so. Apple wollte oder will halt keinen "Yet another Chatbot". Ich sehe das völlig entspannt. Microsoft holt sich ja auch gerade eine blutige Nase mit ihrem "Copilot überall". Aber vielleicht klappt das ja mit neuen Namen besser...

Copilot werbende wir täglich im Büro, funktioniert gut und erleichtert viele Aufgaben.
+1
MacNu9203.03.26 11:11
Wie es bei Apple intern tatsächlich aussieht, davon hab ich natürlich keine Ahnung. Aber was die Berichterstattung angeht, ist mein Eindruck, dass Apple beim Thema KI heute ähnlich dasteht wie Microsoft, als sie den Anfang der Internet-Ära verschlafen haben. Ich hoffe, sie können den Vorsprung der Wettbewerber einholen und dabei ein wenig von deren (guten wie schlechten) Erfahrungen profitieren.
+2
Wellenbrett03.03.26 11:47
FlyingSloth
Irgendwie kommt es einem so vor, als ob Apple in Sachen KI in jeder Hinsicht die Zeichen der Zeit verkannt hat. An einem Ende muss OpenAi zu Hilfe genommen werden, am anderen Ende Google mit Infrastruktur und Gemini. Irgendwie echt schade.
Mendel Kucharzeck
FlyingSloth
Das kommt dir nicht so vor, sondern alle von Außen erkennbare Dinge und die Vielzahl an Berichten in diese Richtung lassen leider keinen anderen Schluss zu.
Dies scheint eine naheliegende Interpretation der Geschehnisse zu sein. Ich bin mir dennoch nicht sicher, ob das die ganze Wahrheit ist und Apple nicht unterschätzt wird. Eine alternative Erklärung ist, dass Apple auf lange Sicht ohnehin darauf setzt, die KI-Verarbeitung lokal auf den Endgeräten zu erledigen und deshalb nicht unnötig in Rechenzentren (und Personal diese zu betreiben) usw. investieren will. Im Artikel wurde ja erwähnt: "... Interne Versuche, die Infrastruktur zu vereinheitlichen, seien in den vergangenen Jahren mehrfach gescheitert. Erforderliche Milliardeninvestitionen zum Neuaufbau scheute Apple zudem, hier schritt angeblich die Finanzabteilung ein...."
Ich denke, Apple hat quasi unendliche Ressourcen, da geht es also vermutlich nicht um Können, sondern um Wollen... (auch als die Konkurrenz ständig fähiges Personal abgeworben hat, wollte Apple ja beim Gehalt nicht mitgehen.)
-1
Pallllo03.03.26 11:49
Mich würde interessieren ob heutige Hardware, z.B. der HomePod, dann auch das neue „Siri“ bekommen. Technisch müsste es ja funktionieren, weil die lokale Hardware ja nur „Hey Siri“ verarbeiten muss und den Rest an das Backend weiterreicht…
0
OliverCGN03.03.26 12:16
Wellenbrett
Eine alternative Erklärung ist, dass Apple auf lange Sicht ohnehin darauf setzt, die KI-Verarbeitung lokal auf den Endgeräten zu erledigen und deshalb nicht unnötig in Rechenzentren (und Personal diese zu betreiben) usw. investieren will.

Ich setze hier derzeit einen Mac Studio M1 Ultra mit 128 GB RAM ein, um lokale KI-Modelle darauf laufen zu lassen. Das was dabei raus kommt ist "ganz nett" aber nicht mal annähernd vergleichbar, was die riesigen Rechenzentren von Google und OpenAI liefern.

...und ich bezweifle, dass wir in den nächsten 2 Jahren iPhones mit 128 GB RAM bekommen
+2
Crypsis8603.03.26 13:22
die Wahrheit wird denke ich in der Mitte liegen. Kleinere Aufgaben werden sicherlich in Zukunft komplett lokal laufen. Wird auch von der jeweiligen Plattform abhängen und was man im Detail machen möchte, aber Text "optimieren" klappt auch auf Smartphones schon gut, Bilder generieren krieg ich mit meinem M4 Max schneller hin als mit dem Image Creator von Copilot... die "großen" werden schon ein Interesse haben, möglichst wenig in Rechenzentren berehnen zu lassen, kostet ja auch nur Geld.
Der Weg von Apple wird sich hoffentich irgendwann mal erschließen, aber dass sie ausgerechnet Gemini und Google Cloud nehmen mussten nehm ich ihnen schon übel..
0
maikdrop03.03.26 14:05
OliverCGN
Wellenbrett
Eine alternative Erklärung ist, dass Apple auf lange Sicht ohnehin darauf setzt, die KI-Verarbeitung lokal auf den Endgeräten zu erledigen und deshalb nicht unnötig in Rechenzentren (und Personal diese zu betreiben) usw. investieren will.

Ich setze hier derzeit einen Mac Studio M1 Ultra mit 128 GB RAM ein, um lokale KI-Modelle darauf laufen zu lassen. Das was dabei raus kommt ist "ganz nett" aber nicht mal annähernd vergleichbar, was die riesigen Rechenzentren von Google und OpenAI liefern.

...und ich bezweifle, dass wir in den nächsten 2 Jahren iPhones mit 128 GB RAM bekommen

Das ist das Frustrierende. Die Models sind so ineffizient wie seit der “Erfindung” von vor 30/40 Jahren. Um bessere Ergebnisse zu erzielen muss die Infrastruktur immer größer und potenter werden. Im Prinzip wie die ineffizienten Verbrennermotoren, die immer größer und schwerer werden müssen, um mehr Leistung zu erzielen. Aber soll das die Lösung sein? Ineffiziente und alte Technologien, die nur mit teurerer, hochskalierter Hardware-Infrastruktur einigermaßen brauchbare Ergebnisse liefern???
0
Raziel103.03.26 14:29
Wellenbrett
FlyingSloth
Irgendwie kommt es einem so vor, als ob Apple in Sachen KI in jeder Hinsicht die Zeichen der Zeit verkannt hat. An einem Ende muss OpenAi zu Hilfe genommen werden, am anderen Ende Google mit Infrastruktur und Gemini. Irgendwie echt schade.
Mendel Kucharzeck
FlyingSloth
Das kommt dir nicht so vor, sondern alle von Außen erkennbare Dinge und die Vielzahl an Berichten in diese Richtung lassen leider keinen anderen Schluss zu.
Dies scheint eine naheliegende Interpretation der Geschehnisse zu sein. Ich bin mir dennoch nicht sicher, ob das die ganze Wahrheit ist und Apple nicht unterschätzt wird. Eine alternative Erklärung ist, dass Apple auf lange Sicht ohnehin darauf setzt, die KI-Verarbeitung lokal auf den Endgeräten zu erledigen und deshalb nicht unnötig in Rechenzentren (und Personal diese zu betreiben) usw. investieren will. Im Artikel wurde ja erwähnt: "... Interne Versuche, die Infrastruktur zu vereinheitlichen, seien in den vergangenen Jahren mehrfach gescheitert. Erforderliche Milliardeninvestitionen zum Neuaufbau scheute Apple zudem, hier schritt angeblich die Finanzabteilung ein...."
Ich denke, Apple hat quasi unendliche Ressourcen, da geht es also vermutlich nicht um Können, sondern um Wollen... (auch als die Konkurrenz ständig fähiges Personal abgeworben hat, wollte Apple ja beim Gehalt nicht mitgehen.)

Ist auch nicht die ganze Wahrheit. Im Gegenteil, in den passenden Kreisen spricht sogar davon das Apple der einzige ist der bei KI momentan richtig entschieden hat. warum: Derzeit ist es ein massives Minusgeschäft mit extremen Investitionen in ein Loch. KI selbst ist alles andere als eine Blase, das ist klar, aber die Investitionen der großen in dem bereich sind nicht im geringsten deckend. Da "Voraus" zu sein bedeutet eigentlich nur schneller Richtung Abgrund zu laufen. Es macht schon Sinn das Apple hier viel Grudnlagenforschung betreibt und viele Durchbrüche erzielt, während sie aber bei den Consumer Produkten aktuelle Entscheidungen treffen. Was die Gerüchte betrifft: Wie oft die schon komplett falsch waren, da kann man auf sowas nichts mehr geben.
+3
Wellenbrett03.03.26 15:51
OliverCGN
Wellenbrett
Eine alternative Erklärung ist, dass Apple auf lange Sicht ohnehin darauf setzt, die KI-Verarbeitung lokal auf den Endgeräten zu erledigen und deshalb nicht unnötig in Rechenzentren (und Personal diese zu betreiben) usw. investieren will.

Ich setze hier derzeit einen Mac Studio M1 Ultra mit 128 GB RAM ein, um lokale KI-Modelle darauf laufen zu lassen. Das was dabei raus kommt ist "ganz nett" aber nicht mal annähernd vergleichbar, was die riesigen Rechenzentren von Google und OpenAI liefern.

...und ich bezweifle, dass wir in den nächsten 2 Jahren iPhones mit 128 GB RAM bekommen
Du hast Dir aus meiner Gesamtaussage das Todschlagargument herausgepickt. Die Frage könnte zukünftig jedoch sein, ob das Modell in den Permanentenspeicher und nicht in den RAM passt. Apple forscht u.a. genau hierzu, nur relevante Teile des Models im RAM zu behalten und wendet dabei Techniken wie Modell-Sparsity, Windowing und Row-Column Bundling an. Durch Quantisierung kann der RAM-Bedarf modellseitig zudem weiter verkleinert werden. Vielleicht ist dieser Ansatz aktuell noch nicht ausreichend, um die ganz großen Modelle lokal auszuführen.
Apple hat kürzlich mit invrs.io ein spezialisiertes KI-Startup übernommen, das sich auf Open-Source-Frameworks für die photonische Forschung und KI-gestützte Design-Tools fokussiert hatte. Zudem hat Apple kürzlich Kuzu, ein kanadisches Startup, übernommen, das sich mit Graph-Datenbanken beschäftigt. Solche Datenbanken wären recht gut geeignet, um Wissen lokal auf Endgeräten zu strukturieren.
Aktuell stimme ich Dir zu, aktuell sind lokale Modelle ganz nett, aber kein Vergleich zu dem was die großen Anbieter über Ihre Rechenzentren bieten. Die wirklich relevante Frage ist halt, warum Apple es so handhabt und nicht anders. Warum übernimmt Apple zwei KI-Unternehmen, betreibt Forschung um KI-Modelle lokal auszuführen und optimiert die M-Prozessoren permanent, um KI-Modelle lokal auszuführen? Unfähigkeit zu unterstellen, wäre angesichts der Ressourcen die Apple hat, meiner Meinung nach unklug. Bei Apple schläft niemand, Apple trifft Entscheidungen! jm2c
0
OliverCGN03.03.26 16:26
Wellenbrett
Die Frage könnte zukünftig jedoch sein, ob das Modell in den Permanentenspeicher und nicht in den RAM passt.

Es gibt dazu keine klaren Aussagen, aber der Zugriff auf den internen Speicher des iPhone 17 Pro liegt bei etwa 1.650 MB/s, während andere Quellen von 3.300 MB/s sprechen.

Der Zugriff auf das RAM liegt hingegen 50-60 GB/s!

Bei KI-Systeme kommt es auf extrem effiziente Zugriffe an: Es ergibt überhaupt keinen Sinn die Daten auf den Festspeicher auszulagern.
Da wird Apple in den nächsten Jahren keinen Zaubertrick finden.

Eine andere, sinnvollere Lösung: Apple setzt RAM-Komprimierung mit Hardware-Unterstützung ein (schon seit einigen Mac-Generationen), das bringt nochmal 20-35% mehr Platz im RAM. Ob das aber auch beim iPhone gemacht wird, weiß ich nicht. ABER: Die aktuellen Pros haben gerade mal 12 GB RAM - mit Komprimierung entspreicht das eta 16 GB.

Ich bin seit über 25 Jahren Admin für Apple Systeme. Apple macht vieles richtig. Aber auch Apple kocht nur mit Wasser und hat auch schon mal einige Male ganz heftig ins Klo gegriffen.
Das halte ich auch nicht weiter für schlimm: Wer viel macht, macht auch mal Fehler.
Problematisch finde ich, wenn man Apple übernatürliche Fähigkeiten andichtet.
+1
Unwindprotect03.03.26 17:10
Raziel1
Ist auch nicht die ganze Wahrheit. Im Gegenteil, in den passenden Kreisen spricht sogar davon das Apple der einzige ist der bei KI momentan richtig entschieden hat. warum: Derzeit ist es ein massives Minusgeschäft mit extremen Investitionen in ein Loch. KI selbst ist alles andere als eine Blase, das ist klar, aber die Investitionen der großen in dem bereich sind nicht im geringsten deckend.

Da ist allerdings einiges dran ja. Also ob das jetzt „richtig“ von Apple ist oder einfach „aus Versehen nicht derartig falsch“ ist schwer zu sagen.

Fakt ist jedoch, dass die Investments im AI Bereich bei OpenAI usw. Zum großen Teilen auf zirkulärem hin und her schieben gigantischer Gelder basieren. Es gibt _keinerlei_ Idee wie diese Investments JEMALS Gewinn abwerfen sollen. Im Moment werden da vor allem riesige Mengen Geld verbrannt. Das Versprechen der verantwortlichen Manager ist, das es „bald“ eine AGI (Superintelligenz) gäbe, die dann selbstständig alle Probleme der Menschheit lösen kann. Mehr als religiöser Glaube daran ist jedoch an Konkretem nicht bekannt.

Microsoft zieht sich offenbar bereits von OpenAI zurück, hält jedoch trotzdem die Hand über möglichen Deals mit anderen… so dass OpenAI zunehmend Probleme mit der Finanzierung kriegt.

Die Energieanforderungen im Rahmen von Projekten wie „StarGate“ sind physikalisch praktisch unmöglich in absehbarer Zeit realisierbar.

Die Wahrscheinlichkeit, dass hier mittelfristig eine gigantische Blase platzt ist erstaunlich hoch.
0
Wellenbrett03.03.26 17:43
OliverCGN
Wellenbrett
Die Frage könnte zukünftig jedoch sein, ob das Modell in den Permanentenspeicher und nicht in den RAM passt.

Es gibt dazu keine klaren Aussagen, aber der Zugriff auf den internen Speicher des iPhone 17 Pro liegt bei etwa 1.650 MB/s, während andere Quellen von 3.300 MB/s sprechen.

Der Zugriff auf das RAM liegt hingegen 50-60 GB/s!

Bei KI-Systeme kommt es auf extrem effiziente Zugriffe an: Es ergibt überhaupt keinen Sinn die Daten auf den Festspeicher auszulagern.
Da wird Apple in den nächsten Jahren keinen Zaubertrick finden.
...
Hast Du eigentlich gelesen, was ich geschrieben habe? Wenn es einfach darum ginge, das für das RAM zu große KI-Modell komplett auf den Permanentspeicher zu legen, bräuchte Apple keine Forschung betreiben. Mir sind die Geschwindigkeitsunterschiede beim Zugriff auf RAM versus Flashspeicher geläufig. Und es geht auch nicht um Zaubertricks, woran Apple forscht. Wobei die Vorstellung der M-Prozesseren für den einen oder die andere schon wie ein Zaubertrick vorkam
0
DunklesZischt03.03.26 21:15
esc
DunklesZischt
FlyingSloth
Irgendwie kommt es einem so vor, als ob Apple in Sachen KI in jeder Hinsicht die Zeichen der Zeit verkannt hat. An einem Ende muss OpenAi zu Hilfe genommen werden, am anderen Ende Google mit Infrastruktur und Gemini. Irgendwie echt schade.
Das ist ganz sicher nicht so. Apple wollte oder will halt keinen "Yet another Chatbot". Ich sehe das völlig entspannt. Microsoft holt sich ja auch gerade eine blutige Nase mit ihrem "Copilot überall". Aber vielleicht klappt das ja mit neuen Namen besser...

Copilot werbende wir täglich im Büro, funktioniert gut und erleichtert viele Aufgaben.
Tja. Das weißt ich nicht, ob ich das beglückwünschen soll. Wie geht ihr denn mit sensiblen Informationen um? Die Gerüchteküche sagt, jedenfalls, dass so Copilot nicht so gut verkauft, wir die sich das ursprünglich gedacht hatte.

Das blöde an KI ist derzeit einfach, dass man alles sehr genau überprüfen muss. Es ist einfach kein Verlass. Das klappt nur bei viel zu wenig Dingen in meinem Alltag.
0
OliverCGN03.03.26 22:20
Wellenbrett
Hast Du eigentlich gelesen, was ich geschrieben habe?
Ja habe ich. Was ist denn der "relevante Teil" eines LLM?
Wie splittet man ein 500 GB großes LLM in relevant und nicht relevant?

Denkbar wäre spezialisierte LLM, die sich in bestimmten Aufgabengebieten auskennen:
Ein Portier-LLM übernimmt die Anfrage und versucht zu erkennen, in welche Richtung das Gespräch geht. Dann läd es ein Fach LLM nach.

Aber selbst so ein Portier-LLM wäre unglaublich groß und das Nachladen der LLM würde ebenfalls Zeit erfordern, was das ganze wieder extrem langsam - und so mit unbrauchbar - machen würde.

Langfristig ist das vielleicht ein Weg - aber das dauert sicher noch 10-20 Jahre.
Bis dahin wird man - zumindest bei den Mobilgeräten - nicht (komplett) auf Serversysteme verzichten können.
0
Wellenbrett04.03.26 12:39
OliverCGN
... Was ist denn der "relevante Teil" eines LLM?
Wie splittet man ein 500 GB großes LLM in relevant und nicht relevant?
...
Das ist genau der Forschungsgegenstand von Apples Forschung zu der Problematik, zu große Sprachmodelle bei begrenzen RAM lokal zu betreiben. Hier sind die Links zu den Paper, die sich mit dem Modell-Sparsity-Ansatz beschäftigen. Das ist nach meiner Einschätzung der wichtigste Ansatz. Der Grundgedanke dabei ist Vorhersage-Mechanismen zu nutzen, um nur die Gewichte in den RAM zu laden, die für das aktuelle Token tatsächlich benötigt werden. Dabei können teilweise über 80% des LLMs auf dem Permanentspeicher (also praktisch der SSD) bleiben.
https://doi.org/10.48550/arXiv.2501.12370
https://doi.org/10.48550/arXiv.2509.23012
https://doi.org/10.48550/arXiv.2507.09404

Wenn Dich das Thema im Detail interessiert, unter den anderen Fachbegriffen, die ich oben genannt hatte, findest Du leicht weitere Forschungsergebnisse Apples.
+1

Kommentieren

Sie müssen sich einloggen, um die News kommentieren zu können.