Vor ein paar Tagen stand hier auf MacTechNews in einem Artikel, dass Apple die eigene Server-Hardware als KI-Schwachstelle sieht und auf Einkaufstour gehen wolle .

Von Chip-Architektur und Servern habe ich keine Ahnung, doch stellt sich mir beim Lesen beider Artikel die Frage, warum Apple den doppelten Ultra, der lt. Mark Gurman ja schon fast fertig war, nicht für den eigenen Einsatz in KI-Servern genommen hat? Hätte das nicht Zeit und ggfs. hohe Kosten einer Akquisition gespart? Oder ist mein Denkansatz mangels technischer Kenntnisse falsch? Vielleicht kann mir das hier jemand erklären - ich lerne gerne dazu.

Der damalige doppelte Ultra wäre auch von der AI Rechenleistung und insbesondere dem Preis/Leistungsverhältnis zu teuer gewesen. Aber möglicherweise haben sie die Chips ja dann intern genutzt.

Ich würde so einen MP mit 4 Steckplätzen für M-Prozessorkarten gut finden. Die Standardversion ist mit einer Mx Max Karte bestückt und kann dann entsprechend erweitert oder nachgerüstet werden. Und ggf. auch auf eine neuere M-Variante aktualisiert werden. Ich glaube das man die Nachfrage damit schon erhöhen könnte, wenn das Teil nicht viel zu teuer wäre.

Und WAS packst du dann in die 4 Steckplätze??

Na M-Prozessorkarten, halt wie beim Ultra oder dann Extreme, nur eben steckbar.

Ich "verstehe" Apple da, mir gefällt's nicht - aber das ist nur meine Meinung.
Ganz einfacher (und vereinfachter) Vergleich.
Verkauf:
1 Mac Pro = 4 iPhones
Resultat:
1 Mac Pro - ein Apple Account, 1x Zubehör, 1x Apple Care
4 iPhones - 4x Apple Accounts, 4x Zubehör, 2,5x Apple Care

Klar, ist es lukrativer sich auf die andere Sparte zu fokussieren.

Das wäre wirklich schön .Nur leider sieht das Design der M CPU`s es nicht vor das man
eine externe (gesteckt oder sonst wie)GPU/CPU Karte an einen M Prozessor anbindet.
Ich hatte schon früh die Befürchtung,das die mit der nach aussen abgeschlossene M Architektur Apple sich ins Knie geschossen hat.Apple hat doch schon mehrfach klar gemacht,das der Ansatz einer gesteckten Karte mit der M Reihe gestorben ist.Sie versuchen halt mit aller Gewalt immer mehr GPU Kerne in den M`s unterzubringen,
doch das kann langfristig nicht mit der brachialen Wucht einer RTX 5090 mit halten.

JeDI

Meinst wie bei den alten Prozessorkarten, PowerMac 9500/9600 usw? Da gabs von SuperMac damals ja den S901, in dem konnten zwei PPC604 gesteckt werden. War damals unter classic MacOS nur für eine Handvoll Apps sinnig, die von sich aus MP unterstützt haben.


Aber das jetzt auf Mx/ Apple Silicon gemünzt. Der große Vorteil ist ja das die RAM direkt neben dem SoC sitzt und sehr breit angebunden ist. Wie würdest du die einzelnen Karten denn miteinander verbinden wollen? Genau genommen würdest du damit vier Macs in ein Gehäuse bauen und die mit irgendeinem Bussystem untereinander verbinden. Sagen wir mal man nimmt so etwas wie NV Link, dass wird ja in Rechenzentren verwendet und ist sehr schnell. Aber es hat nur den Bruchteil der Performance die die Kopplung der Max DIEs in einem Gehäuse erreicht. MacOS müsste massiv umgebaut werden eine eigene API geschaffen werden um Software darauf zu optimieren. Ich denke ein Extreme dürfte schon bei vielerlei Software gegenüber einem Max keinen Vorteil bringen.


Charmante Idee, gibts im Serverbereich ähnlich, z.B. Blade Systeme. Problem ist halt, die RAM wird lahm, bzw. nur der jeweils direkt angebundene Speicher ist schnell. Dürfte nur einen sehr kleinen Nutzerkreis geben.

Mit hoher Wahrscheinlichkeit war das Ergebnis zu schlecht. Man kann nicht einfach mehrere CPU Dice kombinieren und erhält kostenfrei maximale Performance. Die Sache ist leider deutlich komplizierter.

Was wir aus der Vergangenheit wissen: Apple damals beim den MacPro 4,1 und 5,1 mit den Xeon 5500 bzw. 5600 den NUMA-Modus dieser CPUs nicht genutzt. Daher wurden in den DualCPU Modelle Performance verschenkt. Alle der Nachfolge Systeme verwendeten nur noch einen Prozessor, so dass sich die Frage nach dem NUMA-Modus nicht mehr stellte. Davor gab es keine Macs, die NUMA-fähige CPUs benutzen. Bei den PowerMacs war alles an denselben Bus angebunden.

NUMA steht für Non Unified Memory Architecture genau das Gegenteil, was Apple aktuell bei den M SoCs macht. Allerdings ist NUMA notwendig, wenn man CPUs in einem größeren System kombinieren will. Monolithische UNICES und Linux bekommen das sehr gut hin. Apple verwendet allerdings einen auf Mach basierenden Kernel, von dem wir nicht wissen wie gut er dabei ist.

Will man nun ein System skalieren, muss man die Latenz bei der Kommunikation im System beachten. Die Latenz ist der begrenzende Faktor bei der Gesamtrechenleistung und nicht die Bandbreite. Wird die Latenz zu groß, kommt man um den NUMA-Ansatz nicht mehr herum, und muss das System in mehrere NUMA-Knoten, die jeweils über eigenen lokalen Speicher verfügen, aufteilen.

Das Problem ist, dass Apple bisher bei den M SoCs keinerlei Anzeichen gezeigt hat, eine Kommunikationsschnittelle einzubauen, mit der man in der Lage wäre, mehrere M SoCs in einem System zu vereinen. Der Ultra Chips wird zwar aus zwei Max zusammengesetzt, aber das ist keine Fabric vorhanden sondern es werden nur zwei Dice kombiniert.

nVidia hat eine superschnelle latenzarme Verbindung zwischen Chips entwickelt: NVLink C2C. Es gibt noch NVLink für die Verbindung zwischen Knoten bzw. GPUs, die ist etwas anders ausgeführt.

AMD hat Ähnliches entwickelt für die Vernetzung innerhalb des Servers. AMD ist bei der Vernetzung von Server auf Technik von nVidia (Infiniband – wird aktuell nur noch von nVidia gefertigt) angewiesen. Man arbeitet daran auf Ethernet auszuweichen, da es dort mehr Anbieter gibt. Aber Ethernet hat eine höhere Latenz.

Dann kommt hinzu, dass bisher Apples M SoCs perfekt für den Notebook Markt entwickelt worden sind. Apples Systeme sind daher super für Notebooks, Tabletts und kleine Desktop System wie den Mac Mini. Diesen Systemen ist gemein, dass sie durch die absolute Leistungsaufnahme durch die Bauform bzw. den Akku limitiert sind. Damit kein unnötiger Strom verbraucht wird, hat Apple den eigenen SoCs kaum PCIe Lanes zugestanden. Was für den Apple Einsatzzweck im Notebook ein sinnvoller und richtiger Schritt ist. Allerdings taugen daher die M SoCs nicht für Server. Der M2 Ultra MacPro hatte 16+8 =24 PCIe 4.0 Lanes, die sich alle Slots teilen mussten. Ein AMD EPYC kommt auf 128 PCIe 5.0 Lanes, bei einem Dual EPYC wird ein Teil für die Koppelung genutzt, so dass 192 Lanes fürs System zur Verfügung stehen.

nVidias neue Server CPU Vera unterstützt bis zu 1,5TB RAM, mit 1,2TB/s Speicherbandbreite, hat 88 PCIe 6.0 Lanes und ein NVLink C2C Interface mit 1,8TB/s Bandbreite mit dem man die Vera CPU an zwei Rubin GPUs koppeln kann.

nVidia hat die passende Hardware, den passenden Softwarestack und etliche Jahre mehr Erfahrung in diesem Bereich. AMD dürfte noch am ehesten nVidia Konkurrenz machen können, da die AMD Instinct Beschleuniger noch am ehesten an die nVidia Modelle heranreichen.
Apple hat bisher noch keine andere Firma gekauft. Sie suchen nach einer passenden Firma. Ich sehe nur nicht, wie Apple mit einem Startup die Lücke schließen will. Passende Netzwerktechnik gibt es nur noch von Broadcom, Marvell ggf. von Intel.

Nein, NVLink ist schneller als die Kopplung im M3 Ultra Chip. Die aktuelle NVLink C2C Generation liefert 900GB/s Bandbreite. Mit VeraRubin wird das auf 1,8TB/s verdoppelt. Diese Bandbreite hat man nicht nur lokal in System, sondern durch die vielen Netzwerkkarten auch über das Netzwerk. D.h. ein aktuelles GB300 System von nVidia hat mehr Netzwerkdurchsatz als der schnellste Mac Speicherbandbreite hat.

Es ist aber ein Bus, bei den M-Chips wird es breiter, je mehr Chips zusammen kommen. Deswegen würde der RAM Durchsatz bei vier Extreme, sprich 8 Ultra oder 16 Mac höher sein. Aber das wäre nicht einmal das Thema. Die Latenzen sind da eher ein Problem. Die maximale Bandbreite schafft NV Link auch nur wenn jeweils die volle Breite voll ausgenutzt wird, also große Pakete übertragen werden. RAM Zugriff ist aber nicht immer ein volles Paket, sondern teilweise nur einzelne Adressen, bis die via NV Link verpackt und ausgeliefert werden vergeht Zeit. Ist halt ein Unterschied ob die RAM direkt neben dem SoC sitzt und mit eigenen Kanälen angebunden ist, oder eben über einen Bus muss. Gucken wir mal damals bei den Intel CPUs mit ihrem FSB. Hatte schon einen Grund, weshalb Apple die beiden CPUs im PowerMac G5 via Hypertransport angebunden hatte.

Ich meinte eigentlich bis zu 4 Max Karten, das entspräche dann ja einem Ultra, oder? Und der Speicher könnte ja jeweils mit auf den Karten sein, wobei man dann natürlich wieder weniger flexibel wäre. Besser wäre wenn der separat gesteckt wäre, aber bräuchte man dafür ja ggf. noch einen anderen, schnellen Bus.

Aber das wird ja sowieso nicht kommen. Nur mit so einem Konzept würde der Pro m.M.n. weiter Sinn machen, weil er dann bei Vollausbau schneller als der Studio wäre und er wäre erweiternar und evtl. bis zu bestimmten Grenzen sogar auf neuere SoCs aktualsierbar. Das würde den Mehrpreis rechtferigen.

Ein Ultra besteht aus zwei Max DICe. Aber wie gesagt. Dazu fehlt es einfach an der Anbindung.

gfhfkgfhfk

Vielen Dank für die detaillierte Erklärung!

Du hast glaube ich eine falsche Vorstellung davon, wie schwierig und aufwändig es ist derart schnelle Verbindungen zu bauen.

Schon eine schnelle Verbindung zwischen Funktionseinheiten „auf dem Chip“ ist eine Herausforderung, siehe dazu intels Ringbus oder bei AMD die Verbindung zw. CCX und I/O. Da reden wir über Millimeter die gut zu überbrücken sind. Bei Steckkarten reden wir über Zentimeter und jede Menge Probleme angefangen mit den ungewünschten Antenneneigenschaften der Pins im Steckplatz/Slot. Stromverbrauch (und damit Hitze die man da nicht haben will), mal ganz außer Acht gelassen.

Einfaches Beispiel: DRR5 RAM Modul zum stecken: 5600MT/s, der gleiche RAM direkt an den Prozessor geklebt (Apple M5,…): 9600MT/s !! Und das (fast) nur weil die „Kabel“ kürzer sind. RAM ist dabei ziemlich langsam, für eine sinnvolle Verbindung von Caches und CPU Kernen ist das noch viel zu lam.

Damit man SoC/CPU Module modular und beliebig erweiterbar machen kann, braucht es andere Techniken, wie Optik oder neue Modulations-Arten. Mit Kupferdraht sind wir was Takt angeht glaub ich ziemlich am Limit. Bleibt die Möglichkeit in der Breite, aber das macht Verbindungen komplex und der Stromverbrauch gerät außer Kontrolle

Stimmt, meinte dann Extreme mit den 4.

so, das ganze ein wenig aufgedröselt, beim M3:
M3 4P+4E, 8 oder 1 GPU, 25 Mrd. Transistoren 128 bit LPDDR5 6400 bei 100 GB/s Bandbreite für max 24 GB RAM. Das ist der Basis Chip. Etwas breiter ist der Pro:
M3Pro 5P+6E, oder 6P+6E, 14 oder 18 GPU 37 Mrd. Trans. 192 bit Speicherbus, gegenüber dem M1 und M2 pro also 64 Bit weniger, 150 GBit/Bandbreite und amp 36 GB RAM.
Dazu gibt es noch den M3 Max, ebenfalls monolithisch, nur eben breiter gebaut als der M3 und M3 Pro: 10P+4E, oder 12p+4E, 30 oder r40 GPU Kerne bei 92 Mrd. Transistoren. 384/512 bit Speicherinterface. Die 10P Core Version hat also eine 128 bit schmalere Anbindung, samt 300/400 GBit/ Bandbreite zum Speicher, bei max 128 GB RAM. Die Bandbreite richtet sich nach der Anzahl der GPU Cores, jeder Core hat 10 Gibt/s, nur beim M3Pro nicht, deswegen ist er auch etwas langsamer im vgl. zu den anderen. Also der 18 Core Pro ist nicht halb so schnell wie der 30 Core Max, oder eben nicht nur knapp doppelt so schnell wie der M3 mit 8 GPU Cores.
Der M3 Ultra besteht immer aus zwei M3Max im Vollausbau, kommt damit auf 20/24P und je 8E Cores, 60 oder 80 GPU bei 184 Mrd. Transistoren und einer Anbindung von 1024 bit, was dann bei LPDDR5-6400 Speicher die 816 GB/s ergibt. Und da kommt nun Apples UltraFusion, auch bekannt als TSMC "InFO-LSI". Das ist eine passive Siliziumbrücke mit der beide MaxChips verbunden sind. Nicht wie bei Intels EMIB, das ist eine aktive Verbindung, ein Vollinterposer und der ist deutlich teurer. InFO-LSI Schaft beim M3 2,5 TB/s Bandbreite, bei zwei Max kann also mit der vollen Bandbreite auf den Speicher zugegriffen werden, zudem gibt es genug Verbindungen von SoC zu SoC, so dass man von aussen von einer CPU sprechen kann. Real hat man aber trotz alle dem einen Verlust, also ein Ultra ist nicht doppelt so schnell wie ein Max. Das liegt überwiegend an der Latenz. Wenn ein Speicherblock vom Max 1 im Speicherbereich von Max 2 liegt, dann kostet die Latenz durch UltraFusion einfach Zeit.

Kommen wir am Ende zu den Preisen der SoCs. Ein Wafer kostet heute so um die 30.000$ auf einem 30 cm Wafer passen 466 M3, 324 M3Pro oder 133 M3Max. Da man aber rechteckige SoCs auf einer runden Scheibe packen muss, ergeben sich Verluste in form von nicht nutzbaren Platz. So bekommt man ca. 408, 268 oder 88 M3, M3Pro oder M3Max aus einem Wafer, dass sind 87, 82 oder 66% Yield. Genaue Zahlen kennt man nicht, mal wird so, mal wird so gerechnet, ist im Prinzip auch egal, ob es nun 60 oder 70% Yield sind, es geht um die Verhältnisse zueinander. Wenn ein Hafer also 30.000$ kostet. kostet ein M3 74$, ein M3Max 340$. Die Preise dürften für Apple signifikant günstiger sein und zudem habe ich jetzt keine Preise für 3nm gefunden, nur für den kommenden 2nm Prozess und da auch nur Schätzungen. Zahl ist da aber auch egal, es geht um das Verhältnis was ein M3 zu einem M3Max kostet, der Ultra liegt noch einmal doppelt so hoch. Dazu kommt dann das binning, packaging etc.

Jetzt machen wir noch einmal einen kurzen Bogen zu NVLink, NV-HBI. NV Link erreicht so ca. 30% des Durchsatzes von UltraFusion, kann man aber nicht vergleichen, da NVLink zwei komplette SoCs miteinander verdient, also mit jeweils eigenem Speicher etc. ganz andere Anwendung. Technisch vergleichbar wäre da eher NV-HBI, dass macht aber satte 10 TB/s ist aber für die Verbindung mehrere B200 untereinander gedacht, deutlich breitere Chips, ganz andere Anwendung und deutlichst teurer, ganz andere Liga.

Also Apple hat mit UltraFusion schon etwas gutes ausgesucht für das zusammenfassen von zwei monolithischen SoCs zu einem, ohne eine NUMA Architektur aufzubauen, in der die Software auf einzelne Kerne festgesetzt werden kann, so dass sie auch immer auf den schnellen Speicher zugreifen kann etc. Das kann macOS nicht, konnte es noch nie, auch wenn damals die MP mit Nehalem und Westmere NUMA unterstützen, aber macOS kann es einfach nicht. MacOS ist gut darin die Threads vernünftig aufzuteilen, GrandCentralDispatch ist da eines der Buzzwörter. Dabei hat macOS aber nie darauf geachtet welchen Speicher welche CPU anspricht und in welchem Speicherbereich die Anwendung läuft. So kann es sein, dass Speicher von CPU2 benutzt wurde, für Prozesse die auf CPU1 liefen, dieser Speicher musste also über die CPU2CPU Verbindung QPI etc. dass kostet Zeit, Latenzen und Bandbreite. Im Mittel ist das für eine Workstation/ Desktop System aber vollkommen in Ordnung, für echte HPC Anwendungen ist das totaler Mist. Genau so ist es jetzt bei den Ultras.

Gucken wir bei AMD, AMD hat Chiplets, z.B. 8 CPU Kerne auf einem Chiplet, 4 Chiplets auf einem Interposer, eine Chip der das ganze verbindet und die Speicheranbindung managed, Vorteil ist, man kann kleine DICe bauen und hat entsprechend eine höhere Yield, über 80% und baut damit am Ende riesige CPUs zusammen. Der Windows Scheduler hatte damit Anfangs seine Probleme, bei den ersten Threadrippern gab es auch Probleme mit dem Zugriff auf dem Speicher etc. aber insgesamt ist AMDs Ansatz sehr gut in der Skalierung, daher haben die größten EPYCs auch bis zu 128, bzw 192 Kerne (ZEN-5c). ZEN-6 kommt diese Woche an den Start, mit bis zu 256 Cores, CPU Cores wohlgemerkt. Einen solchen Chip kann man gar nicht mehr monolithisch aufbauen, da man diese Fläche gar nicht belichten kann, ganz davon ab das man dann wahrscheinlich nur noch unter 50% Yield kommt, da man die Fläche gar nicht mehr ausnutzen kann. Das wird bei Apple auch noch interessant, wie sie bei übersichtlichen DIE Größen bleiben können, die dritte Dimension wird es ermöglichen müssen und damit TSMCs N2 Prozess.

Das ganze ist jetzt nur ein grober Abriss, wie ich mir das ganze damals beim M3 mal zusammengesucht hatte. Der M5 sieht ja etwas anders aus und der M7, der ja danach wieder einen Max bringen wird, kann schon wieder ganz anders sein. Die Frage ist ja, wie lange bleibt Apple noch monolithisch.

Der Punkt ist, dass nVidia und AMD ihren Software Stack sehr viel besser im Griff haben was HPC und AI betrifft als Apple. Daher skaliert Software auf diesen Systemen exzellent. Apple ist die Firma, die es beweisen muss, dass sie den Schritt machen kann Systeme skalieren zu können. AMD, nVidia, IBM (siehe die IBM E1080 bzw. E1180 Server), Intel, .… haben das alle schon bewiesen, und alle diese Firmen pflegen ihre Software über viele Jahre. Apple hat zwar enorm viel Geld, pflegt aber bisher die notwendige Software gar nicht. Es gab mal Software von Apple für den PowerMac G5 Cluster, und dann hat man sich schnell wieder aus dem Segment zurückgezogen.

Beim PowerG5 hat Apple rein gar nichts mit der Plattformentwicklung zu tun gehabt. Das war alles ein reines IBM Projekt, was dazu unter enormen Zeitdruck stand, weil die gemeinsame Entwicklung von Apple und Motorola eines G5 System krachend gescheitert war. IBM hatte damals mit AMD kooperiert, und HyperTransport wurde auch in damaligen AMD Produkten (Opteron) verwendet.

gfhfkgfhfk
Apple macht einfach kein HPC, AMD und gerade NVDIA spielen da in ganz anderen Ligen, da hat Apple einfach nichts verloren. Apple baut Notebooks und Desktopkisten, bestenfalls noch eine Workstation. Aber wenn man einen Mac Studio mit einer Workstation einem Threadripper Pro vergleichen will, sind das Äpfel mit Birnen, ganz andere Klasse. Also Ja, Apple kann kein HPC.
Warum müssen sie das? Da haben sie gar keine Ambitionen. Die verkaufen Telefone, Notebooks und Desktopkisten. Da ist nichts dabei was skalieren muss. Das ist ja auch der Grund weshalb sie sich jetzt NVIDIA Systeme einkaufen um ihre KI Systeme damit zu trainieren. Sie haben genau 0 Kompetenz darin ein System zu bauen, mit dem man ein LLM trainieren kann.
Was sie ausbauen werden, ist LLM laufen zu lassen, lokal und auf eigenen Servern. Da laufen ihre Chips wohl auch ganz brauchbar. Aber ob das jetzige System wirklich skaliert, halte ich für unwahrscheinlich.Ja, da war mal was, gab auch ein paar Anwendungen die das genutzt haben, aber nichts für in der Fläche. Geht aber bei den jetzigen Kisten auch, vier Mac Studio im Cluster für AI Aufgaben. Aber sonderlich stabil soll das wohl nicht sein. Ganz davon ab das andere Systeme günstiger und schneller sind. Vorteil ist halt der UnifidMemory Ansatz. Da muss man schon die ganz dicken System von NVIDIA nehmen um ähnlich viel Speicher anzubieten. Aber die haben dann gleich die mehrfache Leistung (und auch Leistungsaufname) als Apple Silicon. Eine "General purpose" CPU ist einfach nichts für AI Anwendungen und die NeuralEngine sind zwar effektiv für diesen Einsatz aber haben viel zu wenig Rechenleistung. Da liegen ja Größenordnungen von Faktor 1000 zwischen einem NVIDIA System und einem AppleSilicon System, also ganz andere Welt.Der G5 war damals ein Shrink ihrer Server Architektur POWER. Aktuell sind sie jetzt ja bei POWER 11. 16 Kerne, davon 15 nutzbar, dazu SMT8, also 128 Threads auf einer CPU. Davon werden zwei DIE auf ein DCM Modul gepackt, also 30 Kerne 256 Threads 2,4-4,15 GHz. In einem System stecken dann 16 Stück davon, also 2048 Threads möglich. Je DCM 4 TB Speicher möglich. Also 64TB im System. Alleine dafür kann man ein Haus kaufen...
Ich weiss jetzt gar nicht woran Motorola gestolpert ist, weshalb sie die nächsten Gen nicht hinbekommen haben, aber IBM hat da halt ausgeholfen, aber eben kein wirkliches Interesse an eine Notebook Version gehabt, da sie selber dafür einfach keine Verwendung hatten. Zudem mussten sie Zeit, Geld und Fab Cap für ein Nischenprodukt investieren, in einem Markt, der von Intel damals dominiert wurde. Mit einem POWER5 haben sei aber mehr Geld verdient, als an vielen PPC970 die an Apple gegangen sind, die Marge war bei POWER einfach höher als bei PowerPC.
IBM hat einige Systeme gehab, die mit PPC970 liefen, aber da war es egal, ob 160Watt oder 24 Watt verbraucht wurden. Es gab auch SuperComputer auf PPC970 Basis, nicht nur den BigMac. Sind aber alles alte Kamellen.

Ich sehe Apple Silicon nicht in Konkurrenz mit NVIDIA Spark o.ä. Sie müssen nur aufpassen, dass KI Systeme schnell genug auf der eigenen Hardware laufen. Das sie das unterschätzt haben scheint man ja an der Entscheidung zu sehen, dass sei M6 nur als M6 (vielleicht auch Pro) bringen, aber nicht als Max oder Ultra, dafür den M7 vorziehen, da der mehr "KI" Leistung bringen soll, die werde also entweder ihre GPU Cores so umbauen, dass sie auch 4bit, 8bit int können, dazu massiv paralleler werden und/ oder sie ziehen ihre NeuralEngines deutlich auf. Dazu mehr RAM würde dann auch größere lokale Modelle ermöglichen, ohne das man nach jedem Prompt 20 Minuten lang warten muss.

Die zentrale Frage ist, will Apple AI auf eigener Hardware anbieten oder nicht? Wie man immer wieder lesen kann, will Apple nicht nur Inference für Endkunden auf Apple Hardware anbieten, sondern selbst auf eigener Hardware AI Training durchführen. Mit eigener Hardware ist nicht Zugekauftes sondern eigene Entwicklungen gemeint. Wenn sie das tun wollen, müssen sie komplett andere Hardware entwickeln. Nutzen sie fremde Hardware kann das entfallen.

Die letzten Wochen gab es von CNBC Videos zu den nächsten Generation von AI Hardware von nVidia und AMD. Das ist der Rahmen in dem man sich bei AI bewegen muss.

Dann noch ein Video was die unterschiedlichen Chips von Google und Amazon erklärt.
Motorola hatte wie all die Jahre zuvor massive Probleme CPUs auch wirklich in Serie zu produzieren.
nVidias DGX Spark bzw. RTX Spark ist direkt auf Apples M Pro bzw. M Max Geräte ausgerichtet. Bisher ist nur die DGX Spark Entwickler Maschine auf dem Markt, aber es wird bald Desktops und Notebooks mit diesem SoC geben ohne ConnectX Netzwerk Chip, was den Stromverbrauch und Preis senkt.

gfhfkgfhfk

zum Ausführen auf jeden Fall
Wenn sie das wollen, brauchen sie ganz andere Hardware. Dann brauchen sie nicht 40 GPU Cores, sondern 400 und die müsse bis auf 4bit int runter. Also etwas ganz anderes als sie jetzt anbieten. Da würde auch ein M8Extreme nichts bringen, weil die P und E Cores nicht viel machen, beim Training.

genau, da kommen dicke Dinger mit viel HBM..
AMD liegt in der Hardware ja mittlerweile gar nicht mal so schlecht da aber gegen CUDA haben sie nichts in der Hand. Wird auch Apples Problem sein. Entweder müssten sie komplett eigene Software schreiben, oder eben CUDA nutzen und dann nutzt man auch NVIDIA Hardware.
und sich eigentlich ins Embedded Feld abgesetzt hat. Motorola hat die CPU Sparte ja auch in Freescale ausgegliedert.

Jetzt baut Motorola wieder Funkgeräte usw. für US Behörden.

Ok, dann werden wir ja mal sehen wo sie am Ende landen. Dann wird es für x86 ja doch eng. Qualcomm mit Elite 2 (ich meine da ist die Tage das schnellste Windowsnotebook vorgestellt worden und das hatte keine x86 CPU) und dazu NVIDIA. Wenn ich es aber noch recht in Erinnerung habe, sollte Spark schon vor zwei Jahren kommen und nutzt auch nur Standard ARM Designs, deswegen sehe ich die nicht auf Augenhöhe mit einem M5 Pro/ Max.

Es wäre sooo schön gewesen… Leistung ist nunmal mit nichts zu ersetzen außer mit noch mehr Leistung