Künstliche Intelligenz benötigt viel Rechenpower, sowohl beim Erzeugen des großen Sprachmodells (LLM) als auch bei der Nutzung, wenn Anwender das LLM beauftragen, die wahrscheinlichste Antwort auf eine Frage auszugeben. Im Allgemeinen wird zum Erwerb moderner Hardware mit NPU-Kernen, Nvidia-Grafikkarte nebst einer Menge schnellen Arbeitsspeichers geraten. Andrew Rossignol reizte eine ganz andere Vorstellung: Ein LLM auf seinem Zwölf-Zoll-PowerBook G4 zum Laufen zu bringen. Den Prozess dokumentiert er in einem Blog-Beitrag.


Um KI-Berechnungen auf dem 20 Jahre alten Laptop zum Laufen zu bekommen, wählte er ein spezielles LLM namens llama2.c, welches lediglich die Programmiersprache C verwendet. Für die ältliche Hardware und dessen Betriebssystem musste Rossignol einige Anpassungen vornehmen, bis es verlässlich englischsprachige Kurzgeschichten produzierte. Am Schluss optimierte er seinen Code für die historische Beschleunigungstechnologie AltiVec. Das Resultat: Schlussendlich benötigten die KI-Berechnungen seines PowerPC-optimierten LLMs achtmal so lang wie ein einzelner Rechenkern eines Intel Xeon Silver 4216 mit 3,2 GHz. Für einen zwanzig Jahre alten 32-Bit-Mac mit 3 GByte RAM ist das aber gar nicht mal so übel – und war für ihn ein willkommenes Testprojekt für die Arbeit mit LLMs.


Von Macintosh 128K inspiriert: Linux-PC im beigen Eigenbau-Gehäuse
Als Dankeschön für seinen Vater hat sich ein YouTuber darangemacht, einen funktionierenden PC in ein selbstgedrucktes, vom ersten Macintosh inspiriertes Gehäuse zu verpflanzen. Dies stellte ihn vor eine Menge gestalterischer Herausforderungen, bis ein Asrock-ATX-Mainboard nebst Netzteil, LCD-Panel und SSD gut gekühlt in dem beigen PETG-Gehäuse Platz fand. Ab der vierten Minute des Videos erläutert er, wie die insgesamt 500 Stunden zusammenkamen, welche dieses Projekt ihn gekostet hat. Beim Betriebssystem entschied er sich für Moderneres: Der Mini-PC läuft mit der Linux-Distribution Mint. Den Prototypen, die auf dem Weg entstanden, verlieh er einen Zweitnutzen: Er baute sie zu Nachttischlampen um. Das 3D-Modell der Retroleuchten lässt sich herunterladen; das vollendete, funktionsfähige PC-Gehäuse bietet der Bastler seinen zahlenden Patreon-Abonnenten zum Download an.