Leak: Apple bereitet neue Endkunden-App für lokale KI-Modelle unter dem Namen "Harbor" vor
Ende 2023 veröffentlichte Apple ein neues Framework namens
MLX. Hier handelt es sich um eine Nachimplementierung der bekannten NumPy-Bibliothek aus Python, welche unter anderem bei dem Trainieren und Ausführen von KI-Modellen zur Anwendung kommt. MLX ist speziell auf die Unified-Memory-Architektur von Apple Silicon optimiert und erlaubt es, KI-Modelle auf A- und M-Chips äußerst schnell und effizient zu betreiben.
Es existieren bereits diverse Lösungen, welche auf Macs das MLX-Framework verwenden, um Large-Language-Models (kurz LLM) komfortabel auszuführen. Zum Beispiel bringt das bekannte
LM Studio seit einiger Zeit Unterstützung für MLX mit.
Neue App von Apple: HarborAaron von MacRumors veröffentlichte in der Nacht einen Beschreibungstext und Screenshots einer neuen Apple-App. Diese Informationen stammen wohl aus einer Lücke, die es erlaubt, nicht-öffentliche Apps im App Store zu finden. Unter dem "Claris"-Markennamen verteilte Apple ein Programm namens Harbor, welches zum Ziel hat, das Ausführen von KI-Modellen zu vereinfachen und es ermöglicht, mehrere Macs zu einem Cluster zusammenzuschalten:
Auch die Beschreibung der App ist verfügbar:
Harbor turns your Mac into a private AI inference server. Run open-weight models locally on Apple silicon—your data never leaves your hardware, and nothing reaches the cloud. Connect multiple Mac computers over Thunderbolt 5 to pool unified memory, enabling large models and higher concurrency that a single computer can handle alone.
Set up in minutes, not hours Harbor automatically detects your devices over Thunderbolt 5 to form a cluster. Plug in, start, and you’re running—no manual configuration, no command line, no infrastructure expertise required.
Download and run models directly Browse, download, and load open-weight models from within the app. Harbor handles model management so you can focus on the work, not the setup.
Cluster for scale Connect two or more Thunderbolt 5-capable Mac computers and Harbor pools their unified memory into a single inference resource. Run models that exceed any single computer’s capacity, or serve more concurrent requests across your cluster.
Frei übersetzt:
Harbor macht deinen Mac zu einem privaten KI-Inferenzserver. Führe Open-Weight-Modelle lokal auf Apple Chips aus – deine Daten verlassen nie deine Hardware, und nichts gelangt in die Cloud. Verbinde mehrere Mac Computer über Thunderbolt 5, um ihren gemeinsamen Arbeitsspeicher zu bündeln. So kannst du größere Modelle ausführen und mehr gleichzeitige Anfragen verarbeiten, als ein einzelner Computer allein bewältigen könnte.
In Minuten statt Stunden eingerichtet
Harbor erkennt deine Geräte über Thunderbolt 5 automatisch und bildet daraus einen Cluster. Anschließen, starten, fertig – ohne manuelle Konfiguration, ohne Befehlszeile und ohne Fachwissen über Infrastruktur.
Modelle direkt laden und ausführen
Durchsuche, lade und starte Open-Weight-Modelle direkt in der App. Harbor übernimmt die Modellverwaltung, damit du dich auf deine Arbeit konzentrieren kannst statt auf die Einrichtung.
Cluster für mehr Leistung
Verbinde zwei oder mehr Mac Computer mit Thunderbolt 5 und Harbor bündelt ihren gemeinsamen Arbeitsspeicher zu einer einzigen Inferenzressource. Führe Modelle aus, die die Kapazität eines einzelnen Computers übersteigen, oder verarbeite mehr gleichzeitige Anfragen in deinem Cluster.
Schon jetzt ist es möglich, mit MLX und RDMA (Remote Direct Memory Access) über Thunderbolt 5 mehrere Macs zu verbinden und so große KI-Modelle auszuführen, welche mehr Speicher benötigen, als es normalerweise einzelne Macs bieten. Doch die Konfiguration ist mit einigem Aufwand verbunden – und genau hier soll wahrscheinlich die neue Harbor-App positioniert werden. Glaubt man der Beschreibung und den Screenshots, ist die Einrichtung eines Clusters aus mehreren Macs im Handumdrehen erledigt.
Preis und Verfügbarkeit noch unklarApple entfernte die App kurz nach Bekanntwerden aus dem App Store. Noch ist aber völlig unklar, wann und wie der Konzern das Programm veröffentlicht. Da das Programm bereits einen fertigen Beschreibungstext und qualitativ hochwertige Screenshots mitbrachte, ist davon auszugehen, dass eine Veröffentlichung in Kürze erfolgt. Ob Apple das Tool kostenlos bereitstellt, ist noch unklar.