KI-Modelle von OpenAI und Co. lokal per App auf dem Mac ausführen


Wer künstliche Intelligenz einsetzt, muss oftmals Abstriche in puncto Datenschutz machen. Eine Ausnahme stellt zwar Apple Intelligence dar, die Tools sind aber nur neueren Geräten vorbehalten und machen in der Praxis oftmals einen eher unausgegorenen Eindruck. Manche Fragen leitet Apple zwar auf Wunsch an ChatGPT weiter und verspricht, dass OpenAI nur begrenzte Informationen erhält, allerdings ist die Nutzung dieser Funktion eingeschränkt. Als Alternative lassen sich manche LLMs herunterladen und lokal auf dem Rechner nutzen. Eine Option stellt die App
Jan dar: Die Installation ist denkbar einfach und die Aufmachung erinnert an ChatGPT.
Open Source, Fokus auf DatenschutzDie fertigen Installationsdateien von Jan lassen sich auf der offiziellen
Website sowie auf
Github herunterladen. Neben einer Version für macOS existieren Varianten für Windows und Linux. Die App setzt auf die Verwendung von LLMs, die entsprechenden .gguf-Dateien können einfach per Drag & Drop hinzugefügt werden. Das trifft auch auf gpt-oss von OpenAI zu. Ferner ermöglicht die App die Einbindung von Modellen wie Mistral, LLaMA und Gemma. Über API-Keys stehen zudem unter anderem GPT-4o und die Modelle von Perplexity zur Verfügung. Intel-Macs sind allerdings nur eingeschränkt dazu in der Lage, mit den Sprachmodellen umzugehen: Ein Mac mit Apple Silicon und idealerweise mindestens 16 Gigabyte Arbeitsspeicher sorgt für einen wesentlich flotteren Workflow. Die Vorzüge von Jan liegen in der einfachen Bedienbarkeit und der Transparenz: Es handelt sich um ein quelloffenes Projekt, das Interaktionen vollständig lokal auf dem Gerät verarbeitet.
Einfache Bedienung der kostenfreien AppDie Nutzung von Jan ist kostenfrei: Es fallen weder Gebühren noch Kosten für (versteckte) Abonnements an. Nach dem Download des gewünschten LLMs trumpft die App mit einer schlicht gehaltenen Benutzeroberfläche auf: Eine Seitenleiste mit einigen Menüpunkten sowie ein Chatfenster ermöglichen die schnelle Interaktion mit der gewählten KI.
Extensions lassen sich ebenfalls hinzufügen. Das hinter Jan stehende Startup Menlo hat sich der Forschung und Entwicklung von KI und Robotik verschrieben und hat seinen Sitz in Singapur.