Moin zusammen,
da mein aktueller Homesever (Raspberry Pi 5) langsam an seine Grenzen kommt, soll ein neuer Mac Mini ihn ablösen.
Dazu möchte ich gerne nach euren Erfahrungen und Empfehlungen fragen.

Der Server wird in erster Linie für Home Assistant und Paperless-ngx verwendet.
Zudem möchte ich mit dem neuen System auch mit lokalen KI-Modellen experimentieren.
Die KI soll keine High-End Aufgaben übernehmen, sondern hauptsächlich einen RAG-Chat für meine Dokumente bieten und diese auch automatisch verschlagworten und benennen.

Ich habe den Mac Mini M6 - 512GB - 32 GB RAM im Blick. Reicht dieser dafür aus oder müsste es ein M5 Pro sein? Wie wichtig sind Prozessor und RAM im Verhältnis für meine Vorhaben?

Ich danke euch im Voraus!

Mein Tipp ist: Probiere auf einem anderen Rechner mal aus, welche lokalen LLMs deinen Anforderungen genügen. Ob da 10B-Nur-Text-Modelle reichen (32 GB reichen), oder ob du eher etwas Richtung 30B und multimodal brauchst (dafür sind 32 GB zu wenig). Danach kannst du leichter entscheiden, was du brauchst.

Meine praktische Erfahrung: Die Abschätzung von Hardware-Anforderungen bei lokaler KI ist generell *sehr* problematisch/ungenau – das ist alles eher Bauchgefühl gemischt mit anekdotischer Evidenz und ein paar gut begründete Überlegungen.

Das liegt daran, dass sich nicht nur das Feld sehr schnell weiterentwickelt, sondern auch dass sich die eigenen Anforderungen ständig verändern, ohne dass man das gut abschätzen kann. Gerade am Anfang: Wenn ich noch nicht genau weiß, wie mein Use-Case über die nächsten Jahre funktioniert, ist das wie Pudding an die Wand nageln. Man hat einfach kaum Punkte, an denen man sich fix orientieren kann.

Daher ist der Tip von B_Bocheinski mit dem Ausprobieren völlig richtig, aber oft halt auch unpraktisch: Wenn ich schon Zugriff auf einen Rechner habe, auf dem ich das über ein paar Wochen ausprobieren kann – brauche ich dann überhaupt einen neuen?

Also hier mein Bauchgefühl:
RAG-Systeme sind eher genügsam, insbesondere wenn sie nur Text verarbeiten. IBMs Granite ist z.B. auf genau solche Anwendungsfälle optimiert (dafür weniger für Chatten und Brainstorming etc. geeignet) und ist vergleichsweise klein. Dennoch: Die Geschwindigkeit ergibt sich nunmal maßgeblich aus der Speicherbandbreite, die bei den Pro-Modellen deutlich höher ist. Wenn das nicht nur ein Rumexperimentieren ist, sondern ggf. auch wirklich langfristig eingesetzt werden soll, würde ich zum Pro greifen.

Das RAG soll den Kontext ja eher klein halten – die 30B-Klasse von Modellen sehe ich demnach vom Speicherumfang als gerade so möglich, aber mit 32 GB RAM ebenfalls eher als grenzwertig. Die Geschwindigkeit wäre mMn auch nur für Mixture-of-Experts-Modelle akzeptabel. Soll heißen: 48/64 GB erlauben dir zwar, die 30B-Klasse gut einzusetzen, ob das von der Geschwindigkeit dann wirklich Sinn ergibt, ist aber eine andere Frage. Mein Bauchgefühl sagt mir: lass es. Bei 30B-Dense-Modellen würde ich dann doch eher Richtung Studio/M5 Max denken, die auch die entsprechende Speicherbandbreite mitbringen.

Die kleinen Modelle boxen bei RAG-Anwendungen aber tatsächlich auch über ihrer Gewichtsklasse, die Ergebnisse sind oft überraschend gut. Meine Empfehlung wäre mit Blick auf die angesprochenen Systeme und für überschaubare RAG-Anwendungen also 32GB RAM, M5 Pro.

Wie gesagt: alles keine Wissenschaft.

Danke das ist schon sehr hilfreich.
Ich habe auf meinem MacBook Air M2 16GB bereits qwen2.5:3b und qwen3:8b getestet. Die Benennung und Verschlagwortung von Dokumenten klappt damit schon ganz gut, dauert aber auch ein bisschen (zu lange).
Der Chat mit den Dokumenten ist fast nicht zu gebrauchen weil die Antworten mehrere Minuten brauchen.
Ich habe z.B. gefragt "Gib mir alle Versicherungsnummern meiner laufenden Verträge" oder "Wann war die Sanierung der Fenster?".
An Anforderung würde mir schon reichen wenn diese Use Cases in angenehmer Zeit bearbeitet werden können.

Ich mag mich wiederholen, aber ich halte es immer noch für Kosten/Nutzen effizienter ein cloud ai model zu nutzen (sofern halt möglich) und dafür ein günstigeren Mac als Server zu nutzen. Das geht nicht in allen Fällen aber ich würde die Rechnung auf jeden Fall mal aufstellen.

Den Cloud-Modellen möchte ich in diesem Fall allerdings keinen Zugriff auf meine Dokumente geben - deshalb lokal.
Sonst sicher berechtige Überlegung.

Vor einiger Zeit stand ich vor einer ähnlichen Entscheidung. Dabei habe ich mich an die gewandt, die sich damit auskennen sollten: ChatGPT und Claude. Ich bin bei meinem MacBook Pro mit M4 (ohne pro und max) und 24 GB RAM geblieben. Mit Hilfe der beiden o. g. KIs konnte ich damit ein zufriedenstellendes und auch noch mobiles System aufbauen:
Software:
• LM Studio
• AnythingLLM
• Bionic.
KIs in LM Studio (AnythingLLM und Bionic greifen darauf zu):
• GPT OSS 20B (für allgemeine Chats)
• Gemma 4 26B A4B QAT (für allgemeine Chats - läuft gerade so, wenn sonst nichts läuft)
• Gemma 4 12B QAT (für Chats im RAG-System - Gemma 4 26B ist dafür zu groß)
• Gemma embedding 300m QAT (für Text Embedding im RAG-System).
RAG-System wird hauptsächlich unter AnythingLLM eingerichtet. Meines umfasst ca. 7 GB an Dokumenten (hauptsächlich Office und PDF) in thematischen Workspaces unter AnythingLLM. Das Finetuning habe ich ausschließlich mit Claude eingerichtet. Claude hat alle Einstellungen u. a. am Terminal getestet und schrittweise angepasst. Natürlich nicht von sich aus. Die Befehle musste ich eingeben und die Ergebnisse dann hochladen. Ich kann nicht sagen, dass ich alles verstanden haben. Aber es funktioniert für mich.
Bionic habe ich noch nicht ausprobiert, aber damit sollen dann wohl Agents funktionieren.
Eines noch: ich kannte mich mit lokalen KIs überhaupt nicht aus und habe eigentlich ChatGPT nach Literaturempfehlungen gefragt. Statt Selbststudium hat ChatGPT "einfach machen" empfohlen, dabei lernt man es am besten.
Fazit: KI-fachliche Unterstützung mit ChatGPT und Claude in kostenlosen Accounts. Arbeit mit meinen Dokumenten mit beschriebenem lokalem System.

Du solltest über dein Budget Klarheit haben -- dann kaufe einfach das beste, was du dafür bekommst.
Mein Ratschlag: RAM ist durch nichts zu ersetzen (es sei denn durch noch mehr RAM). Wenn das Budget knirscht oder am Anschlag ist, nehme besser einen langsameren Prozessor und dafür mehr RAM. Damit kannst Du immerhin das ins Auge gefassten LLM komplett im Speicher halten und hast damit einen wichtigen Flaschenhals beseitigt.
Also beispielsweise lieber einen Mac mini M6 mit 32GB RAM als einen mit M5pro mit 24GB. Letzterer hat zwar einen höheren Speicherdurchsatz, klemmt aber mit weniger RAM.
Besser noch: Spiele Lotto und baue den Mac Studio mit M5 Ultra komplett aus. Warte aber ab, bis Ende Oktober 512 GB RAM erhältlich sind…

@Huba
ich würde auch noch "Festplatte" mit einrechnen, nachdem die Modelle auch gross sind, und man ja auch mal was testen will, und zudem der Mini auch als Server fungieren soll, ist 1TB eigentlich schon ratsam.