Moin,

ich bin am Überlegen, mir einen Mac zu holen, der nichts weiter tut als ein LLM lim LAN aufen zu lassen (für diverse Automatisierungsaufgaben).

Da ich online zu wenig dazu finden konnte, habe ich eine Bitte an Euch:
Hat jemand von euch einen Mac mini m4 Pro oder einen Mac Studio M4 Max mit mindestens 32 GB und könnte einen Performancetest machen?
Da LLMs neben der GPU auch stark mit RAM-Geschwindigkeit skalieren, würde mich vor allem interessieren, wie der M4 Pro im Vergleich zum M4 Max (oder zu meinem M1 Max) abschneidet.

Falls Ihr Lust habt: Die Installation ist recht leicht.
- Installiert die aktuelle Version vom
- Ladet im LM Studio das Modell qwen/qwen3-vl-30b
- Startet das Modell und gebt folgenden Prompt in das Textfeld:
Könnt Ihr mir die Geschwindigkeit hier als Antwort posten?
Mich interessiert folgender Wert unter der Antwort: z.B. "43.86 tok/sec • 3269 tokens • 3.47s to first token"
und natürlich die genauen Spezifikationen eures Macs (Prozessor, Anzahl Kerne/GPUs und RAM)

Gerne auch mit anderen M-Macs.
Mindestens 24GB RAM (möglichst 20GB frei) muss er allerdings haben, sonst läuft das Modell nicht.

Ich werde hier auch bald eine Anleitung posten, wie man mit Hilfe von Apples Shortcut und LM Studio komplett lokal seine Dateien via Rechtsklick im Finder beschreiben (indizierbar im Finder-Kommentar) und automatisiert umbenennen kann. Für Screenshots, gescannte PDFs oder Verbesserung der Datei-Archivierung kann das vielleicht auch für euch interessant sein. Und anders als die meisten Online-Tutorials die ich dazu fand, geht das ganze ohne ChatGPT/Cloud und ist richtig gut.

Zwar nicht via LM Studio sondern Open WebUI, aber:

• Response Token/s: 48,04
• Total Tokens: 6688
• Duration: 2m 24s

MBP Pro 16" mit M4 Pro und 48GB RAM

Moin.

LM Studio & llm qwen3-vl-30b-a3b-instruct
• 95.38 tok/sec
• 2818 tokens
• 0.29s to first token

MBP Pro 16" mit M4 Max und 64GB RAM

Das hat mich jetzt aber auch inspiriert.