Running LLMs on Apple Silicon: Best Settings and Real Speeds (2026)

Local LLM2026-08-16·Topluluk talebinden derlenen içerik

Kısa cevap

Apple Silicon'da LLM hızını belirleyen tek şey bellek bant genişliğidir. O yüzden çip "gücü" değil, RAM miktarı ve bant genişliği önemlidir. 2026 itibarıyla toplulukta doğrulanmış gerçekçi rakamlar aşağıda.

Gerçek hız tablosu (topluluk ölçümleri, Ağustos 2026)

Cihaz	Bellek	Model (quant)	Üretim hızı	Not
Mac Mini M4 Pro	64GB	27B Q4_K_M	~15-25 tok/s	En iyi watt/token; sessiz
Mac Studio M4 Max	128GB	70B Q4_K_M	~8-14 tok/s	70B'yi tam bellekte tutar
Mac Studio M3 Ultra	192GB	120B+ Q4	~5-8 tok/s	Büyük modeller için tek makul seçenek
MacBook Pro M4 Pro	48GB	27B Q4	~12-20 tok/s	Taşınabilir; 48GB'ta 27B rahat

Hızı artıran 5 ayar (llama.cpp)

KV cache quant: --cache-type-k q8_0 --cache-type-v q8_0 — hız kaybı neredeyse yok, bellek yarıya iner.
MTP draft (--spec-type draft-mtp): toplulukta %45-73 kabul oranı ölçüldü; üretim hızını gözle görülür artırır.
Doğru quant: 27B için Q4_K_M; 70B için Q4_K_M veya IQ4_XS; bellek varsa Q5_K_M kaliteyi belirgin iyileştirir.
Metal optimizasyonu: -ngl 999 ile her şeyi GPU'ya al; --flash-attn büyük bağlamlarda şart.
Bağlam disiplini: 32K bağlam 8K'nın ~4 katı işlem demektir; gereksiz bağlam = boşa harcanan bant genişliği.

MLX mi llama.cpp mi?

MLX (Apple ekosistemi): kurulumu kolay, Apple öncelikli optimizasyonlar; nicelenmiş modelleri hazır indirilir. Başlangıç için ideal.
llama.cpp: daha çok ayar, en iyi uç performans; MTP draft gibi yeni özellikler önce burada.
İkisi de aynı donanımda birbirine yakın hız verir; fark ayar derinliğindedir.

Hangi Mac'i almalı?

Sadece 27B-32B çalıştıracaksan: Mac Mini M4 Pro 64GB — fiyat/performans kralı.
70B'ye çıkmak istiyorsan: M4 Max 128GB (Studio).
120B+ deneysel işler: M3 Ultra 192GB — pahalı ama tek seçenek.

Bütçe daha mı kısıtlı? Mac dışı yollar için Qwen 27B'yi ucuza çalıştırma rehberimize bakın — kullanılmış RTX 3090 ve Ryzen AI Max mini PC'ler çoğu senaryoda daha hızlıdır.