Dobierz rozmiar i kwantyzację modelu open-weight pod swoją kartę RTX lub Maca

Przelicz prostym wzorem, czy na Twoim sprzęcie płynnie ruszy model 7B, 14B, 32B czy 70B i zrozum różnicę między kwantyzacją Q4_K_M, Q5 a Q8.

Praktyczna matematyka pamięci dla lokalnych modeli językowych

  1. 01

    Stosuj prosty przelicznik dla popularnej kwantyzacji 4-bitowej (Q4_K_M)

    Rozmiar pliku wag w gigabajtach to w przybliżeniu `liczba miliardów parametrów × 0,65 GB`, do czego zawsze dolicz `1,5–3 GB` zapasu na bufor okna kontekstowego (KV Cache) i system.

  2. 02

    Wybieraj złoty środek kwantyzacji: Q4_K_M lub Q5_K_M zamiast Q2 lub pełnego FP16

    Większy model (np. 14B w kwantyzacji Q4_K_M zajmujący ~9 GB) jest niemal zawsze znacznie bystrzejszy językowo i logicznie niż dwukrotnie mniejszy model 7B uruchomiony w nieskompresowanym Q8/FP16!

  3. 03

    Na komputerach Apple Silicon korzystaj z formatu MLX obok GGUF

    Układy M1–M4 współdzielą szybką pamięć między CPU i GPU (domyślnie dla GPU dostępne jest ok. 70–75% całkowitego RAM-u) — natywne modele MLX potrafią działać na Macu o 20–35% szybciej.

  4. 04

    Na słabszym procesorze sprawdź nowoczesne architektury Mixture-of-Experts (MoE)

    Modele typu Qwen3-30B-A3B trzymają w pamięci RAM całą bazę wiedzy (ok. 18 GB), ale przy każdym wygenerowanym słowie aktywują ułamek parametrów (3B), dzięki czemu piszą błyskawicznie nawet bez drogiej karty RTX 4090.

Przykład działania

Trzy popularne konfiguracje sprzętowe użytkowników w Polsce

Sprzęt A: Laptop biurowy Windows, 16 GB RAM, brak dedykowanego GPU. Sprzęt B: PC z kartą NVIDIA RTX 4070 (12 GB VRAM) + 32 GB RAM. Sprzęt C: Mac Studio / Mac Mini Pro z 48–64 GB zunifikowanej pamięci.

Optymalny dobór modeli bez duszenia pamięci

- Sprzęt A (CPU 16 GB): Gemma 3 4B lub Qwen 2.5/3 7B-8B w `Q4_K_M` (~4,8 GB) z kontekstem 4k–8k -> ok. 8–14 tok/s do krótkich maili i streszczeń. - Sprzęt B (12 GB VRAM): Bielik 11B v2.3 lub Qwen 14B w `Q4_K_M` (~8,5–9 GB + 2,5 GB na kontekst 16k) -> bardzo szybkie 35–55 tok/s w pełni na GPU. - Sprzęt C (Mac 48–64 GB): modele klasy 32B / 70B (`Q4_K_M` / MLX 4-bit) lub MoE 30B-A3B z dużym oknem 32k–64k -> jakość zbliżona do chmury w pełnej prywatności.

Zawsze zostaw 2–3 GB wolnego VRAM ponad sam rozmiar pliku modelu — inaczej dłuższy dokument zrzuci obliczenia na powolny RAM.

Najczęściej zadawane pytania

Co oznacza zejście z kwantyzacji Q4_K_M do ekstremalnych wariantów Q2_K lub IQ2?

Poniżej 4 bitów na wagę następuje gwałtowna degradacja — model zaczyna gubić polskie końcówki fleksyjne, mylić fakty z przekazanego tekstu i wpadać w powtarzające się pętle słów; lepiej zejść o stopień niżej z rozmiarem modelu i zachować Q4_K_M.

Dlaczego na komputerze PC dokupienie 64 GB zwykłego RAM-u DDR4 nie zastąpi pamięci VRAM na karcie graficznej?

Przepustowość pamięci na karcie graficznej (500–1000 GB/s) jest ponad dziesięciokrotnie wyższa niż zwykłego RAM-u procesora (40–80 GB/s), a szybkość generowania każdego kolejnego tokena zależy niemal liniowo od przepustowości pamięci.

Skąd bezpiecznie pobierać zweryfikowane pliki modeli GGUF i MLX?

Pobieraj wyłącznie z oficjalnej biblioteki Ollama lub zweryfikowanych profili na Hugging Face (np. oficjalne konta twórców: SpeakLeash, Qwen, Google, Meta oraz zaufanych kwantyzatorów takich jak bartowski czy unsloth).

Dowiedz się więcej

Powiązane poradniki i wyjaśnienia do tego zadania