Uruchom prywatny czat AI z otwartymi modelami przez Ollama i Open WebUI bez internetu

Postaw na własnym laptopie lub serwerze biurowym wygodny interfejs przypominający ChatGPT, w którym żaden bajt dokumentu nie opuszcza Twojego dysku.

Jak uruchomić lokalny stos AI wygodny i faktycznie odizolowany od sieci

  1. 01

    Wybierz odpowiednie narzędzie: LM Studio dla jednego użytkownika lub Ollama + Open WebUI dla biura

    Jeśli szukasz jednego instalatora dwuklikowego na własnego laptopa, LM Studio lub Jan działają od ręki po wyjęciu z pudełka; duet Ollama + Open WebUI wygrywa jako stała usługa przeglądarkowa z kontami użytkowników w sieci lokalnej.

  2. 02

    Zwiększ domyślne okno kontekstu (`num_ctx`) w Ollama powyżej standardowych 2048/4096 tokenów

    To najczęstsza pułapka początkujących: Ollama domyślnie uruchamia wiele modeli z małym kontekstem i po cichu obcina początek wgranego dokumentu! Zapisz własny Modelfile z `PARAMETER num_ctx 16384` lub `32768` adekwatnie do pamięci VRAM.

  3. 03

    Skonfiguruj lokalny model embeddingów do przeszukiwania własnych plików

    W ustawieniach Dokumentów w Open WebUI przełącz silnik wektoryzacji na wielojęzyczny model lokalny (np. `bge-m3`), aby przy wgrywaniu PDF-ów nic nie odpytywało zewnętrznego API.

  4. 04

    Zamknij gniazdo nasłuchiwania na `127.0.0.1` lub wewnętrzny VLAN z uwierzytelnieniem

    Nigdy nie wystawiaj portu `11434` usługi Ollama bezpośrednio na publiczny adres IP bez hasła — tysiące niezabezpieczonych serwerów w sieci jest codziennie skanowanych przez boty.

Przykład działania

Cel: prywatny asystent dokumentowy na stacji z RTX 4070 (12 GB VRAM) i 32 GB RAM

Potrzeba: płynna praca po polsku (25–45 tokenów/s), okno kontekstowe mieszczące 20-stronicową umowę oraz wyszukiwanie w lokalnych plikach całkowicie offline.

Gotowy zestaw parametrów wdrożeniowych

1. Backend: Ollama (`OLLAMA_HOST=127.0.0.1:11434`, `OLLAMA_FLASH_ATTENTION=1`, `OLLAMA_KV_CACHE_TYPE=q8_0` dla mniejszego zużycia VRAM przez długi kontekst). 2. Modele pobrane lokalnie: `SpeakLeash/bielik-11b-v2.3-instruct:Q5_K_M` (polszczyzna) + `qwen2.5:14b-instruct-q4_K_M` (tabele/kod) + `bge-m3` (RAG). 3. Interfejs: Open WebUI w kontenerze z flagą `ENABLE_OPENAI_API=false` i `OFFLINE_MODE=true`. 4. Parametr czatu: `num_ctx = 16384` mieszczący się w całości w 12 GB VRAM karty.

Włączenie Flash Attention i kwantyzacji pamięci KV (`q8_0`) pozwala zmieścić czterokrotnie dłuższy dokument na tej samej karcie graficznej.

Najczęściej zadawane pytania

Czy lokalny model uruchomiony na moim komputerze dorównuje gigantycznym modelom w chmurze?

Model 8B–14B działający na laptopie nie ma tak szerokiej wiedzy encyklopedycznej z pamięci jak bilionowy model chmurowy, ale przy podanym do kontekstu dokumencie świetnie go streszcza, anonimizuje, tłumaczy i wyciąga dane bez wysyłania ich w świat.

Dlaczego lokalny model nagle zaczyna odpowiadać bardzo wolno (2 słowa na sekundę)?

Oznacza to, że wagi modelu lub rozszerzony kontekst (`num_ctx`) przekroczyły pamięć VRAM karty graficznej i część warstw wylała się na znacznie wolniejszy procesor CPU i zwykły RAM — wybierz mniejszy rozmiar parametrów lub kwantyzację `Q4_K_M`.

Czy uruchomienie Ollama i Open WebUI na użytek firmowy jest bezpłatne licencyjnie?

Sama Ollama ma otwartą licencję MIT, a Open WebUI pozwala na bezpłatne wdrożenie wewnętrzne (sprawdź aktualne warunki brandingu powyżej określonej skali w licencji projektu); pamiętaj też o sprawdzeniu licencji wybranego modelu językowego.

Dowiedz się więcej

Powiązane poradniki i wyjaśnienia do tego zadania