Lokalne AI w firmie: jak uruchomić Bielika lub PLLuM na własnym serwerze GPU i kiedy to się opłaca

Lokalne AI to model językowy (LLM) uruchomiony na serwerze firmy, a nie w usłudze w chmurze. Pytania pracowników i dokumenty firmy nie opuszczają wtedy firmowej sieci. W Polsce najczęściej wybiera się polskie modele otwarte, takie jak Bielik czy PLLuM, uruchamiane narzędziami Ollama lub vLLM na serwerze z kartą GPU.
| W skrócie Lokalne AI chroni dane: nic nie trafia do zewnętrznego API.Bielik (SpeakLeash i ACK Cyfronet AGH) oraz PLLuM (konsorcjum HIVE z NASK na czele) to polskie modele, które można uruchomić u siebie.Ollama wystarcza na start i do testów. Do pracy wielu użytkowników naraz lepszy jest vLLM.Model 11B w kwantyzacji 4-bitowej zmieści się na karcie z 12 do 16 GB pamięci. Do pełnej precyzji potrzeba ok. 24 do 48 GB.Zasada kosztowa: eksperymenty i trening w chmurze, stała praca modelu (inferencja 24/7) u siebie. |
Dlaczego firmy uruchamiają AI lokalnie?
- Poufność danych. Umowy, dokumentacja techniczna, dane klientów i pracowników nie są wysyłane do zewnętrznego dostawcy. To upraszcza zgodność z RODO i tajemnicą przedsiębiorstwa.
- Przewidywalne koszty. W chmurze płaci się za każde zapytanie lub godzinę GPU. Przy stałym użyciu przez cały zespół własny serwer szybko przestaje być droższy.
- Niezależność. Model nie zniknie, nie zmieni cennika ani zasad korzystania z dnia na dzień.
- Praca offline i niskie opóźnienia. Model działa także przy awarii łącza internetowego i odpowiada szybciej w sieci lokalnej.
Zainteresowanie rośnie: w Polsce liczba wyszukiwań frazy „lokalne ai” wzrosła w ciągu roku o 600%, a „lokalny llm” o 267% (Planer słów kluczowych Google Ads, 2026). Jednocześnie według Flexera 2026 to właśnie obciążenia AI podbiły marnotrawstwo wydatków na chmurę do 29% (TechInformed).
Polskie modele językowe: Bielik i PLLuM
Bielik
Bielik to rodzina otwartych modeli rozwijana przez fundację SpeakLeash we współpracy z ACK Cyfronet AGH. Główny model ma ok. 11 mld parametrów (seria v2 i v3), są też mniejsze wersje 1,5B i 4,5B przeznaczone na słabszy sprzęt (arXiv: Bielik v3 Small). W 2026 r. opisano też wariant Bielik-R nastawiony na rozumowanie (arXiv: Bielik-R). Modele są trenowane przede wszystkim na tekstach polskich, dzięki czemu dobrze radzą sobie z językiem urzędowym, prawnym i branżowym.
PLLuM
PLLuM (Polish Large Language Universal Model) to rodzina modeli rozwijana dla Ministerstwa Cyfryzacji przez konsorcjum HIVE, którego liderem jest NASK. Udostępniono m.in. wersje z 8 i 70 mld parametrów (NASK). Od końca 2025 r. PLLuM napędza wirtualnego asystenta w aplikacji mObywatel (iMagazine).
Ważne: przed wdrożeniem komercyjnym sprawdź licencję konkretnej wersji modelu na stronie Hugging Face. Część wersji ma licencje otwarte, część ogranicza użycie komercyjne.
Ollama czy vLLM: czym uruchomić model?
| Narzędzie | Do czego | Zalety | Ograniczenia |
|---|---|---|---|
| Ollama | Start, testy, małe zespoły, stacja robocza lub pojedynczy serwer | Instalacja w kilka minut, gotowe modele, proste API | Mniejsza przepustowość przy wielu użytkownikach naraz |
| vLLM | Produkcja, wielu użytkowników, integracje z aplikacjami | Wysoka przepustowość, efektywne zarządzanie pamięcią GPU, API zgodne z OpenAI | Wymaga więcej konfiguracji i wiedzy |
| llama.cpp | Słabszy sprzęt, także bez GPU | Działa na CPU i małych kartach, modele w formacie GGUF | Wolniejsze odpowiedzi przy dużych modelach |
Typowa ścieżka: zespół testuje model w Ollamie na jednym komputerze, a gdy sprawdzi się w pracy, przenosi go na serwer z vLLM i podłącza do firmowych aplikacji, np. wyszukiwarki dokumentów (RAG).
Jaki serwer GPU do lokalnego AI?
Najważniejszym parametrem jest pamięć karty graficznej (VRAM). Orientacyjnie model potrzebuje ok. 2 GB VRAM na każdy miliard parametrów w pełnej precyzji (FP16), ok. 1 GB w 8 bitach i ok. 0,5 do 0,6 GB w kwantyzacji 4-bitowej. Do tego trzeba doliczyć 20 do 30% zapasu na kontekst rozmowy. To szacunek, realne zużycie zależy od modelu i długości kontekstu.
| Scenariusz | Model | Pamięć GPU (orientacyjnie) | Przykładowa konfiguracja |
|---|---|---|---|
| Test, jedna osoba | Bielik 4,5B lub 11B w 4 bitach | 8 do 16 GB | Stacja robocza z jedną kartą klasy konsumenckiej |
| Dział, kilkanaście osób | Bielik 11B w 8 bitach lub FP16 | 24 do 48 GB | Serwer z jedną kartą profesjonalną 48 GB |
| Cała firma, wiele integracji | Model 70B w 4 bitach (np. PLLuM 70B) | ok. 40 do 80 GB | Serwer z dwiema kartami 48 GB lub jedną 80 GB |
Poza GPU liczą się: szybki dysk NVMe na modele i dane, wystarczająca ilość RAM (zwykle co najmniej tyle, ile VRAM), zasilanie i chłodzenie. Karty profesjonalne pracujące 24/7 potrafią pobierać kilkaset watów każda, co trzeba uwzględnić w serwerowni lub w kolokacji.
Lokalnie czy w chmurze: kiedy co się opłaca?
| Sytuacja | Lepiej lokalnie | Lepiej w chmurze |
|---|---|---|
| Model działa codziennie dla całego zespołu | Tak, stały koszt sprzętu | |
| Jednorazowy trening lub duży eksperyment | Tak, wynajem wielu GPU na krótko | |
| Poufne dokumenty, dane osobowe | Tak | Tylko z umową i regionem w UE |
| Potrzebny najmocniejszy model na rynku | Tak, modele komercyjne przez API | |
| Brak zespołu IT | Tak, usługa zarządzana |
Najczęstszy kompromis to zasada „trenuj w chmurze, uruchamiaj u siebie”. Więcej o tym, kiedy przenosić obciążenia z chmury na własną infrastrukturę, w artykule o powrocie z chmury na on-premise. Ceny GPU w chmurze zmieniają się szybko, więc kalkulację rób zawsze na bieżącym cenniku.
Bezpieczeństwo lokalnego AI
- Dostęp: logowanie przez firmowe konto (np. Entra ID lub LDAP) i role, kto może pytać o jakie dokumenty.
- Dane w RAG: model widzi tylko te dokumenty, do których użytkownik ma uprawnienia.
- Logi i audyt: zapis zapytań, z poszanowaniem RODO i polityki prywatności pracowników.
- Prompt injection: dokumenty z zewnątrz mogą zawierać ukryte polecenia dla modelu. Model nie powinien mieć uprawnień do wykonywania działań bez akceptacji człowieka.
- AI Act: sprawdź, czy planowane zastosowanie nie należy do kategorii wysokiego ryzyka.
Jak SparkSome pomaga wdrożyć lokalne AI
Dobieramy sprzęt do modelu i liczby użytkowników, instalujemy i konfigurujemy środowisko (Ollama lub vLLM, kontenery, monitoring), podłączamy firmowe dokumenty z kontrolą uprawnień i dbamy o kopie zapasowe oraz bezpieczeństwo.





