Uruchomienie modelu językowego na własnym komputerze daje prywatność, brak opłat za tokeny i działanie offline. Wymaga jednak dopasowania modelu do sprzętu — inaczej odpowiedzi będą pojawiać się słowo po słowie.
Pamięć to podstawa
Model musi zmieścić się w pamięci karty graficznej lub w pamięci zunifikowanej. Kwantyzacja do 4 bitów zmniejsza rozmiar kilkukrotnie kosztem niewielkiej utraty jakości.
| Model | Orientacyjna pamięć przy 4 bitach |
|---|---|
| 7–8 mld parametrów | ok. 5–6 GB |
| 13–14 mld | ok. 9–10 GB |
| 30–34 mld | ok. 20 GB |
| 70 mld | ok. 40 GB |
Do tego dochodzi pamięć na kontekst — im dłuższa rozmowa lub dokument, tym więcej.
Przepustowość pamięci
Szybkość generowania tokenów zależy głównie od tego, jak szybko procesor lub GPU czyta wagi modelu z pamięci. Dlatego laptopy z pamięcią zunifikowaną o wysokiej przepustowości radzą sobie zaskakująco dobrze, a zwykły laptop z DDR5 będzie wyraźnie wolniejszy.
Zasada kciuka
Jeśli model ledwo mieści się w pamięci, wybierz mniejszy lub mocniej skwantyzowany. Płynna praca z mniejszym modelem daje więcej niż męczenie się z dużym.
Narzędzia
- Ollama — prosta instalacja i biblioteka modeli.
- llama.cpp — wydajny silnik, wiele opcji kwantyzacji.
- LM Studio — wygodny interfejs graficzny.
Do czego się nadaje
Lokalne modele świetnie sprawdzają się w streszczaniu dokumentów, pisaniu szkiców, analizie kodu i pracy z danymi wrażliwymi. Gorzej radzą sobie z zadaniami wymagającymi aktualnej wiedzy lub bardzo złożonego rozumowania.
Polski język
Nie wszystkie otwarte modele dobrze piszą po polsku. Warto testować kilka modeli na własnych przykładach, zwracając uwagę na odmianę i naturalność zdań.



