Sztuczna inteligencja

Lokalny model językowy na laptopie: sprzęt, pamięć i realna wydajność

Ile RAM potrzebuje model 8B, a ile 70B? Dlaczego przepustowość pamięci jest ważniejsza niż rdzenie? Praktyczny przewodnik po uruchamianiu LLM offline.

Tekst: Iga Sowa7 min czytania

Lokalny model językowy na laptopie: sprzęt, pamięć i realna wydajność
Fot. Matthew Henry / StockSnap (CC0)

Uruchomienie modelu językowego na własnym komputerze daje prywatność, brak opłat za tokeny i działanie offline. Wymaga jednak dopasowania modelu do sprzętu — inaczej odpowiedzi będą pojawiać się słowo po słowie.

Pamięć to podstawa

Model musi zmieścić się w pamięci karty graficznej lub w pamięci zunifikowanej. Kwantyzacja do 4 bitów zmniejsza rozmiar kilkukrotnie kosztem niewielkiej utraty jakości.

ModelOrientacyjna pamięć przy 4 bitach
7–8 mld parametrówok. 5–6 GB
13–14 mldok. 9–10 GB
30–34 mldok. 20 GB
70 mldok. 40 GB

Do tego dochodzi pamięć na kontekst — im dłuższa rozmowa lub dokument, tym więcej.

Przepustowość pamięci

Szybkość generowania tokenów zależy głównie od tego, jak szybko procesor lub GPU czyta wagi modelu z pamięci. Dlatego laptopy z pamięcią zunifikowaną o wysokiej przepustowości radzą sobie zaskakująco dobrze, a zwykły laptop z DDR5 będzie wyraźnie wolniejszy.

Zasada kciuka

Jeśli model ledwo mieści się w pamięci, wybierz mniejszy lub mocniej skwantyzowany. Płynna praca z mniejszym modelem daje więcej niż męczenie się z dużym.

Narzędzia

  • Ollama — prosta instalacja i biblioteka modeli.
  • llama.cpp — wydajny silnik, wiele opcji kwantyzacji.
  • LM Studio — wygodny interfejs graficzny.

Do czego się nadaje

Lokalne modele świetnie sprawdzają się w streszczaniu dokumentów, pisaniu szkiców, analizie kodu i pracy z danymi wrażliwymi. Gorzej radzą sobie z zadaniami wymagającymi aktualnej wiedzy lub bardzo złożonego rozumowania.

Polski język

Nie wszystkie otwarte modele dobrze piszą po polsku. Warto testować kilka modeli na własnych przykładach, zwracając uwagę na odmianę i naturalność zdań.

IS
Iga Sowa

Pisze dla Nuvectro o tematach z działu sztuczna inteligencja.

Czytaj dalej