Prywatność danych i AI: Nowy materiał. Analiza uruchamiania modeli LLM lokalnie.

Na kanale AdminAkademia opublikowano nowy, obszerny materiał wideo, który koncentruje się na uruchamianiu modeli sztucznej inteligencji (LLM) na sprzęcie lokalnym. Główny nacisk położono na kwestie prywatności i bezpieczeństwa danych.

Zgodnie z materiałem, kluczowym problemem modeli chmurowych (jak ChatGPT, Gemini) jest to, że wszelkie dane, które do nich wysyłamy, muszą być traktowane jako potencjalnie publiczne. Dla zastosowań biznesowych stanowi to poważne ryzyko.

Kluczowe zagadnienia z materiału:

1. Po co uruchamiać AI lokalnie?

Głównym motywatorem jest pełna kontrola nad danymi. Informacje (np. firmowe, prywatne) przetwarzane są wyłącznie na maszynie użytkownika i nigdy jej nie opuszczają.

W filmie przytoczono przykład wdrożenia w Santander Consumer Bank, gdzie lokalny model AI został wytrenowany do obsługi korespondencji mailowej. Pozwoliło to na automatyzację i wsparcie pracowników przy jednoczesnym zachowaniu pełnej poufności danych bankowych.

2. Sprzęt: Problem VRAM i rozwiązanie AMD

Uruchamianie modeli LLM jest zasobożerne. Chociaż można je uruchomić na CPU, działają wtedy bardzo wolno. Standardowe karty graficzne (GPU) są znacznie szybsze, ale ich głównym ograniczeniem jest ilość pamięci VRAM. Duże modele po prostu się w niej nie mieszczą.

W materiale szczegółowo zaprezentowano mini PC GMKTEC EVO X2 , wyposażony w procesor AMD Ryzen AI 9 395. Jego kluczową cechą jest możliwość współdzielenia systemowej pamięci RAM ze zintegrowaną kartą graficzną.

Dzięki temu, w konfiguracji ze 128 GB RAM, możliwe jest przydzielenie aż 96 GB pamięci bezpośrednio dla GPU, co zostało pokazane w ustawieniach BIOS/UEFI (opcja UMA frame buffer size). Rozwiązuje to największy problem VRAM, który występuje w konsumenckich kartach graficznych.

3. Oprogramowanie: Ollama

Jako platformę do uruchamiania modeli wybrano oprogramowanie Ollama. Jest to popularne, open-source’owe narzędzie, które upraszcza proces pobierania i zarządzania modelami.

Instalacja: Proces instalacji na Windows jest pokazany jako bardzo prosty.

Dostęp sieciowy (API): Ollama można łatwo skonfigurować, aby “wystawiała” API w sieci lokalnej, co umożliwia łączenie się z modelami z innych aplikacji (np. n8n).

Modele: Pokazano pobieranie różnych modeli (GPT-OSS, DeepSeek, Llama) za pomocą poleceń ollama pull oraz ollama run. Zwrócono także uwagę na dostępność polskiego modelu Bielik.

4. Konfiguracja na Windows (Automatyczny start)

Istotną uwagą praktyczną jest fakt, że Ollama domyślnie nie uruchamia się automatycznie wraz ze startem systemu Windows.

Aby rozwiązać ten problem, w materiale zaprezentowano skrypt PowerShell, który automatycznie tworzy odpowiednie zadanie w Harmonogramie Zadań Windows. Pozwala to na uruchomienie usługi Ollama w tle, zaraz po starcie komputera, jeszcze przed zalogowaniem użytkownika.

Źródła: AdminAkademia (YouTube) / Opublikowane skrypty (GitHub)