Kategorie: DevOps. CI/CD, Ansible, Docker i Kubernetes, cloud , Szkolenia AI, GPT i Machine Learning
Szkolenie pokazuje, jak uruchamiać i wykorzystywać lokalne modele językowe (LLM) w środowisku organizacji – wtedy, gdy kluczowe są: kontrola nad danymi, praca w sieci odseparowanej, ograniczenia compliance lub koszty korzystania z API. Pracujemy na realnym scenariuszu: asystent/chatbot offline do dokumentów (Q&A, podsumowania) z użyciem RAG.
To szkolenie jest przeznaczone dla wszystkich którzy planują/koordynują wdrożenie AI oraz dla specjalistów/managerów IT odpowiedzialnych za strategię technologiczną i innowacje. Język i przykłady są specjalnie prowadzone tak, aby osoba nietechniczna rozumiała decyzje i kompromisy (co wybrać, jakie ryzyka oraz jak oceniać jakość przygotowanych modeli).
Forma pracy: bez „kodowania od zera” – korzystamy z gotowych klocków i konfiguracji, uruchamiamy, modyfikujemy, testujemy i omawiamy jak to przenieść do środowiska firmowego.
Uczestnik po szkoleniu:
- rozróżni, kiedy lepsza jest chmura, a kiedy lokalne LLM mają sens (dane/koszty/ryzyka),
- dobierze model pod wymagania (rozmiar, licencja, wsparcie społeczności, jakość),
- uruchomi środowisko (Ollama/Conda/Docker) i wykona benchmark CPU/GPU,
- zbuduje prosty RAG offline do dokumentów (wektorowa baza + promptowanie),
- przygotuje integrację przez FastAPI i prosty interfejs w Streamlit,
- wdroży prototyp chatbota offline end-to-end + wykona testy użyteczności i ewaluację,
- będzie miał checklisty dot. bezpieczeństwa i licencji (open-weight vs komercyjne, praca z danymi offline) + przegląd zagadnień prawnych.
Czas trwania
2 dni
Program
Dzień 1
- Moduł 1: Wprowadzenie do lokalnych LLM
- Różnice między chmurowymi a lokalnymi LLM
- Zalety kontroli nad danymi i kosztami
- Przykłady zastosowań: analiza dokumentów wewnętrznych, RAG offline
- Zagadnienia prawne (przegląd): RODO, AI Act (w ujęciu praktycznym), zasady pracy z danymi wrażliwymi
- Przegląd oferty różnych modeli on-site (open-weight i komercyjne) oraz typowe ograniczenia licencyjne
- Moduł 2: Przegląd otwartych modeli
- Ollama, Qwen, Deepseek
- Kryteria wyboru: rozmiar, licencja, wsparcie społeczności, jakość modelu (pod kątem zadań i języka)
- Moduł 3: Środowisko uruchomieniowe
- Instalacja Ollama, Miniconda, Docker
- Konfiguracja GPU/CPU; wstępne benchmarki wydajności
- Wykorzystanie bibliotek Hugging Face Accelerate
- Moduł 5: Praktyczne uruchomienie
- Pobranie i załadowanie modelu LLaMA/Deepseek
- Testy jakości generowanych tekstów; ewaluacja szybkości
Dzień 2
- Moduł 6: Prompt engineering i RAG
- Projektowanie promptów dla różnych zadań (Q&A, podsumowania)
- Budowa prostego narzędzia RAG z wektorową bazą danych
- Moduł 7: Integracja z aplikacjami
- API REST: FastAPI
- Interfejsy użytkownika: Streamlit
- Moduł 8: Skalowanie i monitoring
- Docker Compose (uruchomienie usług, podstawy utrzymania)
- Prometheus, Grafana do monitoringu zasobów
- Moduł 9: Bezpieczeństwo i licencje
- Ochrona danych w modelach offline
- Open-weight vs. modele komercyjne; aspekty prawne
- Moduł 10: Budowa chatbota offline
- Warsztat end-to-end: od promptu, przez fine-tuning, po wdrożenie
- Testy użyteczności i ewaluacja
Training also available in English .
Przeznaczenie i wymagania
Przeznaczony dla:
- Menedżerowie / liderzy / PM / analitycy: chcą rozumieć opcje lokalnego wdrożenia LLM, koszty, ryzyka, jakość i sensowność RAG do dokumentów.
- Architekci IT / admini / DevOps / MLOps / osoby wdrożeniowe: będą uruchamiać modele, integrować je i przygotowywać środowisko (instalacje, konfiguracje, monitoring).
- Bezpieczeństwo / compliance (w zakresie przeglądu): zasady pracy z danymi, podstawy licencji, checklisty „co sprawdzić”.
Certyfikaty
Uczestnicy szkolenia otrzymują imienne certyfikaty sygnowane przez ALX.