Zdjęcie: Adobe Stock
Dr Szymon Łukasik z NASK, ośrodka zajmującego się rozwojem modeli sztucznej inteligencji, które zostały opublikowane w lutym, poinformował PAP, że zadbaliśmy o to, aby polskie modele językowe PLLuM były bezpieczne, dostosowane do języka polskiego i „uczone” na danych pozyskiwanych legalnymi sposobami.
PLLuM (Polish Large Language Universal Model) obejmuje szereg rozbudowanych modeli języka polskiego. Te systemy sztucznej inteligencji (AI) ułatwiają generowanie tekstu i przetwarzanie języka naturalnego. Z ich pomocą interakcje z maszynami mogą przypominać rozmowę z człowiekiem, zamiast polegać na sztywnych poleceniach i mechanicznych instrukcjach.
W przeciwieństwie do komercyjnych modeli LLM (takich jak ChatGPT, Claude czy Gemini), modele PLLuM zostały zaprojektowane specjalnie dla języka polskiego, choć w szkoleniach wykorzystano również teksty z innych języków słowiańskich i bałtyckich, a także angielskiego.
„Model jest dostosowany do polskiego języka i kontekstu kulturowego. Projekt promuje polską wiedzę specjalistyczną i doskonalenie umiejętności w zakresie sztucznej inteligencji” – stwierdził uczestnik projektu dr Szymon Łukasik, profesor AGH i dyrektor Centrum Badań nad Bezpieczeństwem Sztucznej Inteligencji NASK w wywiadzie dla PAP. Centrum to ma teraz za zadanie koordynować trwające działania i wdrażać modele w administracji publicznej w ramach konsorcjum HIVE.
Badacz podkreślił znaczenie kwestii bezpieczeństwa i etyki w rozwoju AI w trakcie projektu. „Filozofia, która przyświecała tworzeniu tego modelu, miała na celu zapewnienie maksymalnej przejrzystości w zbieraniu danych. W ten sposób jesteśmy pewni, w jakich dziedzinach można wykorzystać modele zbudowane na podstawie tych danych” – wyjaśnił dr hab. Łukasik. Zauważył, że przedstawiciele projektu zabezpieczyli umowy z wydawcami i uzyskali oficjalne pozwolenia na wykorzystanie archiwów tekstów polskich.
Ekspert NASK wyjaśnił, że język polski jest klasyfikowany jako język o niskich zasobach. Wskazuje to na ograniczoną ilość danych dostępnych do opracowania modelu. Modele PLLuM przeznaczone do zastosowań komercyjnych są trenowane na około 30 miliardach tokenów (gdzie token reprezentuje segment przetworzonego tekstu, taki jak słowo lub część słowa); podczas gdy modele przeznaczone do użytku niekomercyjnego — korzystające ze znacznie większych zasobów — były trenowane na około 150 miliardach tokenów.
Ostatecznie modele PLLuM są przeznaczone do wykorzystania w administracji państwowej, co wprowadza dodatkowe obawy dotyczące bezpieczeństwa. Twórcy projektu musieli upewnić się, że model zachowuje granice w swoich odpowiedziach, zapobiegając włączaniu nielegalnych, wprowadzających w błąd lub kontrowersyjnych treści.
Do trenowania modeli wykorzystano największe repozytorium zapytań w Polsce, obejmujące 40 000 interakcji, w tym około 3500 rozszerzonych dialogów między lokalnymi trenerami a sztuczną inteligencją. Oczekuje się, że ten skrupulatny wysiłek ze strony adnotatorów sztucznej inteligencji zwiększy zdolność modelu do radzenia sobie z niuansami języka i kultury polskiej.
Twórcy PLLuM zapewniają, że jest on rozwijany zgodnie z krajowymi i unijnymi przepisami dotyczącymi sztucznej inteligencji, przy jednoczesnym zachowaniu obowiązujących standardów ochrony danych.
Modele PLLuM są dostępne bezpłatnie w formacie czatu dla wszystkich zainteresowanych użytkowników. Ministerstwo Spraw Cyfrowych wydało również 18 otwartych wersji modelu PLLuM dla deweloperów. Wszystkie zainteresowane strony mogą uzyskać dostęp zarówno do lekkich, choć mniej precyzyjnych wersji, które można pobrać na laptopa, jak i do bardziej wytrzymałych modeli, które wymagają wielu kart graficznych do zaawansowanych zastosowań, takich jak badania. W obu przypadkach możliwe jest korzystanie z modeli na własnej infrastrukturze bez konieczności wysyłania zapytań do stron zewnętrznych.
Projekt wyprodukował również generatory, konkretnie modele RAG (Retrieval Augmented Generation). Takie modele pozwalają użytkownikom wyszukiwać i analizować lokalne bazy danych oraz tworzyć wirtualnych asystentów, którzy mogą analizować własne zbiory dokumentów. Zespół PLLuM opracował najmniejszy generator tego typu (8 miliardów parametrów), który obecnie zajmuje czołowe miejsce w rankingach dla języka polskiego.
Dr Łukasik skomentował również zmianę nazwy projektu z PLLuM na HIVE. „Nasze modele są określane jako PLLuM, a ich rodzina będzie nadal ewoluować w ramach konsorcjum HIVE. Ta zmiana odzwierciedla nasz zamiar symbolizowania współpracy między licznymi badaczami, inżynierami i instytucjami funkcjonującymi jak pszczoły w ekosystemie, dzielącymi się wiedzą i zasobami (np. danymi, kodem, modelami). Jednak w przyszłości możemy chcieć wprowadzić nową rodzinę modeli pod inną nazwą. Omawiamy tę możliwość z Ministerstwem Cyfryzacji” — wskazał dr Łukasik.
Ludwik Tomal (PAP)
Nauka w Polsce
poł/ zan/ ktl/
