Dr Bartosz Naskręcki, źródło: Uniwersytet im. Adama Mickiewicza w Poznaniu
W ramach inicjatywy FrontierMath naukowcy opracowali narzędzie do oceny systemów sztucznej inteligencji (AI), zestawiając serię pytań, na które żaden matematyk nie jest w stanie samodzielnie odpowiedzieć. Dr Bartosz Naskręcki, zaangażowany w projekt, skondensował 15 lat pracy naukowej w jeden problem. Obecnie AI rozwiązuje zaledwie kilka z tych zadań.
W ostatnich miesiącach czołowe laboratoria sztucznej inteligencji, takie jak Google DeepMind i OpenAI, wprowadziły modele, które bez trudu radzą sobie z zadaniami matematycznymi na poziomie matury. To sprawiło, że dotychczasowe testy sprawdzające sprawność matematyczną stały się przestarzałe, co wymusiło znacznie bardziej rygorystyczny test dla dużych modeli językowych. W rezultacie powstał FrontierMath, współtworzony przez dr. Naskręckiego z Uniwersytetu Adama Mickiewicza.
Projekt, organizowany przez Epoch AI, charakteryzuje się wieloma poziomami trudności. Dr Naskręcki przyczynił się do powstania poziomu 4, najwyższego poziomu złożoności. Istniejące systemy AI są obecnie w stanie rozwiązać zaledwie cztery z 50 problemów obejmujących pięć dyscyplin matematycznych na tym poziomie.
„Moim zadaniem było zaprojektowanie problemu wymagającego ekstremalnie dużej liczby odpowiedzi, uniemożliwiającej przypadkowe zgadywanie przez sztuczną inteligencję. Włożyłem w stworzenie tego wyzwania całą swoją wiedzę akademicką, zdobytą przez lata badań” – powiedział matematyk PAP.
Wyjaśnił, że jego zadanie polegało na wymyślaniu zupełnie nowych problemów, których rozwiązania nie były dostępne online. „W zasadzie to moja nieopublikowana praca naukowa. Formalne rozwiązanie zajęło 13 stron intensywnej notacji matematycznej” – zauważył dr Naskręcki.
Każdy z 50 problemów charakteryzuje się tym niezwykłym poziomem trudności. Według badacza, nawet specjaliści z tytułem doktora w odpowiednich dziedzinach potrzebowaliby co najmniej miesiąca na opracowanie potencjalnych strategii rozwiązań.
„Wątpię, żeby jakikolwiek matematyk na świecie był w stanie rozwiązać wszystkie problemy zawarte w tym zbiorze” – stwierdził.
Proces tworzenia tego „ostatecznego egzaminu” obejmował dwudniowe spotkanie trzydziestu międzynarodowych ekspertów w Berkeley. Zorganizowani w wyspecjalizowane grupy zajmujące się różnymi dziedzinami matematyki, początkowo anonimowo testowali prototypowe pytania dotyczące najlepszych modeli sztucznej inteligencji. Później udoskonalali te problemy, aby zwiększyć ich złożoność. Liczne propozycje zostały odrzucone po tym, jak modele rozwiązały je zbyt skutecznie, co zaowocowało 50 wyjątkowo trudnymi wyzwaniami.
Obecnie programiści AI mogą oceniać swoje modele za pośrednictwem infrastruktury Epoch AI w standardowych warunkach. Każdy testowany model działa w ramach predefiniowanych ograniczeń – takich jak trzy godziny na problem i limit zużycia miliona tokenów (podstawowych jednostek tekstowych używanych przez AI do przetwarzania informacji).
Jak dotąd modele o szczytowej wydajności rozwiązują zaledwie ułamek tych zadań. Jednak dr Naskręcki prognozuje, że w ciągu dwóch do trzech lat sztuczna inteligencja może „opanować” ten test, rozwiązując poprawnie większość pytań. „Oznaczałoby to posiadanie prawdziwie sprawnej matematycznie sztucznej inteligencji” – zauważył.
Podkreślił istotne ograniczenie: choć sztuczna inteligencja osiąga sukcesy w innowacyjnym łączeniu istniejącej wiedzy, nie jest w stanie tworzyć nowych koncepcji. „Obecne systemy nie rozwiążą nierozwiązanych hipotez, takich jak hipoteza Riemanna. Jeśli pokonają nasze problemy, ostatecznym celem matematyków będzie opracowanie radykalnie nowych ram teoretycznych” – zauważył uczony.
Badacz postrzega rozwój sztucznej inteligencji jako „taran wymagający rewolucyjnych zmian” w podejściu do systemów pracy i nauki.
„Musimy porzucić przestarzałe modele edukacyjne, których celem jest wykształcenie posłusznych pracowników. Współczesne społeczeństwo potrzebuje jednostek zdolnych do samodzielnego myślenia, podejmowania ryzyka i oryginalnych innowacji” – podkreślił.
Dr Naskręcki podkreśla rosnące znaczenie „płynnej inteligencji” – kreatywnych umiejętności rozwiązywania problemów w połączeniu z przemyślanym, refleksyjnym myśleniem. Obecnie maszynom brakuje tych możliwości.
Choć kariery naukowe pozostają cenne, ich natura ewoluuje. „Matematyka powróci do swojej istoty: stawiania śmiałych pytań i opracowywania niekonwencjonalnych rozwiązań, a nie stopniowego uzupełniania istniejącej wiedzy” – przewiduje.
Badacz doszedł do wniosku, że wyjątkowość człowieka tkwi w bogactwie doświadczeń – spacerach na świeżym powietrzu, czytaniu literatury, uczestnictwie w przedstawieniach. Interdyscyplinarne spostrzeżenia wynikające z takich doświadczeń zapewniają możliwości generowania pomysłów wykraczające poza możliwości sztucznej inteligencji. Zatem największą wartością ludzkości w przyszłości może być nie perfekcyjne wykonywanie rutynowych zadań, ale formułowanie oryginalnych pytań i nowatorskich koncepcji.
Ludwik Tomal (PAP)
lt/ zan/ kosić/
