Zdjęcie: Adobe Stock
Skala obaw dotyczących wykorzystania AI w produkcji prac naukowych staje się coraz bardziej widoczna – stwierdził Artur Strzelecki, profesor Uniwersytetu Ekonomicznego w Katowicach, w rozmowie z PAP. Natura dostarcza kolejnych przypadków nadużyć w tej dziedzinie, w tym kwestii związanych z „cichą korektą” tekstów.
Nowe przypadki ukrytego wykorzystania ChatGPT w redagowaniu artykułów naukowych zostały zgłoszone przez „Nature” (https://www.nature.com/articles/d41586-025-01180-2). Autorka artykułu, Diana Kwon, omawia identyfikację charakterystycznych fraz chatbotów w licznych publikacjach, dołączonych bez żadnego ujawnienia (bez oświadczenia dotyczącego wykorzystania ChatGPT) – co narusza integralność procesu recenzji.
„Nature” cytuje ustalenia dr. hab. Artura Strzeleckiego, profesora Uniwersytetu Ekonomicznego w Katowicach (UEK). W grudniu 2024 r. w „Learned Publishing” prof. Strzelecki szczegółowo opisał wyniki swojej analizy zasobów Google Scholar – jednego z największych repozytoriów publikacji naukowych. Wykazał, że niewykryte segmenty AI pojawiają się nawet w czasopismach o najwyższych rankingach cytowań, a niektóre z nich już otrzymują dodatkowe odniesienia, co podkreśla systemowy charakter problemu.
„Coraz bardziej oczywiste jest, że musimy prowadzić wewnętrzne szkolenia, warsztaty; musimy uświadamiać, że to tylko narzędzie” – stwierdził prof. Strzelecki.
Następnie badacz zbadał, czy „nienaturalne” frazy typowe dla ChatGPT (np. „Mam nadzieję, że to pomoże!”, „Oczywiście! Oto/są…”, „Cieszę się, że mogłem pomóc!” itd.) były obecne w artykułach naukowych w języku angielskim. Skupił się wyłącznie na tych artykułach, które nie wspominały o wykorzystaniu programu ChatGPT w ich tworzeniu.
Frazy, które pojawiły się w publikacjach z powodu zastosowania ChatGPT, obejmowały takie wyrażenia jak: „Od ostatniej aktualizacji wiedzy”, „Jako model języka AI” lub „Nie mam dostępu do czasu rzeczywistego…”. Zawartość interfejsu była często powielana w publikacjach naukowych: pod każdą odpowiedzią ChatGPT często znajdował się przycisk „regeneruj odpowiedź”, zasadniczo polecenie dla chatbota, aby poprawił swoją odpowiedź. Wielu nieuważnych badaczy nieumyślnie skopiowało odpowiedź AI wraz z jej „stopką” i nie przeczytało tekstu przesłanego wydawcy w całości.
Nieostrożne włączenie fragmentu odpowiedzi ChatGPT do artykułu naukowego pozostało niezauważone przez współautorów, recenzentów lub redaktorów czasopism. Skupiając się wyłącznie na bardziej prestiżowych, recenzowanych czasopismach naukowych z bazy Scopus (tych w pierwszym i drugim kwartylu metryki CiteScore), prof. Strzelecki zidentyfikował frazy ChatGPT w 89 artykułach.
Obecnie problem nieostrożnego korzystania ze sztucznej inteligencji powrócił z powodu „Natury”. Zespół redakcyjny zwrócił uwagę na przykład na występowanie „cichej korekty” – zmiany fraz chatbotów w już opublikowanych artykułach przez wydawców bez formalnej erraty.
„Niektóre czasopisma zaczęły niezależnie zdawać sobie sprawę, że pozwoliły na przedostanie się istotnych błędów, że nikt nie dokonał odpowiedniej recenzji tekstu: na etapie redakcji, recenzji lub korekty. „Po cichu to poprawimy i nie będzie żadnych błędów”. Mimo to kilka osób – w tym ja – zauważyło te błędy. Szybko zlokalizowałem oryginalne publikacje, które je zawierały, i zarchiwizowałem je. Mogłem wtedy zauważyć, że wydawca rzeczywiście zmodyfikował tekst, nie powiadamiając nikogo o zmianie ani jej charakterze” – skomentował prof. Strzelecki zjawisko opisane w Nature.
Nature potwierdziło również, że liczne publikacje z różnych dziedzin zawierają charakterystyczne frazy, takie jak „jako model języka AI” lub wcześniej wspomniane „regeneruj odpowiedź”, wskazujące na rolę ChatGPT w pisaniu (a raczej generowaniu) treści. Nature wskazało również na możliwość kaskady błędów — nieujawnione elementy AI są już cytowane w literaturze, co może utrwalać niezweryfikowane informacje .
„Jeśli powstają prace wykorzystujące AI i zawierają fragmenty, które na to wskazują, są one następnie cytowane przez innych badaczy, którzy uważają to, co zostało napisane, za wiarygodne informacje, nawet jeśli niekoniecznie takie są. Sztuczna inteligencja może mieć halucynacje i generować nieścisłości” – twierdzi prof. Strzelecki.
Cytowany w Nature, Alex Glynn, specjalista ds. umiejętności badawczych i komunikacji z University of Louisville w Kentucky, zauważył, że te zmiany zostały znalezione w „mniejszości czasopism”. Jednak biorąc pod uwagę, że prawdopodobnie istnieje wiele przypadków, w których autorzy stosowali AI bez pozostawiania widocznych śladów, Glynn wyraził zdziwienie „ilością tego”.
Podobnie jak Strzelecki, Glynn odkrył setki artykułów ze śladami AI. Jego internetowe narzędzie do śledzenia AI zidentyfikowało już ponad 700 artykułów. Redaktorzy Nature skontaktowali się z wydawcami niektórych z tych artykułów, w tym Springer Nature, Taylor & Francis, IEEE i innymi zidentyfikowanymi przez Glynna i Strzeleckiego. Redaktorzy wskazali, że wszystkie oznaczone artykuły są w trakcie przeglądu. Odnieśli się również do swoich zasad dotyczących AI — które nie nakazują ujawniania AI w pewnych sytuacjach (np. zmiany wprowadzone ze względów redakcyjnych lub językowych nie wymagają oznaczenia).
Prof. Strzelecki podkreślił, że świadomość dotycząca skali problemu nieostrożnego wykorzystywania AI w pisaniu publikacji naukowych rośnie wśród interesariuszy. Trwają dyskusje na temat tego, kiedy i jak autorzy i recenzenci powinni ujawniać wykorzystanie narzędzi AI. Polityka wydawców jest różna, ale wszyscy oni zgadzają się co do jednej zasady: całkowita przejrzystość jest niezbędna do utrzymania zaufania do literatury naukowej.
Coraz bardziej oczywiste staje się, że wewnętrzne szkolenia i warsztaty są konieczne; że to tylko narzędzie – stwierdził prof. Strzelecki. „Rzeczywiście, należy je stosować – ale trzeba zrozumieć, jak i w jakim celu. Na przykład uzasadnione jest wsparcie językowe dla autorów, których pierwszym językiem nie jest angielski. W ich przypadku rozsądne wydaje się wykorzystanie narzędzi AI do pomocy w gramatyce, pisowni, słownictwie itp. W takich sytuacjach duże wydawnictwa naukowe zmierzają w kierunku, w którym nie jest wymagane ujawnianie korzystania z tego typu pomocy. W tym kontekście pytanie nie brzmi: czy użyję sztucznej inteligencji?, ale: jak?” – stwierdził.
Profesor UEK zauważył, że obecnie wydawcy naukowi zmierzają w kierunku wymagania od autorów ujawnienia, czy sztuczna inteligencja została wykorzystana do analizy tekstu lub przetwarzania zebranych przez nich danych. „Wydawcy oczekują, że publikacja potwierdzi wykorzystanie narzędzia sztucznej inteligencji; lub jeszcze lepiej – określi dokładny zakres jego zastosowania” – stwierdził.
Jednocześnie zauważył, że nie da się regulować sposobu wykorzystywania sztucznej inteligencji w redagowaniu prac naukowych. „Są to praktycznie wszechobecne narzędzia, które są wykorzystywane na dużą skalę
Źródło
