Udostępnij Źródło: Forbes
Według nowego badania, chatboty AI udzielają średnio dwa razy więcej fałszywych odpowiedzi. Modele AI Inflection, Perplexity i Meta najczęściej podają fałszywe odpowiedzi jako prawdę.
Główne tezy:
- Badanie wykazało, że chatboty wyposażone w sztuczną inteligencję zaczęły udzielać dwa razy więcej fałszywych odpowiedzi.
- Największe zagrożenia wynikające z niepewnych informacji pochodzących od chatbotów AI zostały przedstawione w modelach Inflection, Perplexity i Meta.
- Chatbot Pi firmy Inflection okazał się największym kłamcą, podając fałszywe odpowiedzi w 57% przypadków.
Chatboty AI kłamią dwa razy częściej
W ramach analizy badacze NewsGuard przetestowali 10 „wiodących” chatbotów, wysyłając im dziesięć gotowych fałszywych twierdzeń ze świata polityki, biznesu i zdrowia i prosząc o weryfikację ich prawdziwości.
W jednej trzeciej przypadków pytania były sformułowane wprost, natomiast w pozostałych autorzy próbowali wprowadzić bota w błąd.
Efekt: w ciągu ostatniego roku odsetek fałszywych informacji w odpowiedziach wzrósł średnio prawie dwukrotnie — z 18% do 35%.
Największym kłamcą okazał się niepopularny na Ukrainie chatbot Pi, należący do startupu Inflection. W 57% przypadków udzielał fałszywych odpowiedzi.
Perplexity, jedna z najpopularniejszych wyszukiwarek opartych na sztucznej inteligencji (AI), odnotowała wzrost wskaźnika z 0% do 47%. Niewiele gorzej radził sobie ChatGPT, którego model AI OpenAI mylił się w 40% przypadków. Claude z Anthropic i Gemini z Google były najmniej „błędnie poinformowane” – odpowiednio 10% i 17% przypadków.
Eksperci przypisują wzrost liczby błędów temu, że chatboty nie odmawiają już odpowiedzi na pytania, nawet bez wystarczającej weryfikacji informacji. Jednocześnie w zeszłym roku odmówiły odpowiedzi w około jednym na trzy przypadki.
Udział
Przyczyną jest, zdaniem badaczy, zmiana sposobu szkolenia narzędzi sztucznej inteligencji. Zamiast odwoływać się do bazy danych, jak to miało miejsce wcześniej, sieci neuronowe pobierają teraz dane z internetu w czasie rzeczywistym, ale obecność odniesień nie gwarantuje jakości i wiarygodności źródeł, do których odwołują się modele.
Na początku tego roku NewsGuard odkrył, że ChatGPT, Perplexity i inne wiodące chatboty wzmacniały działania dezinformacyjne Moskwy, powtarzając prokremlowską propagandę w 33% przypadków.
Badania firmy Giskard, opracowującej holistyczny benchmark dla modeli sztucznej inteligencji, wykazały, że chatboty częściej kłamią, gdy są proszone o krótkie odpowiedzi. Kiedy sieć neuronowa jest zmuszona do udzielania krótkich odpowiedzi, konsekwentnie wybiera zwięzłość zamiast dokładności.
