Raport o AI wycofany po ujawnieniu zmyślonych przykładów
KPMG opublikowało raport poświęcony wykorzystaniu AI w biznesie, w którym znalazły się sfabrykowane studia przypadków dotyczące m.in. UBS, NHS i innych organizacji. Nie chodzi więc o drobne nieścisłości, ale o przykłady mające uwiarygadniać tezy dokumentu, choć nie były oparte na rzeczywistych wdrożeniach opisanych w raporcie.
W ujawnieniu błędów uczestniczył Edward Tian, szef GPTZero. Zwrócił on uwagę na zjawisko określone jako „wtórne halucynacje” – sytuację, w której błędne lub zmyślone treści nie pozostają w odpowiedzi modelu, lecz trafiają do materiałów publikowanych przez instytucje cieszące się zaufaniem. W takim układzie fałszywa informacja zyskuje nowy status – zaczyna funkcjonować jak zweryfikowany fakt, bo została opakowana w formę raportu eksperckiego.
Po ujawnieniu problemu KPMG wycofało raport. Sam fakt wycofania dokumentu jest tu istotny, bo pokazuje skalę uchybienia – mówimy o materiale, który miał przekonywać klientów do wdrażania AI, a jednocześnie zawierał nieprawdziwe przykłady mające tę narrację wspierać.
Nasz komentarz: Najgroźniejsze w generatywnej AI nie są dziś same halucynacje, tylko moment, w którym instytucje przestają je wychwytywać i publikują je jako wiedzę ekspercką.
„Wtórne halucynacje” – problem nie modelu, lecz całego łańcucha zaufania
Naszym zdaniem to jeden z ważniejszych sygnałów ostrzegawczych dla rynku AI, bo pokazuje, że dyskusja o jakości modeli jest zbyt wąska. Nawet jeśli źródłem błędu jest system generatywny, realne ryzyko pojawia się dopiero wtedy, gdy treść przechodzi przez ludzi, proces redakcyjny i formalną publikację bez skutecznej weryfikacji.
W naszej ocenie pojęcie „wtórnych halucynacji” dobrze opisuje nową fazę problemu. Klasyczna halucynacja jest widoczna na poziomie odpowiedzi modelu. Wtórna halucynacja to już błąd zinstytucjonalizowany – wpisany do raportu, prezentacji albo analizy, a przez to znacznie trudniejszy do podważenia. Dla odbiorcy końcowego nie jest to już „możliwy błąd AI”, tylko rzekomy fakt potwierdzony przez autorytet.
To ma kilka konsekwencji dla świata AI:
- Zaufanie przesuwa się z modelu na proces – użytkownik nie ocenia dziś wyłącznie tego, czy model bywa zawodny, ale czy organizacja korzystająca z AI umie oddzielić generowanie treści od ich zatwierdzania.
- Problem dotyczy warstwy pośredniej – nie wystarczy mówić o bezpieczeństwie modeli. Równie ważne są procedury sprawdzania źródeł, nazw własnych i przykładów użycia.
- Rosną koszty pozornej automatyzacji – jeśli AI przyspiesza tworzenie raportów, ale jednocześnie zwiększa ryzyko publikacji zmyślonych treści, to oszczędność czasu może szybko zamienić się w koszt reputacyjny i operacyjny.
Uważamy też, że ten przypadek osłabia bardzo popularną narrację, według której AI można bez większego tarcia włączyć do produkcji wiedzy eksperckiej. Można – ale tylko wtedy, gdy człowiek nie traktuje wygenerowanego materiału jako gotowego produktu. Im bardziej formalny i opiniotwórczy dokument, tym mniej miejsca na domysły modelu i tym większa potrzeba ręcznej kontroli.
W skrócie
- Raport o AI w biznesie został wycofany po ujawnieniu zmyślonych studiów przypadków przypisanych realnym organizacjom.
- Sprawa pokazuje problem „wtórnych halucynacji” – błędów AI, które po publikacji przez zaufane instytucje zaczynają funkcjonować jak fakty.
- Naszym zdaniem kluczowe staje się już nie tylko to, jak działa model, ale czy organizacje mają realny proces weryfikacji jego outputu.
Opracowanie redakcyjne na podstawie artykułu The Decoder: https://the-decoder.com/kpmg-fabricated-ai-case-studies-in-a-report-designed-to-sell-clients-on-ai-adoption/