Halucynacja AI to sytuacja, w której model językowy podaje nieprawdziwą informację z pełnym przekonaniem: zmyśloną liczbę, nieistniejące źródło, błędny fakt. To nie usterka pojedynczego produktu, lecz naturalna konsekwencja sposobu działania modeli.
Model językowy przewiduje najbardziej prawdopodobny ciąg dalszy tekstu, a nie sprawdza faktów. Gdy brakuje mu danych, uzupełnia lukę czymś, co statystycznie pasuje, i brzmi przy tym równie pewnie jak wtedy, gdy ma rację. Znane przypadki to zmyślone orzeczenia sądowe w pismach prawników czy nieistniejące publikacje w bibliografiach.
Halucynacje da się ograniczać, choć nie wyeliminować: RAG każe modelowi odpowiadać ze wskazanych źródeł, dobrze zaprojektowany prompt pozwala mu przyznać „nie wiem", a testy na realnych przypadkach wyłapują słabe punkty przed startem. W procesach o wysokiej stawce (prawo, finanse, zdrowie) ostatnie słowo należy do człowieka.
Sygnał ostrzegawczy: wykonawca, który obiecuje wdrożenie AI „bez błędów", albo nie zna narzędzia, albo liczy na to, że Ty go nie znasz. Pracujemy z AI na co dzień i właśnie dlatego projektujemy procesy tak, by było wiadomo, kiedy model się myli.