Mit #7: AI rozumuje przed udzieleniem odpowiedzi

Rozumowanie ma oznaczać wiarygodność.

Najnowsza obietnica w świecie AI to modele rozumujące. Model nie podaje już po prostu odpowiedzi, ale analizuje problem krok po kroku, bardziej jak człowiek. Założenie jest proste: skoro model najpierw „myśli”, a dopiero potem odpowiada, jego odpowiedź powinna być bardziej wiarygodna.

Brzmi logicznie, bo właśnie w ten sposób oceniamy ludzi. Bardziej ufamy komuś, kto potrafi wyjaśnić, w jaki sposób doszedł do danego wniosku. W przypadku AI przekonujące wyjaśnienie nie oznacza jednak, że fakty, na których się opiera, są prawdziwe. Co więcej, rozumowanie może sprawić, że błędną odpowiedź będzie trudniej wychwycić.

Gdy rozumowanie działa w obie strony.

Spójrzmy na halucynacje. Kiedy jedno z wiodących laboratoriów AI wprowadziło swoje modele rozumujące, jego własne testy pokazały, że modele te zmyślały informacje częściej niż ich poprzednicy, na jednym z wewnętrznych benchmarków mniej więcej dwukrotnie częściej, a w przypadku mniejszego wariantu różnica była jeszcze większa. Późniejsze badania potwierdziły ten sam problem: zmuszanie modelu do bardziej rozbudowanego rozumowania może zwiększać liczbę halucynacji, zamiast ją ograniczać.

Powód jest dość prosty. Im dłuższy proces rozumowania, tym więcej okazji, żeby po drodze pojawiło się błędne lub zmyślone założenie. Gdy już się pojawi, model może dalej prowadzić całkowicie logiczny wywód, tyle że na podstawie czegoś, co od początku nie było prawdą. Dodatkowe rozumowanie nie musi więc wychwycić pierwotnego błędu. Może za to sprawić, że końcowa odpowiedź zabrzmi jeszcze bardziej wiarygodnie.

Bezpieczeństwo kodu pokazuje drugą stronę medalu. Tutaj rozumowanie rzeczywiście pomaga. Dodatkowe etapy analizy dają modelowi możliwość sprawdzenia tego, co robi, dzięki czemu modele rozumujące tworzą bezpieczniejszy kod niż modele, które nie korzystają z takiego procesu. Trzeba jednak patrzeć nie tylko na poprawę, ale również na wynik końcowy. Nawet najlepsza kategoria modeli generuje bezpieczny kod tylko w około 70% przypadków. Oznacza to, że mniej więcej co trzeci fragment kodu nadal może zawierać lukę bezpieczeństwa.

Kiedy zestawimy te dwa przykłady, obraz staje się znacznie bardziej złożony niż proste stwierdzenie, że „modele rozumujące są bardziej wiarygodne”. Rozumowanie może ograniczać niektóre rodzaje błędów, a jednocześnie zwiększać inne. Nawet tam, gdzie znacząco poprawia wyniki, poziom błędów może być nadal zbyt wysoki, aby zrezygnować z kontroli człowieka.

Logiczne, pewne siebie i błędne.

Jest jeszcze jeden problem, o którym mówi się znacznie rzadziej. Rozumowanie krok po kroku jest przekonujące. Kiedy każdy kolejny argument logicznie wynika z poprzedniego, odpowiedź sprawia wrażenie dobrze przemyślanej i uzasadnionej. Tyle że sam tok rozumowania również jest generowany przez model.

Jeśli na jednym z pierwszych etapów pojawi się zmyślony fakt, wszystko, co nastąpi później, może być całkowicie logiczne i jednocześnie prowadzić do błędnego wniosku. Wyjaśnienie sprawia więc, że odpowiedzi łatwiej zaufać, ale niekoniecznie sprawia, że rzeczywiście jest bardziej wiarygodna.

Liczy się architektura, nie model.

Dlatego uważam, że firmy poświęcają zbyt dużo czasu na dyskusje o tym, który model jest „najmądrzejszy”. Każdy model ma swoje mocne strony, a nowszy i bardziej zaawansowany nie zawsze oznacza bardziej wiarygodny. W praktyce starszy, prostszy model podłączony do właściwych danych i narzędzi może być znacznie bardziej niezawodny niż najnowszy model rozumujący, który opiera się na wiedzy zapisanej w samym modelu.

Znacznie ważniejsza jest architektura całego rozwiązania. Odpowiedzi na poniższe pytania powiedzą Ci o wiarygodności rozwiązania znacznie więcej niż nazwa modelu, który działa pod spodem.

Zapytaj, jak powstaje odpowiedź.

O to samo warto pytać dostawców rozwiązań AI. Zamiast poświęcać spotkanie na dyskusję o tym, czy korzystają z najnowszego modelu OpenAI, Anthropic czy Google, poproś ich, żeby pokazali, jak naprawdę powstaje odpowiedź: jakie dane są pobierane, z jakich narzędzi korzysta system, gdzie fakty są weryfikowane i jakie zabezpieczenia działają, zanim odpowiedź trafi do użytkownika. Dobry dostawca powinien potrafić jasno wyjaśnić tę architekturę.

Sprawdź architekturę swojego AI w bezpłatnej ocenie gotowości blueclip →