Mit #9: Projekty AI zawodzą, bo modele są za słabe

„Potrzebujemy lepszego modelu.”

Gdy projekt AI staje w miejscu, analiza przyczyn często krąży wokół technologii. Czy wybraliśmy właściwy model? Może trzeba było poczekać na kolejną wersję? A może zawiódł dostawca?

Moim zdaniem często są to jednak niewłaściwe pytania. Zanim obwinisz model, sprawdź, na czym miał pracować.

„Potrzebujemy lepszego modelu” to problem zakupowy. Rozwiązanie można zatwierdzić w następnym kwartale. „Nasze dane są rozproszone, procesy nieopisane, a za tę decyzję nikt nie odpowiada” to problem organizacyjny. Dotyczy ludzi siedzących przy stole.

Pierwsza odpowiedź prowadzi do zakupu, druga każe spojrzeć w lustro. Zespoły wybierają zakup, wdrażają nowszy model na tych samych nieprzygotowanych podstawach i ponownie ponoszą porażkę z tego samego powodu.

To po Twojej stronie praca wciąż czeka.

Spójrzmy na przyczyny wskazywane w badaniach. Badanie RAND z udziałem 65 doświadczonych praktyków AI wskazało powtarzające się źródła niepowodzeń: błędne rozumienie problemu, nieodpowiednie dane, skupienie na technologii, braki infrastruktury oraz zadania przekraczające możliwości AI.

Nie oznacza to, że jakość modelu nigdy nie ma znaczenia. RAND wprost wskazuje ograniczenia techniczne. Badanie nie obejmowało też projektów polegających wyłącznie na wykorzystaniu gotowych, wytrenowanych modeli językowych. Wyniki dają jednak liderom powód, by przyjrzeć się temu, jak zorganizowano pracę wokół technologii.

Gdy wybierasz gotowy model, duża część pracy technicznej jest już wykonana. Model został wytrenowany i przetestowany, a jego dalszy rozwój finansuje dostawca. Nie dostajesz wraz z nim dostępu do własnych danych, odpowiedzialności za decyzje ani planu wdrożenia rozwiązania do codziennej pracy.

„Lepszy model nie rozwiąże problemu decyzji, za którą nikt nie odpowiada.”

Niejasne kryteria sukcesu, nieopisane decyzje i brak sposobu oceny wyników sprawiają, że zespół nie potrafi stwierdzić, czy AI cokolwiek poprawiła. Zmiana modelu nie zastąpi odpowiedzialności za rezultat.

Tracisz więcej niż pieniądze.

Każdy kwartał dyskusji o modelach to kwartał, którego nie poświęcono na usunięcie realnych braków. Każda kolejna nieudana próba uszczupla też coś trudniejszego do odbudowania niż budżet: przekonanie ludzi, że AI w ogóle może się w tej firmie sprawdzić.

Po drugiej lub trzeciej zmianie modelu, która niczego nie poprawia, utrwala się przekonanie: „U nas AI nie działa”. Prawdziwy problem, czyli fundamenty, których nigdy nie zbudowano, pozostaje nienazwany. Tym bardziej nikt go nie rozwiązuje.

Sprawdź gotowość, zanim porównasz modele.

Wybierz decyzję, którą chcesz usprawnić. Zadaj te pytania ludziom odpowiedzialnym za jej wynik. Poproś o dowody, nie o uspokajające „tak”.

Jeśli uczciwa odpowiedź brzmi „nie”, najpierw uzupełnij te braki. Potem oceniaj modele na konkretnej decyzji, korzystając z reprezentatywnych danych i jasnych kryteriów sukcesu.

Nowszy model może poprawić wyniki. Nie zastąpi jednak przygotowania firmy do jego wykorzystania.