AI przyspiesza. Czy nadążamy z kontrolą?

Przeczytałam w ten weekend esej Daria Amodeia i zgodziłam się z nim w znacznie większym stopniu, niż się spodziewałam. Na co dzień buduję rozwiązania AI, więc trudno podejrzewać mnie o niechęć do tej technologii. Widzę, ile pracy potrafi już przejąć i jak szybko rozwijają się jej możliwości. Wierzę, że zmieni sposób działania firm. Co ważniejsze, może pomóc rozwiązać problemy w medycynie i nauce, z którymi zmagamy się od dziesięcioleci.

„W AI zaczyna mnie niepokoić dokładnie to, co tak mnie w niej fascynuje: tempo rozwoju.”

Możliwości AI rosną znacznie szybciej niż nasza zdolność do zrozumienia jej zachowania, zabezpieczenia jej przed nadużyciami i ustalenia rozsądnych zasad korzystania z niej. Niektóre scenariusze, które dotąd pojawiały się głównie w teoretycznych dyskusjach o bezpieczeństwie AI, zaczynają się urzeczywistniać.

Jeden z najbardziej wymownych przykładów pojawił się niedawno podczas testów cyberbezpieczeństwa prowadzonych przez OpenAI. Agenci AI znaleźli sposoby obejścia zabezpieczeń, które miały ich izolować. Wykorzystali luki, porozumiewali się przez niedozwolone kanały, uzyskali dostęp do internetu, a ostatecznie także do systemów zewnętrznych organizacji. Nikt nie polecił modelom włamywać się do tych systemów. Po zbadaniu incydentu OpenAI określiło go jako „sygnał ostrzegawczy”.

Warto się nad tym zatrzymać. Systemy działały w środowisku testowym, przy ograniczonych zabezpieczeniach. Nie byłoby więc uczciwe twierdzenie, że ChatGPT nagle postanowił włamać się do internetu. Ten przypadek pokazał jednak, że odpowiednio zaawansowani agenci AI potrafią znajdować rozwiązania, których twórcy nie przewidzieli. Także takie, które wykraczają poza narzucone im granice.

Dlatego argument „ludzie budują AI, więc rozumieją, jak ona działa” nie oddaje całego problemu. Badacze oczywiście znają architekturę modeli, metody ich trenowania i tworzone przez siebie systemy. Nie zawsze jednak potrafią wyjaśnić, dlaczego wytrenowany model przyjął określoną strategię, ani przewidzieć każdego jego zachowania w nowej sytuacji. AI uczy się w procesie trenowania. Nie programujemy jej krok po kroku jak tradycyjnego oprogramowania. Zrozumienie tego, co dzieje się wewnątrz coraz większych modeli, samo w sobie stało się dziedziną badań.

Gdy AI zaczyna działać

To nabiera jeszcze większego znaczenia, gdy przechodzimy od AI, która odpowiada na pytania, do AI, która podejmuje działania. Błędny akapit to jeden rodzaj problemu. Agent z dostępem do systemów, oprogramowania, danych i innych agentów to zupełnie inna skala ryzyka.

Jest też prostszy problem: celowe nadużycia. AI nie musi sama nabrać złych intencji, żeby wyrządzić poważne szkody. Człowiek może po prostu wyznaczyć jej szkodliwy cel.

Technologia, dzięki której jedna osoba wykonuje pracę całego zespołu, może równie skutecznie pomóc oszustowi lub cyberprzestępcy. Gdy AI pozwala komuś analizować miliony rekordów, rozmawiać jednocześnie z tysiącami osób albo prowadzić dziesiątki procesów, nazywamy to wzrostem produktywności. Tyle że ten sam mechanizm działa również wtedy, gdy ktoś chce wyrządzić szkodę.

Chyba właśnie to martwi mnie najbardziej. Coraz większe możliwości stają się coraz tańsze i łatwiej dostępne. Zabezpieczenia przed ich nadużywaniem rozwijają się znacznie wolniej.

Ostrzeżenia z wnętrza branży

Coraz częściej mówią o tym również ludzie pracujący w firmach, które tworzą te systemy.

W ostatnich dniach Jacob Coxon, wcześniej pracownik OpenAI, a następnie Anthropic, odszedł z Anthropic. Publicznie zarzucił czołowym firmom AI, że ścigają się w budowie systemów, nad którymi może być niezwykle trudno zapanować. Evan Hubinger, kierujący w Anthropic badaniami nad zgodnością działania AI z ludzkimi intencjami, poszedł jeszcze dalej. Powiedział, że osobiście ocenia ryzyko zagłady ludzkości wskutek działania AI w ciągu najbliższej dekady na ponad 10%.

Nie wiem, czy to ryzyko wynosi 10%, 1% czy 0,001%. Nie sądzę, żeby ktokolwiek to wiedział. Takiego prawdopodobieństwa nie da się zmierzyć w zwykły sposób. Przedstawianie tych ocen jako naukowych prognoz byłoby mylące.

Nie uważam jednak, że możemy po prostu zlekceważyć ich słowa.

To ludzie, którzy zawodowo badają zachowanie i bezpieczeństwo najbardziej zaawansowanych systemów AI. Jeśli zaczynają odchodzić z pracy lub publicznie ostrzegać przed możliwością katastrofalnych skutków, powinniśmy przynajmniej zapytać, czy wystarczająco poważnie podchodzimy do zarządzania tym ryzykiem.

Dario Amodei przedstawił podobny argument, choć z innej pozycji. Nie odchodzi z branży. Kieruje jedną z firm wyznaczających kierunek jej rozwoju. Proponuje, by między kolejnymi skokami możliwości AI zostawić dość czasu na prace nad bezpieczeństwem. Sam Altman, Elon Musk i inni publicznie poparli przynajmniej część tej argumentacji.

To dla mnie znaczące, bo presja biznesowa popycha te firmy w przeciwną stronę. Rywalizują o przewagę technologiczną, klientów, talenty i ogromne pieniądze. Żadna nie chce dobrowolnie zwolnić, gdy konkurenci wciąż przyspieszają.

Między innymi dlatego nie sądzę, żeby dobrowolne zobowiązania firm wystarczyły.

Prawo nie nadąża

Trzeba uczciwie przyznać, że rządy nie zignorowały AI. Unia Europejska przyjęła AI Act. Kalifornia wprowadziła wymogi bezpieczeństwa dla najbardziej zaawansowanych modeli, a ostatnio także ramy niezależnej oceny systemów AI przez zewnętrzne podmioty. Państwa zajmują się cyberbezpieczeństwem, przejrzystością, testowaniem modeli i innymi zabezpieczeniami.

To ważne kroki.

Problem nie sprowadza się jednak do rozbieżnych przepisów. AI oraz mechanizmy jej nadzoru i ochrony rozwijają się w zupełnie różnym tempie.

Kolejna generacja modelu może przynieść znaczny wzrost możliwości w ciągu zaledwie kilku miesięcy. Opracowanie, uzgodnienie i wdrożenie przepisów zajmuje nieraz lata. Zabezpieczenia projektujemy zwykle z myślą o znanych możliwościach i metodach ataku. Tymczasem nowy model może potrafić coś, czego nikt nie brał pod uwagę, gdy je tworzono.

Zanim państwo zrozumie nową zdolność AI na tyle, by zdecydować, czy wymaga ona regulacji, technologia może być już o krok dalej. Zanim zespoły bezpieczeństwa ochronią system przed jednym rodzajem nadużycia, bardziej zaawansowany model może umożliwić kolejny.

„Możemy utknąć w ciągłym nadrabianiu zaległości: tworzyć przepisy i zabezpieczenia dla AI, która zdążyła się już zmienić.”

To trudny problem. Samo wezwanie rządów do szybszego działania go nie rozwiąże. Prawo powstaje powoli z uzasadnionych powodów. Potrzebna jest debata i zrozumienie skutków nowych przepisów. Organy nadzoru potrzebują dowodów. Regulacje pisane w pośpiechu przez osoby, które nie rozumieją technologii, mogą przynieść własne problemy.

Szczególnie obawiam się przepisów, które podniosłyby koszt rozwijania AI tak bardzo, że na ich spełnienie stać byłoby tylko kilku światowych gigantów. Mogłoby to ograniczyć konkurencję, zahamować innowacje i jeszcze bardziej skupić władzę w rękach firm, które chcemy nadzorować.

Nie sądzę więc, że należy regulować każdy model AI, startup czy zastosowanie biznesowe w ten sam sposób. Agent uzgadniający stany magazynowe albo odpowiadający na pytania klientów nie stwarza takiego ryzyka jak model zdolny samodzielnie prowadzić zaawansowane cyberataki. Przepisy muszą tę różnicę uwzględniać.

W przypadku najbardziej zaawansowanych modeli doszliśmy jednak do momentu, w którym pewne zasady są już konieczne.

Coraz trudniej uzasadnić rezygnację z niezależnej oceny najpotężniejszych modeli. Potrzebujemy minimalnych standardów bezpieczeństwa i rzetelnych testów zdolności, które mogą zostać wykorzystane do cyberataków lub innych niebezpiecznych działań. Potrzebujemy obowiązku zgłaszania poważnych incydentów oraz instytucji publicznych z wiedzą techniczną pozwalającą zrozumieć to, co nadzorują. Im większe możliwości modelu, tym dokładniej powinien być sprawdzany.

Właśnie dlatego interesuje mnie podejście Kalifornii. Powstają tam ramy niezależnych ocen i audytów. Nie chodzi już wyłącznie o deklarację producenta, że jego system jest bezpieczny. To wydaje mi się rozsądne. Nie zgodzilibyśmy się przecież, by firma farmaceutyczna sama rozstrzygała o bezpieczeństwie swojego nowego leku albo producent samolotów był jedynym podmiotem certyfikującym własną maszynę.

Z czasem potrzebne będą również uzgodnienia międzynarodowe. AI nie zatrzymuje się na granicach. Z modelu opracowanego w jednym kraju można korzystać w innym. Cyberatak nie ominie państwa tylko dlatego, że ma ono dobre przepisy. Jeśli najbardziej zaawansowane możliwości AI zaczną zagrażać bezpieczeństwu narodowemu, zbiór niepowiązanych ze sobą regulacji krajowych nie wystarczy.

Już to przerabialiśmy

Historia zna wiele technologii, które najpierw zdobywały nowe możliwości, a dopiero później doczekały się zasad. Często wtedy, gdy ich skutki stały się już widoczne.

Samochody pojawiły się przed współczesnymi normami bezpieczeństwa. Rynki finansowe wielokrotnie tworzyły produkty, których ryzyko dla całego systemu ujawniało się dopiero podczas kryzysu. Media społecznościowe dotarły do miliardów ludzi, zanim rządy zaczęły poważnie zajmować się skutkami algorytmicznego promowania treści, dezinformacji i manipulacji.

Porównanie z technologią jądrową jest mocniejsze. Nie stawiam dzisiejszej AI na równi z bombą atomową. Warto jednak pamiętać, jak podeszliśmy do tamtej technologii. Ta sama wiedza naukowa mogła przynosić ogromne korzyści w medycynie, energetyce i badaniach, a jednocześnie służyć do budowy broni o niespotykanej wcześniej sile rażenia. Gdy stało się to jasne, trudno było bronić pomysłu, by kontrolę nad niebezpiecznymi zastosowaniami pozostawić wyłącznie dobrowolnym standardom branży.

AI również może służyć zarówno dobrym, jak i szkodliwym celom. Ta sama zdolność może przynieść zupełnie inne skutki zależnie od tego, kto ma do niej dostęp i do czego ją wykorzysta.

Być może zbyt mocno przyzwyczailiśmy się do zasady: najpierw wypuśćmy technologię na rynek, a przepisy dopasujemy później. To może się sprawdzać, gdy skutki błędów są ograniczone i odwracalne. Znacznie trudniej tego bronić, gdy rośnie skala możliwych szkód.

Nie chcę zatrzymać AI

Nie chcę, żeby strach przed tymi skutkami zatrzymał rozwój AI. Wręcz przeciwnie. Chcę, żebyśmy szeroko z niej korzystali. Żeby firmy automatyzowały pracę, na którą ludzie nie powinni poświęcać życia. Żeby naukowcy szybciej prowadzili badania, a mniejsze przedsiębiorstwa zyskały możliwości zarezerwowane dotąd dla wielkich organizacji.

Nie chodzi o to, by AI była mniej użyteczna. Chodzi o to, żeby nasza zdolność do kontrolowania jej nie pozostawała coraz dalej w tyle za tym, co potrafimy zbudować.

Rządy muszą teraz znaleźć równowagę. Nadmiar regulacji, zwłaszcza źle zaprojektowanych, może tłumić kreatywność i innowacje. Zbyt mało zasad oznacza jednak, że zdajemy się na dobrą wolę każdej firmy i każdego przyszłego twórcy AI. Nawet wtedy, gdy ogromna presja konkurencyjna skłania ich do pośpiechu.

Żadna z tych skrajności nie jest rozsądnym rozwiązaniem.

Martwi mnie, że na znalezienie właściwej drogi możemy nie mieć zbyt wiele czasu. Rozwój AI nie czeka na ustawodawców. Bezpieczeństwo nie może być czymś, o co dbamy dopiero po pojawieniu się nowej zdolności modelu lub kolejnym incydencie.

Najgorszym sposobem tworzenia zasad dla AI byłoby czekanie na katastrofę, by dopiero wtedy uznać, że należało potraktować te sygnały poważnie.