Cercetătorii de la laboratorul de învățare automată OpenAI au descoperit că sistemul lor de viziune computerizat de ultimă generație poate fi înșelat de instrumente nu mai sofisticate decât un stilou și un tampon. Așa cum se ilustrează în imaginea de mai sus, simpla notare a unui obiect și lipirea acestuia pe altul poate fi suficientă pentru a păcăli software-ul să identifice greșit ceea ce vede.
„Ne referim la aceste atacuri ca fiind tipografic atacuri”, Scriu cercetătorii OpenAI într-o postare pe blog. „Prin exploatarea capacității modelului de a citi textul în mod robust, constatăm că chiar și fotografiile cu text scris de mână pot păcăli adesea modelul.” Ei observă că astfel de atacuri sunt similare cu „imaginile contradictorii” care pot păcăli sistemele comerciale de vizionare automată, dar mult mai simplu de produs.
Imaginile contradictorii prezintă un pericol real pentru sistemele care se bazează pe viziunea automată. Cercetătorii au arătat, de exemplu, că pot păcăli software-ul în mașinile cu conducere automată ale Tesla pentru a schimba banda fără avertizare, pur și simplu plasând anumite autocolante pe drum. Astfel de atacuri reprezintă o amenințare serioasă pentru o varietate de aplicații AI, de la cele medicale la cele militare.
Dar pericolul pe care îl reprezintă acest atac specific nu este, cel puțin deocamdată, nimic de îngrijorat. Software-ul OpenAI în cauză este un sistem experimental numit CLIP care nu este implementat în niciun produs comercial. Într-adevăr, însăși natura arhitecturii neobișnuite de învățare automată a CLIP a creat slăbiciunea care permite acestui atac să aibă succes.
CLIP este destinat să exploreze modul în care sistemele AI ar putea învăța să identifice obiecte fără supraveghere atentă, antrenându-se pe baze de date imense de perechi de imagini și texte. În acest caz, OpenAI a folosit aproximativ 400 de milioane de perechi imagine-text extrase de pe internet pentru a instrui CLIP, care a fost dezvăluit în ianuarie.
Luna aceasta, cercetătorii OpenAI au publicat o nouă lucrare care descrie modul în care au deschis CLIP pentru a vedea cum funcționează. Au descoperit ceea ce numesc „neuroni multimodali” – componente individuale din rețeaua de învățare automată care răspund nu numai imaginilor obiectelor, ci și schițelor, desenelor animate și textului asociat. Unul dintre motivele pentru care acest lucru este interesant este că pare să reflecte modul în care creierul uman reacționează la stimuli, unde celulele creierului unic au fost observate răspunzând mai degrabă la concepte abstracte decât la exemple specifice. Cercetările OpenAI sugerează că ar putea fi posibil ca sistemele de IA să internalizeze astfel de cunoștințe la fel ca oamenii.
În viitor, acest lucru ar putea duce la sisteme de viziune mai sofisticate, dar în acest moment, astfel de abordări sunt la început. În timp ce orice ființă umană vă poate spune diferența dintre un măr și o bucată de hârtie cu cuvântul „măr” scris pe el, un software precum CLIP nu poate. Aceeași abilitate care permite programului să lege cuvinte și imagini la un nivel abstract creează această slăbiciune unică, pe care OpenAI o descrie ca „eroarea abstractizării”.
Un alt exemplu dat de laborator este neuronul din CLIP care identifică pușculițele. Această componentă nu răspunde doar la fotografiile cu pușculițe, ci și șiruri de semne de dolar. La fel ca în exemplul de mai sus, asta înseamnă că poți păcăli CLIP să identifice o ferăstrău cu lanț ca o pușculiță dacă îl suprapui cu șiruri „$$$”, de parcă ar fi la jumătate de preț la magazinul tău de hardware local.
Cercetătorii au descoperit, de asemenea, că neuronii multimodali ai CLIP au codificat exact genul de prejudecăți pe care v-ați putea aștepta să le găsiți atunci când vă procurați datele de pe internet. Ei observă că neuronul „Orientului Mijlociu” este, de asemenea, asociat cu terorismul și a descoperit „un neuron care se declanșează atât pentru persoanele cu pielea închisă, cât și pentru gorile”. Acest lucru reproduce o eroare infamă în sistemul de recunoaștere a imaginilor Google, care eticheta oamenii negri drept gorile. Este încă un alt exemplu de cât de diferită este inteligența mașinii de cea a oamenilor – și de ce este necesară separarea celei dintâi pentru a înțelege cum funcționează înainte de a ne încrede viața în AI.
