Stable Diffusion este un model de învățare profundă capabil să transforme cuvintele în imagini ciudate, distinct artificiale. Rețeaua de învățare automată rulează de obicei în cloud și poate fi instalată și pe un computer robust pentru a funcționa offline. Cu optimizări suplimentare, modelul poate fi rulat eficient și pe smartphone-uri Android.
Qualcomm a reușit să adapteze capacitățile de creare de imagini ale Stable Diffusion la un singur smartphone Android alimentat de un dispozitiv SoC Snapdragon 8 Gen 2. Este un rezultat remarcabil care, potrivit companiei din San Diego, este doar începutul pentru aplicațiile AI gestionate pe dispozitive de calcul edge. Nu este necesară nicio conexiune la internet, asigură Qualcomm.
După cum se explică pe blogul corporativ al Qualcomm, Stable Diffusion este un model de bază mare care utilizează o rețea neuronală antrenată pe o cantitate mare de date la scară. AI generativ text-to-image conține un miliard de parametri și, în mare parte, a fost „confinat” în cloud (sau pe un computer x86 tradițional echipat cu un GPU recent).
Qualcomm AI Research a folosit „optimizări full-stack AI” pentru a implementa Stable Diffusion pe un smartphone Android pentru prima dată, cel puțin cu tipul de performanță descris de companie. Full-stack AI înseamnă că Qualcomm a trebuit să adapteze aplicația, modelul rețelei neuronale, algoritmii, software-ul și chiar hardware-ul, chiar dacă unele compromisuri erau în mod clar necesare pentru a duce treaba la bun sfârșit.
În primul rând, Qualcomm a trebuit să reducă formatul de date cu precizie unică în virgulă mobilă (sau FP32) utilizat de Stable Diffusion la tipul de date INT8 cu precizie mai mică. Folosind nou-creatul său instrument de cuantificare AI Model Efficiency Toolkit (AIMET), compania a reușit să crească considerabil performanța, economisind în același timp energie și menținând precizia modelului la această precizie mai scăzută, fără a fi nevoie de o reinstruire costisitoare.
Rezultatul acestei optimizări full-stack a fost capacitatea de a rula Stable Diffusion pe un telefon, generând o imagine de 512 x 512 pixeli în mai puțin de 15 secunde pentru 20 de pași de inferență. Aceasta este cea mai rapidă inferență pe un smartphone și „comparabilă cu latența în cloud”, a declarat Qualcomm, în timp ce introducerea utilizatorului pentru promptul textual rămâne „complet neconstrâns”.
Rularea Stable Diffusion pe un telefon este doar începutul, a spus Qualcomm, deoarece capacitatea de a rula modele mari AI pe dispozitive de vârf oferă multe beneficii, cum ar fi fiabilitate, latență, confidențialitate, eficiență și cost. În plus, optimizările full-stack pentru acceleratoarele hardware bazate pe AI pot fi utilizate cu ușurință pentru alte platforme, cum ar fi laptopuri, căști XR și „practic orice alt dispozitiv alimentat de Qualcomm Technologies”.
