Stable Diffusion 3.5 este una dintre cele mai folosite modele de generare de imagini și este capabil să transforme limbaj natural în vizualuri fotorealiste.
Săptămâna aceasta în RTX AI Garage aruncăm o privire asupra modului în care NVIDIA și Stability AI au lucrat împreună pentru a face SD3.5 mai rapid, mai ușor și mai accesibil pe PC-urile și stațiile de lucru alimentate de RTX. Prin cuantizarea modelului la FP8 folosind NVIDIA TernsorRT, SD3.5 Large necesită acum doar aproximativ doar ~11GB de VRAM – o reducere de 40% – și rulează de până la 2,3x mai rapid prin comparație cu BF16 PyTorch. Acest lucru deblochează sporul de performanță locală pentru o gamă mai largă de sisteme.
Printre noutăți se numără:
- Cerințe de VRAM mai mici: Stable Diffusion 3.5 Large necesită acum doar 11GB de VRAM, ceea ce îl face mai practic pentru multe alte laptopuri sau desktopuri.
- Performanță mai rapidă: Accelerarea TensorRT dublează sau aproape dublează viteza de inferență pentru modelele Large și Medium
- Optimizat pentru cele mai noi GPU-uri RTX: GeForce RTX seria 40 și 50, precum și RTX PRO, atât cu arhitectura Ada, cât și Blackwell sunt acum echipate și mai bine pentru a gestiona aceste modele datorită nucleelor Tensor upgraded.
- Noul SDK TensorRT pentru RTX: SDK-ul de sine stătător este acum disponibil, cu o dimensiune de instalare de 8 ori mai mică și just-in-time (JIT) engine building pentru lansare mai ușoară.
Dezvoltatorii pot încerca acum noul SDK prin NVIDIA Developer sau Windows ML preview. Modelele optimizate sunt de asemenea disponibile pe Stability AI’s Hugging Face. NVIDIA și Stability AI vor lansa SD3.5 sub formă de microserviciu NVIDIA NIM în iulie, cee ace va simplifica și mai mult lansarea pentru dezvoltatori de servicii și furnizori de servicii.
