NVIDIA a anunțat colaborarea cu OpenAI pentru a aduce noua gamă de modele deschise gpt-oss către utilizatorii finali, ceea ce oferă acces la inteligență artificială de ultimă generație care, până de curând, era disponibilă exclusiv în centrele de date din cloud, acum cu viteze impresionante pe PC-uri și stații de lucru echipate cu GPU-uri RTX.
Această lansare marchează începutul unei noi generații de AI local, mai rapid și mai inteligent, alimentat de performanțele excepționale ale plăcilor video GeForce RTX și RTX PRO. Sunt disponibile două variante noi, concepute pentru a acoperi întregul ecosistem:
· Modelul gpt-oss-20b este optimizat pentru performanță maximă pe PC-uri cu NVIDIA RTX AI și cel puțin 16 GB VRAM, oferind până la 250 de tokeni pe secundă pe un GPU RTX 5090.
· Modelul mai mare, gpt-oss-120b, este compatibil cu stații de lucru profesionale accelerate de GPU-uri NVIDIA RTX PRO.
Antrenate pe GPU-uri NVIDIA H100, acestea sunt primele modele care oferă suport pentru precizia MXFP4 pe plăcile RTX, o tehnică ce îmbunătățește calitatea și acuratețea modelelor, fără costuri suplimentare de performanță comparativ cu metodele anterioare. Ambele modele susțin un context de până la 131.072 de tokeni, printre cele mai mari disponibile pentru inferență locală. Arhitectura se bazează pe un sistem flexibil de tip mixture-of-experts (MoE), cu capabilități avansate precum chain-of-thought, urmărirea instrucțiunilor și integrarea cu instrumente externe.
Articolul din această săptămână RTX AI Garage prezintă modalitățile prin care dezvoltatorii și pasionații de AI pot începe să utilizeze noile modele OpenAI pe GPU-urile NVIDIA RTX:
· Ollama App: Cea mai simplă cale de a testa aceste modele este prin noua aplicație Ollama, care include suport nativ pentru modelele gpt-oss, complet optimizate pentru plăcile video RTX.
· Llama.cpp: NVIDIA colaborează cu comunitatea open-source pentru a optimiza performanța pe plăcile RTX, iar printre contribuțiile recente se numără și integrarea CUDA Graphs pentru reducerea latențelor. Dezvoltatorii pot începe direct din proiectul de pe GitHub Llama.cpp
· Microsoft AI Foundry: Dezvoltatorii care folosesc Windows pot accesa modelele prin Microsoft AI Foundry Local (în versiune public preview). Este suficient să ruleze comanda Foundry model run gpt-oss-20b în terminal pentru a începe.
Jensen Huang, fondatorul și CEO-ul NVIDIA, a subliniat importanța acestei lansări:
„OpenAI a arătat lumii ce se poate construi pe baza tehnologiilor AI dezvoltate de NVIDIA, iar acum continuă să inoveze în zona software-ului open-source,” a declarat Jensen Huang. „Modelele gpt-oss oferă dezvoltatorilor de pretutindeni o fundație open-source de ultimă generație, consolidând leadershipul tehnologic al SUA în domeniul AI, totul pe cea mai vastă infrastructură de calcul AI din lume.”
