Blogul NVIDIA dedicat AI-ului local dă startul unei zile pline de noutăți despre AI local.
Prima veste importantă este dedicată dezvoltatorilor și pasionaților de AI care doresc să creeze agenți AI privați, disponibili permanent și care rulează local pe PC-uri NVIDIA RTX și DGX Spark.
NVIDIA a anunțat Nemotron 3.5 Lightning, un model open, personalizabil, conceput pentru sarcini agentice specializate și rapide, care poate rula local pe PC-uri NVIDIA RTX și DGX Spark. Acesta este însoțit de NeMo Switchyard, o bibliotecă open source de rutare care îi ajută pe dezvoltatori să găsească echilibrul potrivit între acuratețe, viteză și cost atunci când folosesc mai multe modele.
Nemotron 3.5 Lightning oferă o generare a tokenilor de până la 4 ori mai rapidă și un timp până la finalizare cu 30% mai scurt decât alte modele din aceeași categorie. Greutățile disponibile în mod deschis permit utilizatorilor să ajusteze modelul folosind propriile exemple pentru experiențe locale personalizate, de la asistenți pentru e-mail și calendar, la agenți pentru locuințe inteligente și asistenți pentru programare care lucrează direct cu o bază locală de cod.
Noutățile continuă cu mai multe instrumente și modele open pentru dezvoltatorii și pasionații de AI care construiesc și rulează AI local:
-
Scalarea DGX Spark cu NVIDIA Sync Cluster Assistant – conectează două sau mai multe sisteme într-un cluster de mare viteză, cu funcții simplificate pentru conectarea în rețea, rutarea sarcinilor de lucru și monitorizarea stării sistemelor.
-
Mai mult de la DGX Spark – Google Chrome va fi disponibil ca versiune nativă ARM64 pentru Linux, iar noul NVIDIA Sync Resource Monitor va oferi informații în timp real și istorice despre CPU și GPU, atât pentru un singur sistem, cât și pentru un întreg cluster.
-
Rularea locală a modelului Meta Muse Glimmer – modelul open-weight de 30B este optimizat pentru agenți AI locali disponibili permanent și poate depăși 200 de tokeni pe secundă pe un NVIDIA RTX 5090.
-
Generarea locală de videoclipuri de calitate cu LTX-2.5 – modelul video open adaugă generarea multishot și editarea generativă, oferind o dublare a performanței și economii de 40% în ceea ce privește memoria pe NVIDIA RTX, DGX Spark și DGX Station.
-
Mai multe modele open accelerate de NVIDIA – inclusiv Cosmos 3 Edge, MiniMax-H3, Laguna S 2.1 de la Poolside, DeepSeek-V4-Flash, Inkling-Small de la Thinking Machines Lab, Unsloth Desktop și Wan-Animate-2
Citiți blogul actualizat NVIDIA dedicat AI-ului local pentru mai multe informații.
