Săptămâna aceasta în AI Decoded vorbim despre cum Brave, un browser bazat pe confidențialitate a integrat AI accelerat RTX în cadrul browserului, oferind astfel unelte AI rapide, sigure și puternice cu Leo AI.
Cele mai importante aspecte:
- Leo AI din Brave poate rula în cloud sau local pe un PC prin Ollama
- Brave folosește plăcile video NVIDIA RTX, în special nucleele Tensor pentru accelerare AI, pe lângă suportul local LLM de la Ollama. NVIDIA lucrează pentru a optimiza unelte precum Ollama pentru hardware NVIDIA astfel încât experiențele AI pe RTX să fie mai rapide și mai fluide – până la 149 tokens pe secundă, sau aproximativ 110 cuvinte pe secundă.
- Llama.cpp este un framework și o librărie open-source. Prin intermediul CUDA – Interfața de programare a aplicațiilor software de la NVIDIA care permite dezvoltatorilor să optimizeze pentru plăcile GeForce RTX și NVIDIA RTX – oferă accelerare Tensor pentru sute de modele, inclusiv LLM-uri precum Gemma, Llama 3, Mistral sau Phi.
- Utilizatorii beneficiază de capabilități de AI locale mai rapide pentru task-uri precum sumarizarea de conținut, răspunsuri pentru întrebări și multe altele în timp ce păstrează confidențialitatea prin evitarea procesării în cloud.
Dezvoltatorii pot afla mai multe despre cum să folosească Ollama și llama.cpp în NVIDIA Technical Blog, iar mai multe detalii poți afla din blogul AI Decoded.
