Deși sunteți cu siguranță la curent cu ChatGPT și probabil știți că modelele lingvistice mari sunt utilizate pentru a antrena inteligența artificială generativă, este posibil să nu cunoașteți dimensiunea puterii de calcul necesare pentru a da viață acestor modele.
În plus, deoarece LLM-urile, cum ar fi versiunea utilizată pentru ChatGPT, sunt de obicei atât brevetate, cât și bazate pe limba engleză, acestea sunt subutilizate în ceea ce privește cercetarea academică, iar lipsa diversității lingvistice reprezintă o barieră pentru acces.
Universitatea din Turku, cu sediul în Finlanda, a dorit să schimbe această situație și a colaborat acum cu 10 laboratoare de cercetare universitară din Europa, utilizând supercomputerul LUMI pentru a construi noi modele lingvistice de mari dimensiuni într-o varietate de limbi europene. În viitor, ei speră să creeze modele de bază pentru cel puțin toate limbile oficiale ale UE și pentru alte câteva limbi, pentru a fi utilizate în scopuri de cercetare academică și de formare.
Echipat cu GPU AMD Instinct™ și procesoare EPYC™, supercomputerul LUMI – clasificat recent ca fiind cel mai rapid supercomputer din Europa, precum și unul dintre cele mai eficiente din punct de vedere energetic – permite grupului TurkuNLP să creeze noi modele într-un interval de timp rezonabil. Pentru a pune acest lucru în context, LUMI este cu două ordine de mărime mai mare decât mașinile de generație anterioară disponibile în Finlanda. Anterior, echipa avea nevoie de o jumătate de an pentru a pre-antrena un model lingvistic de 1 miliard de parametri pe un computer, dar acum, doar două săptămâni pentru ca LUMI să proceseze aproximativ 40 de miliarde de token-uri, constituind caractere, silabe sau cuvinte.
În acest context, Väinö Hatanpää, specialist în învățare automată la CSC, a declarat: “Capacitatea de calcul și posibilitatea de a se extinde și mai mult cu LUMI le permite clienților noștri să depășească limitele învățării automate și ale inteligenței artificiale.
