Cercetătorii de la Microsoft au anunțat recent un model AI performant, BitNet b1.58 2B4T, care poate funcționa pe unități centrale de procesare (CPU), o caracteristică remarcabilă într-un mediu dominat de modele lingvistice mari (LLM) care necesită resurse semnificative și GPU-uri costisitoare.
BitNet este un model AI optimizat pentru a ocupa un spațiu redus și a consuma resurse minime. Spre deosebire de modelele tradiționale, ce utilizează numere complexe, BitNet folosește doar trei valori simple: -1, 0 și +1. Această simplificare îl face aproape de zece ori mai eficient în ceea ce privește utilizarea memoriei și a puterii de calcul, permițând execuția pe procesoare standard, fără necesitatea unor echipamente grafice speciale.
Modelul a fost antrenat pe un vast set de date, echivalent cu 33 de milioane de cărți, conform Microsoft. Următoarele specificații tehnice evidențiază performanțele sale remarcabile: 
- Arhitectură transformer cu modificări specifice BitNet (straturi BitLinear)
- Activare folosind funcția ReLU pătrat (ReLU²)
- Normalizare subln, fără bias pentru layerele liniare
- Cuantizare W1.58A8, parametri cuantizați la 1.58 biți, activări la 8 biți
- Tokenizator LLaMA 3 (vocabular format din 128.256 tokenuri).
Pentru performanță optimă, recomandăm utilizarea codului C++ dedicat (bitnet.cpp).
Modelul BitNet b1.58 2B4T a fost evaluat folosind diverse teste standard pentru a măsura capacitățile sale de înțelegere și raționament. Aceste teste includ GSM8K (probleme de matematică), PIQA (înțelegerea lumii fizice), CommonsenseQA (logică cotidiană) și MMLU (domenii multiple).
Rezultatele acestor teste demonstrează o performanță excelentă: 58.38 în GSM8K (comparativ cu 38.21 pentru LLaMA), 77.09 în PIQA (cel mai bun scor printre modelele testate), 71.58 în CommonsenseQA și 53.17 în MMLU, evidențiind echilibrul optim între eficiență și performanță.
Pe plan tehnic, modelul necesită doar 0.4 GB memorie pentru inferență, comparativ cu 2-4 GB pentru modele similare, și o latență de 29 milisecunde pe CPU, față de 48ms pentru LLaMA și 65ms pentru Qwen.
Compatibilitate CPU
BitNet a fost testat pe procesoare Intel Core i7-13800H (13-a generație) și Apple M2, demonstrând compatibilitate cu o gamă largă de computere moderne, inclusiv echipamente cu procesoare Intel Core i5/i7 sau AMD Ryzen 5/7.
Fiind open-source, modelul BitNet b1.58 2B4T poate fi descărcat, studiat, modificat și utilizat în proiecte personale sau profesionale. Codul sursă și parametrii modelului sunt disponibile sub licența MIT.
Există trei variante ale modelului, disponibile pe platformă de dezvoltatori, adaptate pentru diverse necesități:
- Pregătită pentru utilizare directă, adică generarea de rezultate;
- Pentru antrenare avansată sau adaptare la sarcini specifice;
- Optime pentru o rulare eficientă pe CPU, utilizând bitnet.cpp, pentru performanțe înalte chiar și fără o placă grafică.
Motivul dezvoltării unui model AI pe bază de CPU
Un posibil motiv pentru dezvoltarea modelului BitNet este impactul unor modele recente, open-source, care demonstrează că performanța înaltă nu este neapărat legată de echipamente grafice complexe.
Un alt factor îl reprezintă creşterea costurilor hardware în industria AI, posibil influențată de politici comerciale.
Totodată, există o tendință tot mai evidentă către dezvoltarea de modele AI destinate utilizării locale, pe dispozitivele utilizatorilor finali.
