Jamba 1.6 Mini, dezvoltat de AI21 Labs și lansat în 2024, este un model de tip Mixture of Experts (MoE) care combină arhitecturi transformer cu state space models (SSM). Cu un total de 1.6 miliarde de parametri și doar 0.6 miliarde activi per forward pass, modelul dispune de o dimensiune context extinsă de 256.000 de tokeni, ceea ce îl recomandă pentru procesarea documentelor lungi și sarcini NLP complexe. Structura sa hibridă MoE cu 6 experți, din care 2 sunt activi în fiecare pas, oferă eficiență ridicată în inferență, reducând costurile de rulare și facilitând implementarea în medii cu resurse limitate. Modelul este disponibil public sub o licență open-weight, fiind accesibil pe platforme precum Hugging Face.
AI21 Labs susține Jamba 1.6 Mini ca o soluție scalabilă și eficientă, adaptată pentru aplicații conversaționale și enterprise, cu bune capacități de fine-tuning și personalizare. Compania, cu o evaluare de aproximativ 1.4 miliarde USD și o finanțare totală de circa 283 milioane USD, are între 200 și 250 de angajați în 2024. Veniturile estimate se situează între 30 și 60 milioane USD anual, provenind în special din API-urile Jurassic, Wordtune și colaborările enterprise. Jamba 1.6 Mini reprezintă o alternativă competitivă pentru aplicații mobile, embedded și servicii AI de scară medie, adresând provocările costurilor și eficienței în modelele mari de limbaj.
