DBRX Instruct este un model lingvistic de mari dimensiuni (LLM) dezvoltat de Databricks în colaborare cu MosaicML, având sediul în Statele Unite. Construit pe o arhitectură Mixture of Experts cu 16 experți (dintre care 4 activi per prompt), modelul este de tip transformer decoder-only, cu 132 de miliarde de parametri (36 de miliarde activi simultan). Pre-antrenat pe 12 trilioane de tokeni (text și cod), acesta suportă un context extins de până la 32.000 de tokeni. DBRX Instruct integrează tehnologii avansate precum RoPE, GLU și Grouped Query Attention (GQA), folosind tokenizer-ul GPT-4. Este optimizat pentru generare instrucțională și oferă performanțe remarcabile în sarcini de raționament matematic, programare și analiză lingvistică.
În ceea ce privește performanța DBRX Instruct se clasează constant în topul benchmark-urilor deschise, depășind alte modele open-source precum Mixtral Instruct și LLaMA2-70B. Obține scoruri notabile: 74,5% în Open LLM Leaderboard, 70,1% în HumanEval (programare) și 66,9% în GSM8k (matematică). Modelul este disponibil pe Hugging Face și prin API-ul Databricks Foundation Models, cu acces flexibil (pay-per-token sau throughput provisioned), precum și în Azure AI Catalog, inclusiv prin Playground. Pentru rulare locală este necesară o memorie RAM de aproximativ 264 GB. Distribuit sub licența Databricks Open Model License, DBRX Instruct este promovat ca un model open-source de referință, cu capabilități competitive chiar și în raport cu GPT-4 în anumite sarcini.
