Modelul LLaMA 3.1 Tulu 3 405B reprezintă o dezvoltare avansată în categoria modelelor lingvistice de mari dimensiuni (LLM), fiind construit pe arhitectura transformer decoder-only a LLaMA 3 de la Meta AI și instruit prin fine-tuning instrucțional de Allen Institute for AI (AI2) și Together AI.
Cu un total de 405 miliarde de parametri modelul este optimizat pentru urmărirea instrucțiunilor, conversații multi-turn, raționament complex, generare de cod și înțelegere contextuală extinsă, dispunând de o capacitate de procesare contextuala estimată între 8K și 32K tokeni. Instruirea s-a bazat pe seturi de date curate și diversificate, inclusiv Open-Platypus, FLAN Collection, Dolly și Tulu v2, cu accent pe reducerea halucinațiilor și creșterea factualității răspunsurilor.
Din punct de vedere al performanței LLaMA 3.1 Tulu 3 405B se situează la nivel competitiv cu modele comerciale de top precum GPT-4 și Claude 3, înregistrând scoruri de aproximativ 83% la MMLU, 96% la ARC Challenge, 94% la HellaSwag și peste 90% în testele matematice GSM8K cu raționament pas-cu-pas (chain-of-thought). Modelul a fost inclus în clasamente prestigioase precum Open LLM Leaderboard de pe Hugging Face, fiind apreciat pentru coerența conversațională, acuratețea răspunsurilor și robustețea față de întrebările ambigue, reprezentând astfel o referință de performanță în domeniul modelelor open-weight.
