DeepSeek R1 Distill Qwen 32B este un model LLM distilat dezvoltat de DeepSeek AI, bazat pe modelul original Qwen 32B creat de Alibaba Cloud. Lansat în 2024, modelul face parte din seria DeepSeek R1, care cuprinde variante pre-antrenate, instruct-tuned și distilate. Distilarea urmărește reducerea dimensiunii și a cerințelor hardware, păstrând totodată o acuratețe ridicată pentru sarcinile NLP, oferind astfel un compromis eficient între performanță și consumul de resurse.
Din punct de vedere tehnic, DeepSeek R1 Distill Qwen 32B are un număr de parametri mai mic decât modelul original de 32 miliarde și suportă o fereastră de context de aproximativ 8.192 tokeni. Modelul este instruction-tuned și multilingv, fiind disponibil sub licență open-weight compatibilă cu Qwen, pe platforme precum Hugging Face și GitHub. Performanța sa este comparabilă cu cea a modelelor Mixtral 8x7B și alte LLM-uri similare, cu avantaje în ceea ce privește viteza de inferență și eficiența costurilor GPU.
