Pre-formarea (pre-training) este o etapă inițială în dezvoltarea modelelor de inteligență artificială, în special a celor de procesare a limbajului natural sau generative, în care modelul este antrenat pe un set foarte mare și variat de date generale, fără o sarcină specifică. Scopul este ca modelul să învețe reprezentări fundamentale ale limbajului, structurii sau semnificației datelor.
Această etapă oferă modelului o bază solidă de cunoștințe și o înțelegere generală a contextului, pe care ulterior se poate aplica fine-tuning-ul (ajustarea fină) pentru sarcini specifice, cum ar fi clasificarea textului, răspunsul la întrebări sau generarea de conținut. Pre-formarea reduce nevoia de date etichetate în fazele ulterioare și contribuie la performanțe mai bune, mai rapide și mai generalizabile în aplicațiile AI.
