O funcție de cost (loss function), numită și funcție de eroare, este o măsură matematică ce cuantifică cât de „departe” sunt predicțiile unui model de învățare automată față de rezultatele corecte, reale, dintr-un set de date. Această valoare ghidează întregul proces de antrenament: algoritmul de optimizare ajustează parametrii modelului cu scopul explicit de a minimiza valoarea funcției de cost.
Alegerea funcției de cost depinde direct de tipul problemei rezolvate. Pentru probleme de regresie (predicția unei valori numerice continue), cea mai comună este eroarea medie pătratică (Mean Squared Error), care penalizează erorile mari mult mai sever decât cele mici, prin ridicarea la pătrat a diferenței dintre predicție și valoarea reală. Pentru probleme de clasificare, se folosește frecvent entropia încrucișată (cross-entropy loss), care măsoară cât de „încrezătoare” și corectă este distribuția de probabilitate prezisă de model pentru fiecare categorie posibilă.
Designul funcției de cost poate influența dramatic comportamentul final al modelului — de exemplu, în probleme cu clase dezechilibrate (mult mai multe exemple negative decât pozitive, precum detectarea unei boli rare), o funcție de cost standard poate încuraja modelul să ignore practic clasa minoritară, motiv pentru care se folosesc adesea funcții de cost ponderate, care penalizează mai sever erorile pe clasa rară.
Într-un sens mai general, întregul proces de antrenare a unui model AI poate fi înțeles ca o căutare automată, printr-un spațiu enorm de configurații posibile de parametri, a acelei configurații care minimizează funcția de cost aleasă pentru problema respectivă.
