Rata de învățare (learning rate) este unul dintre cei mai importanți hiperparametri în antrenarea unui model de învățare automată, controlând dimensiunea pasului cu care algoritmul de optimizare (de regulă gradientul de coborâre) ajustează parametrii modelului la fiecare iterație de antrenament.
Alegerea corectă a ratei de învățare este un echilibru delicat: o rată prea mare face ca algoritmul să facă ajustări prea agresive ale parametrilor, riscând să „sară” peste soluția optimă, oscilând haotic sau chiar divergând complet, fără ca eroarea modelului să scadă niciodată stabil. O rată prea mică, dimpotrivă, face progresul extrem de lent — antrenamentul poate necesita mult mai multe iterații pentru a atinge o performanță acceptabilă, sau se poate „bloca” prematur într-un minim local suboptim, fără suficientă „energie” pentru a-l depăși.
Practicienii folosesc adesea o rată de învățare variabilă pe parcursul antrenamentului, nu una fixă: strategii precum „learning rate decay” reduc treptat rata pe măsură ce antrenamentul avansează (pași mari la început pentru progres rapid, pași mici la final pentru rafinare precisă), iar algoritmi de optimizare adaptivi, precum Adam sau RMSprop, ajustează automat rata de învățare pentru fiecare parametru individual al modelului, pe baza istoricului gradientelor observate.
Găsirea unei rate de învățare optime rămâne, în mare parte, un proces empiric — practicienii testează frecvent mai multe valori (adesea pe o scală logaritmică, precum 0.1, 0.01, 0.001) și monitorizează evoluția erorii de antrenament pentru a identifica valoarea care oferă cea mai rapidă și mai stabilă convergență pentru problema specifică.
