Mecanismul de atenție (attention mechanism) este o tehnică avansată în rețelele neuronale, folosită în special în procesarea limbajului natural și viziunea computerizată, care permite modelului să acorde o importanță diferită părților relevante ale datelor de intrare în timpul procesării. Astfel, modelul „se concentrează” pe informațiile esențiale pentru a produce un răspuns mai precis și contextual.
Acest mecanism stă la baza arhitecturilor Transformer, precum BERT sau GPT, și a revoluționat modul în care modelele AI gestionează secvențele lungi de date. Prin îmbunătățirea capacității de a înțelege dependențele dintre cuvinte sau elemente dintr-un context extins, mecanismul de atenție permite generarea de texte coerente, traduceri exacte, sumarizări eficiente și interpretări vizuale sofisticate.
