Fuziunea senzorială este procesul de combinare a datelor provenite de la mai multe tipuri de senzori diferiți — camere, LiDAR, radar, sonar, IMU, GPS — pentru a construi o reprezentare mai precisă, mai completă și mai robustă a mediului decât ar putea oferi oricare senzor individual folosit separat.
Necesitatea fuziunii senzoriale vine din limitările inerente ale fiecărui tip de senzor: camerele oferă informație vizuală bogată (culoare, textură), dar performează slab pe vreme rea sau întuneric și nu măsoară direct distanța; LiDAR-ul oferă măsurători precise de distanță și funcționează independent de lumină, dar nu percepe culoarea și poate fi afectat de ploaie sau ceață densă; radarul funcționează excelent în orice condiții meteo și detectează viteza obiectelor direct, dar oferă rezoluție spațială mai redusă.
Prin combinarea inteligentă a acestor surse complementare, un sistem de fuziune senzorială poate compensa slăbiciunile individuale ale fiecărui senzor cu punctele forte ale celorlalți — de exemplu, folosind camera pentru a identifica tipul unui obstacol (pieton versus vehicul) și LiDAR-ul pentru a-i măsura precis distanța și viteza de apropiere, chiar și în condiții de vizibilitate redusă unde camera singură ar fi nesigură.
Algoritmii de fuziune senzorială variază de la metode statistice clasice, precum filtrul Kalman (folosit extensiv pentru combinarea datelor de poziție și viteză), până la rețele neuronale moderne care învață direct din date brute multi-senzor cum să combine optim informația. Fuziunea senzorială este considerată esențială pentru siguranța vehiculelor autonome de nivel înalt, unde eroarea unui singur senzor nu trebuie să compromită întregul sistem.
