Ce este fluxul optic?
Câmp de curgere optică este un câmp vectorial între două imagini, care arată modul în care pixelii unui obiect din prima imagine pot fi mutați pentru a forma același obiect în cea de-a doua imagine. Este un tip de învățare prin corespondență, deoarece, dacă se cunosc pixelii corespunzători ai unui obiect, se poate calcula câmpul fluxului optic.
Ecuația fluxului optic & metode tradiționale
Cum se rezolvă pentru (u, v) ? Există constrângeri pentru ca noi să construim niște ecuații ?
În primul rând, deoarece H(x, y) = I(x+u, y+v), haideți să rupem I(x+u, y+v) folosind serii Taylor:
Apoi, se renunță la termenii de ordin superior și se combină cu H(x, y) = I(x+u, y+v):
În cele din urmă, în limita în care u și v ajung la zero, obținem ecuația fluxului optic ca:
Cu toate acestea, în aplicațiile reale, u și v pot fi mari sau mici, acoperind de la câțiva până la zeci de pixeli, altele decât limita zero. Astfel, putem obține doar o aproximare a fluxului optic real. Cu toate acestea, câmpul de curgere ar fi mai precis dacă u și v ar fi mai aproape de zero.
În ecuația de mai sus, necunoscutele sunt u și v, deoarece alte variabile pot fi calculate din diferențele din dimensiunile x, y și timp. Astfel, există două necunoscute într-o singură ecuație, care nu poate fi rezolvată. Prin urmare, în ultimii 40 de ani, mulți cercetători au încercat să ofere un alt set de ecuații ale lui u, v pentru a o face rezolvabilă. Printre acestea, cea mai cunoscută metodă este metoda Lucas-Kanade.
În era învățării profunde, putem rezolva fluxul optic prin rețele neuronale profunde ? Dacă putem, care este rostul proiectării rețelelor?
Răspunsul este da, iar în acești ani se lucrează în acest domeniu, rezultatul fiind din ce în ce mai bun. Voi prezenta o lucrare reprezentativă numită RAFT, care a primit premiul pentru cea mai bună lucrare a ECCV 2020.
.