Wat is optische stroom?
Optical flow is een vectorveld tussen twee beelden, dat laat zien hoe de pixels van een object in het eerste beeld kunnen worden verplaatst om hetzelfde object in het tweede beeld te vormen. Het is een soort correspondentieleren, want als de overeenkomstige pixels van een object bekend zijn, kan het optische-stroomveld worden berekend.
Optische stromingsvergelijking & traditionele methoden
Hoe op te lossen voor (u, v) ? Bestaan er beperkingen voor ons om een aantal vergelijkingen op te stellen?
Vooreerst, als H(x, y) = I(x+u, y+v), laten we I(x+u, y+v) breken met behulp van Taylorreeksen:
Verlaat vervolgens de termen van hogere orde en combineer met H(x, y) = I(x+u, y+v):
Ten slotte, in de limiet als u en v naar nul gaan, krijgen we de optische stromingsvergelijking als:
In echte toepassingen kunnen u en v echter groot of klein zijn, variërend van enkele tot tientallen pixels, en niet de nullimiet hebben. We kunnen dus slechts een benadering van de echte optische stroming krijgen. Het stromingsveld zou echter nauwkeuriger zijn als u en v dichter bij nul liggen.
In de bovenstaande vergelijking zijn u en v de onbekenden, omdat andere variabelen kunnen worden berekend uit verschillen van x-, y- en tijdsdimensies. Er zijn dus twee onbekenden in één vergelijking, die niet kan worden opgelost. Daarom hebben vele onderzoekers in de laatste 40 jaar getracht een andere reeks vergelijkingen van u en v op te stellen om ze oplosbaar te maken. Onder hen is de meest bekende methode Lucas-Kanade methode.
In het deep learning tijdperk, kunnen we optische stroming oplossen door diepe neurale netwerken ? Als we kunnen, wat is het punt van het netwerk ontwerpen ?
Het antwoord is ja, en er zijn werken op dit gebied deze jaren, het resultaat wordt steeds beter en beter. Ik zal een representatief werk genaamd RAFT introduceren, die de Best Paper Award van ECCV 2020 kreeg.