Mi az optikai áramlás?
Az optikai áramlás egy vektormező két kép között, amely megmutatja, hogy az első képen lévő objektum pixelei hogyan mozognak, hogy a második képen ugyanolyan objektumot alkossanak. Ez egyfajta megfeleltetés-tanulás, mert ha egy objektum megfelelő pixelei ismertek, akkor az optikai áramlási mező kiszámítható.
Optikai áramlás egyenlete & hagyományos módszerek
Hogyan oldjuk meg (u, v) ? Van valamilyen megkötés, amiből felállíthatunk néhány egyenletet ?
Először is, mivel H(x, y) = I(x+u, y+v), let ‘s break I(x+u, y+v) using Taylor series:
Ezután hagyjuk el a magasabb rendű tagokat, és kombináljuk H(x, y) = I(x+u, y+v)-vel:
Végül a határértékben, ahogy u és v nullára megy, az optikai áramlási egyenletet a következőképpen kaptuk:
A valós alkalmazásokban azonban u és v lehet nagy vagy kicsi, több tíz pixelre kiterjedő, a nulla határértéktől eltérő. Így a valós optikai áramlásnak csak közelítését kaphatjuk. Az áramlási mező azonban pontosabb lenne, ha u és v közelebb lenne a nullához.
A fenti egyenletben az ismeretlenek u és v, mert a többi változó kiszámítható az x, y és idő dimenziók különbségéből. Így egy egyenletben két ismeretlen van, amit nem lehet megoldani. Ezért az elmúlt 40 évben sok kutató megpróbált más u, v egyenletkészletet biztosítani, hogy megoldhatóvá tegye. Közülük a leghíresebb módszer a Lucas-Kanade módszer.
A mélytanulás korában, meg tudjuk-e oldani az optikai áramlást mély neurális hálózatokkal ? Ha igen, akkor mi értelme van a hálózat tervezésének?
A válasz igen, és ezen a területen már évek óta folynak munkák, az eredmény egyre jobb és jobb. Bemutatok egy RAFT nevű reprezentatív munkát, amely elnyerte az ECCV 2020 legjobb tanulmányának díját.