Co je to optický tok?
Optický tok je vektorové pole mezi dvěma obrazy, které ukazuje, jak se mohou pixely objektu na prvním obraze přesunout, aby vytvořily stejný objekt na druhém obraze. Jedná se o druh korespondenčního učení, protože pokud jsou známy odpovídající pixely objektu, lze pole optického toku vypočítat.
Rovnice optického toku &tradiční metody
Jak řešit (u, v) ? Existují nějaká omezení, abychom mohli sestavit nějaké rovnice ?
Nejprve, protože H(x, y) = I(x+u, y+v), rozdělíme I(x+u, y+v) pomocí Taylorovy řady:
Poté opustíme členy vyššího řádu a kombinujeme s H(x, y) = I(x+u, y+v):
Nakonec jsme v limitě, kdy u a v klesají k nule, dostali rovnici optického toku jako:
V reálných aplikacích však mohou být u a v velké nebo malé, v rozsahu několika až desítek pixelů, jiné než nulové. Můžeme tedy získat pouze aproximaci skutečného optického toku. Pole toku by však bylo přesnější, kdyby se u a v blížily nule.
V uvedené rovnici jsou neznámými u a v, protože ostatní proměnné lze vypočítat z rozdílů z rozměrů x, y a času. V jedné rovnici jsou tedy dvě neznámé, které nelze řešit. Proto se v posledních 40 letech mnoho výzkumníků snažilo poskytnout jinou soustavu rovnic u, v, aby byla řešitelná. Mezi nimi je nejznámější Lucasova-Kanadeho metoda.
Můžeme v éře hlubokého učení řešit optický tok pomocí hlubokých neuronových sítí ? Pokud ano, jaký smysl má navrhování sítí ?
Odpověď zní ano a v těchto letech se na této oblasti pracuje, výsledek je stále lepší a lepší. Představím reprezentativní práci nazvanou RAFT, která získala ocenění za nejlepší příspěvek na konferenci ECCV 2020.