Mitä on optinen virtaus?
Optinen virtaus on kahden kuvan välinen vektorikenttä, joka osoittaa, miten ensimmäisen kuvan kohteen pikselit voivat siirtyä niin, että ne muodostavat saman kohteen toisessa kuvassa. Se on eräänlainen vastaavuusoppiminen, sillä jos kohteen vastaavat pikselit tunnetaan, optinen virtauskenttä voidaan laskea.
Optisen virtauksen yhtälö & perinteiset menetelmät
Kuinka ratkaistaan kuvien (u, v) suhteen ? Onko olemassa mitään rajoitteita, joiden avulla voimme muodostaa joitakin yhtälöitä ?
Aluksi, koska H(x, y) = I(x+u, y+v), let ’s hajottaa I(x+u, y+v) käyttämällä Taylor-sarjaa:
Hylkäämme sitten ylemmän kertaluvun termejä ja yhdistämme ne muotoon H(x, y) = I(x+u, y+v):
Viimein raja-arvossa u:n ja v:n mentäessä nollaan saamme optisen virtausyhtälön muotoon:
Todellisissa sovelluksissa u ja v voivat kuitenkin olla suuria tai pieniä, ulottuen useista pikseleistä muutamiin kymmeniin pikseleihin, muutoin kuin nollaraja. Näin ollen voimme saada vain approksimaation todellisesta optisesta virtauksesta. Virtauskenttä olisi kuitenkin tarkempi, jos u ja v olisivat lähempänä nollaa.
Yllä olevassa yhtälössä tuntemattomat ovat u ja v, koska muut muuttujat voidaan laskea x-, y- ja aikaulottuvuuksien eroista. Näin ollen yhdessä yhtälössä on kaksi tuntematonta, joita ei voida ratkaista. Siksi viimeisten 40 vuoden aikana monet tutkijat ovat yrittäneet tarjota muita u, v -yhtälöitä, jotta se olisi ratkaistavissa. Heidän joukossaan tunnetuin menetelmä on Lucas-Kanade-menetelmä.
Syväoppimisen aikakaudella, voimmeko ratkaista optisen virtauksen syvien neuroverkkojen avulla? Jos voimme, mikä on verkon suunnittelun tarkoitus?
Vastaus on kyllä, ja tällä alalla on tehty töitä näinä vuosina, ja tulos on yhä parempi ja parempi. Esittelen edustavan työn nimeltä RAFT, joka sai ECCV 2020:n parhaan paperin palkinnon.