Co to jest przepływ optyczny?
Przepływ optyczny jest polem wektorowym między dwoma obrazami, pokazującym, jak piksele obiektu na pierwszym obrazie mogą zostać przesunięte, aby utworzyć ten sam obiekt na drugim obrazie. Jest to rodzaj uczenia korespondencyjnego, ponieważ jeśli znane są odpowiadające sobie piksele obiektu, można obliczyć pole przepływu optycznego.
Równanie przepływu optycznego &metody tradycyjne
Jak rozwiązać dla (u, v) ? Czy są jakieś ograniczenia dla nas, aby zbudować jakieś równania ?
Po pierwsze, ponieważ H(x, y) = I(x+u, y+v), rozbijmy I(x+u, y+v) używając serii Taylora:
Następnie zrezygnujmy z członów wyższego rzędu i połączmy z H(x, y) = I(x+u, y+v):
W końcu, w granicy gdy u i v zmierzają do zera, otrzymaliśmy równanie przepływu optycznego jako:
Jednakże w rzeczywistych zastosowaniach u i v mogą być duże lub małe, rozciągające się od kilku do kilkudziesięciu pikseli, inne niż w granicy zerowej. W ten sposób możemy uzyskać jedynie przybliżenie rzeczywistego przepływu optycznego. Jednak pole przepływu byłoby dokładniejsze, gdyby u i v były bliższe zeru.
W powyższym równaniu niewiadomymi są u i v, ponieważ inne zmienne można obliczyć na podstawie różnic z wymiarów x, y i czasu. Tak więc, istnieją dwie niewiadome w jednym równaniu, które nie mogą być rozwiązane. Dlatego też, w ciągu ostatnich 40 lat, wielu badaczy próbowało podać inny układ równań u, v, aby uczynić go rozwiązywalnym. Wśród nich najbardziej znaną metodą jest metoda Lucasa-Kanade.
W erze głębokiego uczenia się, czy możemy rozwiązać przepływ optyczny przez głębokie sieci neuronowe? Jeśli możemy, to jaki jest sens projektowania sieci? Odpowiedź brzmi tak, a w ostatnich latach pojawiły się prace w tej dziedzinie, a wyniki stają się coraz lepsze. Przedstawię reprezentatywną pracę o nazwie RAFT, która otrzymała nagrodę za najlepszy papier na ECCV 2020.