O que é fluxo óptico?
O fluxo óptico é um campo vectorial entre duas imagens, mostrando como os pixels de um objecto na primeira imagem podem ser movidos para formar o mesmo objecto na segunda imagem. É uma espécie de aprendizado de correspondência, pois se os pixels correspondentes de um objeto são conhecidos, o campo de fluxo óptico pode ser calculado.
Equação de fluxo óptico & métodos tradicionais
Como resolver para (u, v) ? Existe alguma restrição para construirmos algumas equações ?
Primeiro, como H(x, y) = I(x+u, y+v), vamos quebrar I(x+u, y+v) usando a série Taylor:
Então, abandonar termos de ordem superior e combinar com H(x, y) = I(x+u, y+v):
Finalmente, no limite como u e v vão a zero, temos a equação de fluxo óptico como:
No entanto, em aplicações reais, u e v podem ser grandes ou pequenos, variando de vários a dezenas de pixels, além de serem de limite zero. Assim, só podemos obter uma aproximação do fluxo óptico real. Entretanto, o campo de fluxo seria mais preciso se u e v estivessem mais próximos de zero.
Na equação acima, as incógnitas são u e v, pois outras variáveis podem ser calculadas a partir de diferenças das dimensões x, y e tempo. Assim, há duas incógnitas em uma equação, que não podem ser resolvidas. Portanto, nos últimos 40 anos, muitos pesquisadores tentaram fornecer outro conjunto de equações de u, v, para torná-la solvível. Entre elas, o método mais famoso é o método Lucas-Kanade.
Na era do aprendizado profundo, podemos resolver o fluxo óptico por redes neurais profundas ? Se pudermos, qual é o objectivo do desenho de redes ?
A resposta é sim, e há trabalhos nesta área nestes anos, o resultado está a ficar cada vez melhor. Vou apresentar um trabalho de representação chamado RAFT, que recebeu o prêmio de melhor trabalho da ECCV 2020.