¿Qué es el flujo óptico?
El flujo óptico es un campo vectorial entre dos imágenes, que muestra cómo los píxeles de un objeto en la primera imagen pueden moverse para formar el mismo objeto en la segunda imagen. Es un tipo de aprendizaje por correspondencia, porque si se conocen los píxeles correspondientes de un objeto, se puede calcular el campo de flujo óptico.
Ecuación de flujo óptico &métodos tradicionales
¿Cómo resolver para (u, v)? Hay alguna restricción para que podamos construir algunas ecuaciones ?
En primer lugar, como H(x, y) = I(x+u, y+v), vamos a descomponer I(x+u, y+v) utilizando series de Taylor:
Entonces, abandonemos los términos de orden superior y combinemos con H(x, y) = I(x+u, y+v):
Finalmente, en el límite a medida que u y v van a cero, obtuvimos la ecuación de flujo óptico como:
Sin embargo, en aplicaciones reales, u y v podrían ser grandes o pequeños, abarcando desde varios hasta decenas de píxeles, además de ser límite cero. Por lo tanto, sólo podemos obtener una aproximación del flujo óptico real. Sin embargo, el campo de flujo sería más preciso si u y v están más cerca de cero.
En la ecuación anterior, las incógnitas son u y v, porque otras variables se pueden calcular a partir de las diferencias de las dimensiones x, y y tiempo. Por lo tanto, hay dos incógnitas en una ecuación, que no se puede resolver. Por lo tanto, en los últimos 40 años, muchos investigadores trataron de proporcionar otro conjunto de ecuaciones de u, v para hacerlo resoluble. Entre ellos, el método más famoso es el de Lucas-Kanade.
En la era del aprendizaje profundo, ¿podemos resolver el flujo óptico mediante redes neuronales profundas? Si podemos, ¿cuál es el punto de diseño de la red?
La respuesta es sí, y hay trabajos en esta área estos años, el resultado es cada vez mejor. Voy a presentar un trabajo representativo llamado RAFT, que obtuvo el premio al mejor trabajo de ECCV 2020.