Qu’est-ce que le flux optique ?
Le flux optique est un champ vectoriel entre deux images, montrant comment les pixels d’un objet dans la première image peuvent être déplacés pour former le même objet dans la seconde image. C’est une sorte d’apprentissage par correspondance, car si les pixels correspondants d’un objet sont connus, le champ de flux optique peut être calculé.
Équation du flux optique& méthodes traditionnelles
Comment résoudre (u, v) ? Y a-t-il des contraintes pour que nous puissions construire des équations ?
D’abord, comme H(x, y) = I(x+u, y+v), décomposons I(x+u, y+v) en utilisant des séries de Taylor :
Puis, abandonnons les termes d’ordre supérieur et combinons avec H(x, y) = I(x+u, y+v) :
Enfin, dans la limite où u et v vont à zéro, nous avons obtenu l’équation de flux optique comme :
Cependant, dans les applications réelles, u et v peuvent être grands ou petits, s’étendant sur plusieurs à des dizaines de pixels, autres que la limite zéro. Ainsi, nous ne pouvons obtenir qu’une approximation du flux optique réel. Cependant, le champ de flux serait plus précis si u et v sont plus proches de zéro.
Dans l’équation ci-dessus, les inconnues sont u et v, car les autres variables peuvent être calculées à partir des différences des dimensions x, y et temps. Ainsi, il y a deux inconnues dans une équation, qui ne peut pas être résolue. C’est pourquoi, au cours des 40 dernières années, de nombreux chercheurs ont essayé de fournir un autre ensemble d’équations de u, v pour la rendre soluble. Parmi eux, la méthode la plus célèbre est la méthode de Lucas-Kanade.
À l’ère de l’apprentissage profond, peut-on résoudre le flux optique par des réseaux neuronaux profonds ? Si nous le pouvons, quel est l’intérêt de concevoir des réseaux ?
La réponse est oui, et il y a des travaux sur ce domaine ces années, le résultat est de mieux en mieux. Je vais présenter un travail de représentation appelé RAFT, qui a obtenu le prix du meilleur papier de l’ECCV 2020.