Was ist optischer Fluss?
Der optische Fluss ist ein Vektorfeld zwischen zwei Bildern, das anzeigt, wie die Pixel eines Objekts im ersten Bild verschoben werden können, um dasselbe Objekt im zweiten Bild zu bilden. Es ist eine Art von Korrespondenzlernen, denn wenn die entsprechenden Pixel eines Objekts bekannt sind, kann das optische Flussfeld berechnet werden.
Optische Flussgleichung & traditionelle Methoden
Wie löst man für (u, v)? Gibt es irgendwelche Einschränkungen für uns, um einige Gleichungen aufzustellen ?
Erstens, da H(x, y) = I(x+u, y+v), brechen wir I(x+u, y+v) mit Taylorreihen:
Dann verzichten wir auf Terme höherer Ordnung und kombinieren mit H(x, y) = I(x+u, y+v):
Schließlich erhalten wir im Grenzwert, wenn u und v gegen Null gehen, die optische Flussgleichung als:
In realen Anwendungen können u und v jedoch groß oder klein sein und sich über mehrere bis zehn Pixel erstrecken, ohne dass die Grenze bei Null liegt. Daher können wir nur eine Annäherung an den realen optischen Fluss erhalten. Das Flussfeld wäre jedoch genauer, wenn u und v näher bei Null lägen.
In der obigen Gleichung sind die Unbekannten u und v, da andere Variablen aus den Differenzen der Dimensionen x, y und Zeit berechnet werden können. Es gibt also zwei Unbekannte in einer Gleichung, die nicht gelöst werden können. Daher haben in den letzten 40 Jahren viele Forscher versucht, andere Gleichungen für u und v aufzustellen, um sie lösbar zu machen. Unter ihnen ist die berühmteste Methode die Lucas-Kanade-Methode.
Können wir in der Ära des Deep Learning den optischen Fluss durch tiefe neuronale Netze lösen? Wenn wir das können, was ist dann der Sinn des Netzwerkdesigns?
Die Antwort ist ja, und es gibt Arbeiten auf diesem Gebiet in diesen Jahren, das Ergebnis wird immer besser und besser. Ich werde eine repräsentative Arbeit namens RAFT vorstellen, die auf der ECCV 2020 mit dem Preis für das beste Papier ausgezeichnet wurde.