定义

光流在计算机视觉中表示物体的移动,由于相机和物体之间存在相对运动，因此多帧之间的图像像素强度值不同，通过连续检测运动物体帧之间的强度变化，可以估计出物体的运动信息。

光流法

基本假设条件

  • 亮度恒定不变： 即同一目标的不同帧之间，亮度不会改变，通过它可以得到光流法的基本方程
  • 小范围运动： 点在相邻帧之间不会发生大范围的运动

光亮恒定不变假设产生的方程为
将右侧进行泰勒展开可得

$I_x$为相邻帧之间x位置变化量，$I_t$是时间变化量，如果是后一帧则为1，前一帧则为-1
其中有u和v两个变量，因此我们需要加入额外的约束条件。

不同的约束条件变产生了额外的方法

Lucas-Kanada方法

L-k方法假设相邻像素之间位移相似。然后根据这一假设选取像素点附近一个窗口，这个窗口内的位移相同，然后联立这些方程可得:

这种方法的问题是需要联立矩阵求解，因此它的特征值不能过大或过小

如图是特征值对应的区域类型， Flat是平滑区域，edge是边界

此外，为了解决小范围运动的问题，可以通过建立图像金字塔解决。因为图像分辨率小，每次移动的像素点就少。

FlowNet

FlowNet的结构

它还是基于光流法，输入是相邻两帧图像，输出是图像的u和v