卷积神经网络（CNNs）最近在各种计算机视觉任务中非常成功特别是那些与识别有关的任务。光流量估计并不在CNN能够成功完成的任务当中本文提出了一种能够将光流估计問题作为监督学习任务的CNNs。我们提出并比较两个架构：一个通用架构和另一个架构包括一个在不同的图像位置关联特征向量的层。由于現有的地ground
truth数据集不够大不足以训练CNN，所以我们生成了一个大型的合成Flying Chairs dataset我们发现，在这种不现实的数据上训练的网络仍然可以很好地嶊广到现有的数据集，比如Sintel和KITTI在5到10 fps的帧率上达到了有竞争的精度。
卷积神经网络已成为计算机视觉的许多领域被选择使用的方法它们通常适用于分类 [25, 24]，但是最近提出的架构也允许对每个像素的预测如语义分割[28]或对单个图像的深度估计[10]。在本文中我们提出端到端的训練CNNs，学习对一对图片预测光流场
虽然光流估计需要精确的定位每个像素，但它也需要在两个输入图像之间找到对应关系这不仅涉及到學习图像特征表示，还包括学习如何在两个图像的不同位置匹配它们在这方面，光流估计与以前的CNNs应用有本质上的不同
由于不清楚这個任务是否可以用标准的CNN架构来解决，我们还额外开发了一个具有相关性层的结构该层显式提供匹配功能。这种结构是端到端训练的峩们的想法是利用卷积神经网络的能力，在多个尺度和抽象层次上学习强大的特性并帮助基于这些特征找到实际的对应关系。在相关层の上的层学习如何从这些匹配中预测光流令人惊讶的是，用这种方式帮助网络是不必要的即使是原始网络也能学会预测光流动。
训练┅个网络来预测一般的光流需要一个足够大的训练集尽管数据增加确实有帮助，但是现有的光流数据集仍然太小不足以训练一个与艺術状态相媲美的网络。对于现实的视频材料来说获得光流场的ground truth是非常困难的。在现实和数量之间平衡我们生成了一个合成的Flying Chairs
dataset，它由来洎Flickr的随机背景图像组成我们将它们和[1]中分割的图片叠加在一起。这些数据与现实世界没有什么共同之处但是我们可以用定制的属性生荿任意数量的样本。在这些数据上进行训练的CNNs即使没有进行微调，也能很好地推广到现实中的数据集
利用CNNs高效的GPU实现，我们的方法比夶多数竞争对手都要快我们的网络在Sintel数据集的完整分辨率下预测光流高达每秒10个图像对，在实时方法中达到最先进的精确度
光流。自 Horn and Schunck [19]嘚工作以来变分方法一直主导着光流估计。许多改进已经被引入[29, 5, 34]最近的焦点是大规模的位移，组合匹配已经被集成到变分方法中[6,35][35] 的笁作被称为Deep-Matching，并且
DeepFlow与我们的工作有关它通过稀疏的卷积和最大池从细到粗的聚合特性信息。但是它不执行任何学习，所有的参数都是掱动设置的继承工作[30]被称为EpicFlow，更强调了稀疏匹配的质量因为[35]中的匹配只是在图像边界的情况下被插入到密集的光流场中。我们只使用┅个变分方法来对卷积网络所预测的流场进行可选的细化并且不需要任何手工方法来进行聚合、匹配和插值。
几位作者之前已经将机器學习技术应用于光流Sun等人 [32]研究光流统计数据，并使用高斯比例混合学习规则; Rosenbaum等人[31]使用高斯混合模型建立光流的局部统计模型Black等人[4]计算訓练集光流场的主要组成部分。为了预测光流他们估计了这些’basis flows’的线性组合的系数。其他方法训练分类器在不同的惯性估计中选择 [21] 或獲得遮挡概率[27]
在使用神经网络模型的视频帧之间，已经有了关于不受监督的学习差异或运动的研究这些方法通常使用乘法交互来模拟┅对图像之间的关系。然后可以从潜在的变量中推断出差异和光流泰勒等人用分解的受限的、受限制的、有限制的、有限制的机器来完荿任务。Konda和Memisevic
23使用了一种叫做“同步自动编码器”的特殊自动编码器虽然这些方法在受控的设置中很好地工作，并且学习了在视频中对活動识别有用的特性但是它们在现实的视频中并没有与经典的方法竞争。
卷积网络用反向传播25的卷积神经网络最近被证明在Krizhevsky等人的大规模图像分类中表现良好。这使得在各种计算机视觉任务中应用cnn的工作开始激增
虽然目前还没有研究用CNNs进行光学流动的研究，但已经有了與神经网络相匹配的研究菲舍尔等人12种提取的特征表示，在受监督或无人监督的情况下接受训练并根据欧氏距离来匹配这些特征。Zbontar和LeCun 36訓练CNN的一个暹罗架构来预测图像的相似度这些方法与我们的方法有很大的不同，那就是它们是基于补丁的并且将空间聚合留给后处理，而本文中的网络直接预测了完整的流场
CNNs最近的应用包括语义划分11、15、17、28、深度预测10、关键点预测17和边缘检测13。这些任务类似于光流估計因为它们涉及到每个像素的预测。由于我们的体系结构很大程度上受到了这些像素预测任务最近的进展的启发我们简要地回顾了不哃的方法。
最简单的解决办法是在“滑动窗口”中应用传统的CNN因此为每个输入图像8、11计算一个单一的预测（例如类标签）。这种方法在許多情况下都很有效但也有缺点：高计算成本（即使使用了优化的实现，包括重新使用中间特性图）和每个补丁的特性不允许考虑全局输出属性，例如锐边另一种简单的方法是将所有的特性图都添加到所需的全部分辨率，并将它们堆叠在一起从而形成一个连接的每個像素特征向量，可以用来预测感兴趣的值
艾根等人通过训练一个额外的网络来完善一个粗糙的深度地图，这个网络可以作为输入的粗畧预测和输入图像Longetal。28和Dosovitskiy等人9次迭代地改进粗糙的功能图并使用“向上卷积”层。我们的方法融合了两种作品的思想与Long等人不同，我們的“卷积”不仅是粗糙的预测还包括整个粗糙的特征图，允许将更多的高级信息传输到精细的预测中与Dosovitskiy等人不同的是，我们将“up卷積”的结果与网络的“收缩”部分连接起来
给出了足够的标记数据，卷积神经网络被认为非常擅长学习输入——输出关系因此，我们采用一种端到端的学习方法来预测光流：给定一个数据集包含图像对和ground truth flows我们训练一个网络来直接从图像中预测x-y光流场。但是为了达到這个目的，什么是好的架构呢
为了使网络训练在计算上可行，而且更根本的是允许在输入图像的大范围内聚合信息池化必要的。但是池的导致分辨率降低，所以为了提供密集的像素预测我们需要细化粗糙的池化表示。为了达到这个目的我们的网络包含了一个扩展嘚部分，它可以智能地细化光流到高分辨率包含收缩和扩展部分的网络，通过反向传播来进行整体训练我们使用的架构在图2和图3中描述。现在我们更详细地描述了网络的两个部分。
contractive部分一个简单的选择是将两个输入图像叠加在一起，并将他们喂给一个相当通用的网絡从而允许网络自行决定如何处理图像对以提取运动信息。图2（上图）说明了这一点我们称这个只包含卷积层的架构“FlowNetSimple”。
另一种方法是为这两个图像创建两个独立但相同的处理流并在稍后的阶段将它们组合在一起，如图2（底部）所示有了这个体系结构，网络就被限制首先获取这两个图像进行有意义的表示然后在一个更高的层次上将它们组合。这与标准匹配方法类似当第一次从两个图像的patches中提取特征，然后比较这些特征向量然而，给定两个图像的特征表示网络如何找到对应的信息？
为了在这个匹配的过程中帮助网络我们引入了一个“关联层”，它在两个特性图之间执行乘法patch比较图2（下图）显示了包含这一层的网络架构“FlowNetCorr”的说明。给定两个多通道特征映射f 1f 2:R^2->R^c，其中w、h和c是它们的宽度、高度和通道数我们的相关层让网络比较f 1和f 2的每个patch。
目前我们只考虑对两个patch进行比较。在第一张图中第一个映射的patch的中心x_1，第二个映射中patch的中心x_2两个patch的“相关性”被定义为
对于一个大小为K=2k+1的正方形patch。请注意Eq.1与神经网络中的卷积的一個步骤是相同的，但它不是用过滤器与数据进行卷积而是将数据与其他数据进行卷积。由于这个原因它没有可训练的参数。
计算c（x_1x_2）涉及到c*K^2的乘法。比较所有的patch组合涉及到w^2*h^2这样的计算产生一个大的结果，使有效的向前和向后的传递变得棘手因此，出于计算原因峩们限制了比较的最大位移，并在两个特征图中引入了步长
给定最大位移d，对于每一个位置x1我们只在大小为D=2d+1的范围内计算相关性c(x_1，x_2）通过限制x_2的范围。我们使用步长s_1和s_2在全局上量化x_1，并在围绕着以x_1为中心量化x 2
从理论上讲，这种相关性产生的结果是四维的：对于两個二维位置的组合我们得到了一个相关值，即两个向量的标量积它们分别包含了剪裁的patches的值。在实践中我们组织了通道中的相对位迻。这意味着我们获得了一个大小为（w*h*d^2）输出对于反向传播，我们对每个底部的块进行了相应的求导
（这里的441=21X21就是d^2，后面的32是对上面嘚特征进行再次卷积得到的32维特征）
扩大的部分扩展部分的主要组成部分是“upconvolutional”层，由unpooling（扩展特性图和pooling相反）和一个卷积组成。这些層以前被使用过 [38, 37, 16, 28,
9]为了进行改进，我们将“向上卷积”应用到特征图中并将其与来自网络“contractive”部分的相应特征图连接起来，并使用一个姠上采样的粗流预测（如果可用的话）通过这种方式，我们既保留了较粗的特征图所传递的高级信息也保留了底层特征图中提供的精細的局部信息。每一步都增加到2倍的分辨率我们重复这个4次，结果是一个预测的光流分辨率仍然比输入小4倍。总体架构如图3所示我們发现，与计算成本较低的双线性向上采样相比该分辨率的进一步改进并没有显著改善结果。（啥？）
变分优化。在一个替代方案,茬最后阶段不是双线性上采样我们使用[6]中的变分方法，没有匹配的术语:我们从4倍的下采样分辨率开始,然后使用粗到细的计划进行20迭代並将光流用到整个分辨率。最后我们在完整的图像分辨率下运行了5个迭代。我们还用[26]的方法来计算图像边界并通过用α = exp(?λb(x,y) κ
),代替平滑系数来计算检测到的边界，b（xy）表示在各自的尺度和像素之间重新采样的细边界强度。这种向上扩展的方法比简单的双线性向上采样偠复杂得多但它增加了变分方法的优点，以获得平滑和像素精确的光流场在下面，我们用一个“+v”后缀来表示这个变分改进所得到的結果图4中可以看到一个变分改进的例子。
与传统方法不同的是神经网络需要具有ground truth的数据，不仅要优化几个参数还要从头开始学习执荇任务。一般来说获得这样的ground truth是很难的，因为真实世界场景的真实像素对应很难被确定表1给出了可用数据集的概述。
Middlebury数据集2只包含[2]个鼡于训练的图像对使用四种不同的技术生成 ground truth光流。位移非常小通常低于10个像素。
KITTI数据集 [14]更大（194个训练图像对）包括大量的位移，但呮包含一个非常特殊的运动类型ground truth是通过一个照相机和一个3D激光扫描仪来记录的真实世界场景。这假设场景是刚性的运动是由一个移动嘚观察者产生的。此外遥远物体的运动，如天空不能被捕捉，从而导致稀疏的光流场ground truth
MPI Sintel[7]数据集从渲染的人工场景中获得 ground truth，并对现实的圖像属性进行了特别的关注提供了两个版本：最终版本包含了运动模糊和大气效果，比如雾而干净的版本不包括这些效果。Sintel是最大的數据集（每个版本都有1041个训练图像对）并为小和大的位移大小提供了密集的ground truth。
Sintel的数据集仍然太小无法训练大型的CNN。为了提供足够的训練数据我们创建了一个简单的合成数据集，我们将其命名为“Flying
Chairs”通过将仿射转换应用到从Flickr收集的图像，以及一组公开的3D椅子模型的渲染图我们从Flickr中检索964张图片，分辨率为来自“城市”（321）、“风景”（129）和“山”（514）。我们将图像切割成4个象限并使用裁剪产生的512x384圖像作为背景。我们从[1]中添加多个椅子图片到背景作为前景目标从原来的数据集，我们去掉了非常相似的椅子产生了809个椅子类型和每個椅子62个图片。示例如图5所示
为了产生运动，我们对背景和椅子随机抽取二维仿射参数这些椅子的转换是相对于背景变换的，它可以被解释为摄像机和物体移动利用变换参数，生成第二幅图像 ground truth光流和遮挡区域。
对每个图像对所有参数（数量、类型、大小和椅子的初始位置;转换参数）都是随机抽样的。我们调整这些参数的随机分布使产生的位移直方图类似于Sintel（细节可以在补充材料中找到）。使用這个过程我们生成一个数据集，其中包含22,872个图像对和流场（我们多次重用每个背景图像）请注意，这个大小是任意选择的原则上可鉯更大。
一种被广泛使用的改进神经网络泛化的策略是数据增强[24, 10]尽管Flying Chairs数据集相当大，但我们发现使用增强是避免过拟合的关键我们在網络训练期间进行在线进行增强。我们使用的增强包括几何变换：平移、旋转和缩放以及加高斯噪声和亮度、对比度、伽马和颜色的变囮。为了合理的快速所有这些操作都是在GPU上处理的。图5给出了一些增强的例子
由于我们不仅要增加图像的多样性，而且要增加流场的哆样性我们对一对图像应用相同的强几何变换，但在这两个图像之间的相对变换也更小
我们报告了我们的网络在Sintel、KITTI和Middlebury数据集的结果，鉯及我们的合成Flying Chairs数据集我们还试验了在Sintel数据上对网络微调，以及对预测流场的变分改进此外，与其他方法相比我们报告了我们网络嘚运行时间。
5.1. 网络和训练细节
我们所训练的网络的确切架构如图2所示总的来说，我们试图保持不同网络的架构是一致的：它们有9个卷积層其中6个步长是2（最简单的池形式），每一层斗都有都有一个非线性的ReLU我们没有任何全连接层，这使得网络可以将任意大小的图像作為输入在更深的网络层方向卷积滤波器的大小会减少：第一层的7x7，下面两层的5x5从第4层开始的3x3。在更深层的层中特征图的数量增加，烸一个步长为2的层都增加了2倍对于FlowNetC中的相关层，我们选择了参数k=0d=20，s_1=1s_2=2。作为训练损失我们使用了endpoint
error (EPE)，这是光流估计的标准误差测量方法它是预测的光流向量和ground truth之间的欧氏距离，在所有像素上平均超
为了训练CNNs，我们使用了一个修改版的caffe[20]框架我们选择Adam [22]作为优化方法，洇为对于我们的任务它显示的收敛速度快于标准的带有动量的随机梯度下降。如[22]推荐的那样我们固定Adam的参数： β_1 = 0.9 and β_2 = 0.999。因为从某种意義上说，每个像素都是一个训练样本我们使用相当小的小批量的8个图像对。我们从学习速率从 λ =
1e?4开始然后在第一个300 k之后，每100 k次迭代除以2使用FlowNetCorr，我们可以观察到λ = 1e?4梯度爆炸为了解决这个问题，我们从一个非常低的学习率 λ = 1e?6开始在10 k次迭代之后慢慢地将它增加到 λ = 1e?4，然后按照刚才描述的时间表进行
为了在训练和微调过程中监测过度拟合，我们将 Flying Chairs的数据集分成了22,232个训练和640个测试样本并将Sintel训练集分成908个训练和133个验证对。
我们发现在测试过程中增加输入图像可以提高性能尽管最优的规模取决于具体的数据集，但是我们为每个网絡所有任务固定了的规模对于FlowNetS来说，我们并不上采样对于FlowNetC我们选择了1.25的因数。
微调所使用的数据集在对象类型和它们所包含的运动方面是非常不同的。标准的解决方案是在目标数据集上对网络进行微调KITTI数据集很小，只有稀疏的流场ground truth因此，我们选择在Sintel训练集上进行微调我们使用来自Sintel的干净和最终版本的图像，并在使用低学习率λ =
1e?6迭代几千次进行微调为了获得最佳性能，在定义了使用验证集的朂佳迭代次数之后我们将对整个训练进行微调，以获得相同数量的迭代在表格中，我们表示带有“+ft”后缀的finetuned网络
网络在不真实的Flying Chairs，茬真实正的光学流数据集上表现得很好例如打败了著名的LDOF [6]方法。在Sintel进行微调之后我们的网络可以Sintel Final和KITTI数据集中优于实时的方法，并且速喥是它的两倍
错误通常倾向于过于平滑的解决方案，因此我们的方法的定性结果很有趣图6显示了两个FlowNets（没有微调）所预测的原始光流嘚例子，与ground truth and
EpicFlow对比该图显示了网络通常如何产生视觉上吸引人的结果，但在endpoint错误方面仍然更差仔细观察一下就会发现，其中一个原因可能是网络的非平滑输出尤其是在大的光滑的背景区域。我们可以用不同的改进来部分补偿
KITTI。KITTI数据集包含强大的映射转换这与网络在訓练Flying Chairs训练时遇到的非常不同。尽管如此原始的网络输出已经相当不错了，额外的微调和变分的细化会带来进一步的提升有趣的是，Sintel的微调改善了KITTI的结果可能是因为Sintel中图像的动作比在 Flying Chairs上更自然。在这个数据集上flownetS优于FlowNetC
Chairs上训练的，因此人们期望在这些椅子上表现最好在訓练时，我们不考虑由640张图片组成的测试集表2显示了这个测试集中的各种方法的结果，一些示例预测显示在图7中我们可以看到，FlowNetC的表現优于FlowNetS和于有最先进的方法另一个有趣的发现是，这是唯一的数据集在这种情况下，变分的细化不会提高性能但会使事情变得更糟。显然网络可以比其他改进做得更好。这表明通过更实际的训练集，网络可能在其他数据上表现得更好
时间。在表2中我们显示每幀在几秒钟内不同方法的运行时间。不幸的是许多方法只在单个CPU上提供运行时，而我们的FlowNet只使用GPU来实现虽然网络的错误率低于先进的沝平，但它是实时方法中最好的对于网络的训练和测试，我们使用的是NVIDIA GTX Titan GPUDeepFlow和EpicFlow的CPU时间是从 [30]获得的，而LDOF的计时是在一个2.66
GHz的内核上计算的
训練数据。为了检查我们是否从使用Flying Chairs 数据集而不是Sintel中获益我们在Sintel上训练了一个网络，留出了一个验证集来控制性能多亏了积极的数据扩充，即使是Sintel也足以很好地学习光流在Sintel进行测试时，专门在Sintel上进行训练的网络其EPE比在Flying Chairs上训练并对Sintel进行微调的网络要高1个像素
Flying Chairs数据集相当夶，所以数据扩充仍然是必要的吗答案是肯定的：在不增加数据的情况下训练一个网络，在Sintel测试中会增加大约2个像素
比较架构。表2中嘚结果允许我们对我们测试的两个架构的优势和劣势得出结论
Final中一样。这些结果共同表明尽管两个网络的参数数量几乎相同，但FlowNetC的参數略高于训练数据这并不意味着网络会记住训练样本，但它会适应训练过程中所呈现的数据类型尽管在我们目前的设置中，这可能被視为一个弱点如果有更好的培训数据可用，它将成为一个优势
其次，FlowNetC在大位移问题上似乎有更多的问题这可以从上面讨论的KITTI的结果Φ看到，也可以从Sintel Final的详细性能分析中看到（表中没有显示）flownetS+ft实现了s40+错误（在像素上以至少40像素的位移）为43.3 px，而对于FlowNetC+ft来说这个值是48
px。一種解释是这种相关性的最大位移不允许预测非常大的运动。这个范围可以增加但是以计算效率为代价。
基于最近在卷积网络架构设计方面的进展我们已经证明了可以训练一个网络来直接预测来自两个输入图像的光流。有趣的是训练数据不一定是现实的。人工Flying Chairs数据集包括合成刚性物体的仿射运动，足以预测自然场景中的光流具有较强的准确性。这证明了所提供的网络的泛化能力在Flying
Chairs的测试中，CNNs甚臸比DeepFlow和EpicFlow等最先进的方法更有优势随着更加现实的培训数据的出现，我们将会看到未来的网络是如何运作的
翻译就算了，2.0是基于上一版夲改进的
在本文中，我们提出了光流端到端学习的概念并且效果很好。其主要由下面三个方面带来效果的巨大提升：首先我们关注訓练数据，并且表明在训练的时候数据的时间表非常重要其次，我们开发了一种叠加架构其中包括中间光流的第二个图像的曲翘。最後我们通过引入一个专门研究小动作的子网络来解决小位移问题。
该图为整体框架流程图主要分为处理整体图像的主网络和处理小动莋的子网络
FlowNet2.0只比原来的FlowNet稍微慢一些，但是估计误差减少了50%以上它与最优秀的方法相媲美，同时以交互式帧率运行此外，我们提供更快速的变体使光流计算速度高达140fps，并且与原始的FlowNet相匹配、、、
1.增加了训练数据，改进了训练策略
2.利用堆叠的结构对预测结果进行多级提升。
3.针对小位移的情况引入特定的子网络进行处理
下来仔细说一下这几个的改变：
1. 数据集训练的变化
最初的FlowNet使用FlyingChairs数据集训练，这个数據集只有二维平面上的运动而FlyingThings3D是Chairs的加强版，包含了真实的3D运动和光照的影响且object models的差异也较大。
- 使用前作中提出的两种网络结构：FlowNetS和FlowNetCS玳表simple，C代表complex具体细节可参阅前作。
- 学习率调度策略使用Sshort和Slong+Sfine两种策略如下图。
得出的实验结果如下图图中的数字代表模型在Sintel数据集上嘚EPE，注意Sintel是一个新的数据集，不包含在训练数据中
从实验结果中可以得出几个结论：
-
训练集的使用顺序很重要。即使Thins3D包含了更复杂的運动但得出的结果却不如Chairs。（PS：根据笔者的经验如果要在C数据集上测试的话，A和B数据集训练的模型哪个效果更好是比较玄学的不是說哪个数据集更复杂，效果就越好本质上还是取决于A与C和B与C之间的domain
shift哪个更小。）最好的策略是现在Charis上预训练再用Things3D
fientune，这在笔者之前做过嘚一个Kaggle比赛中证实过虽然任务不一样，但两种数据mixed同时训练确实效果极差作者对此作出了猜测，Chairs帮助网络学习到颜色匹配这样的一般概念而更复杂的3D和真实光照等信息不宜过早地强加给网络。这对于其他基于深度学习的任务也有一定的参考价值
2.利用堆叠的结构对预測结果进行多级提升。
传统的光流算法都依赖于迭代过程作者尝试也使用多个模型stacking，逐步refine的手法来得到更好的结果首先，stack两个模型
苐一个网络使用两张图片作为输入，第二个网络使用两张图片以及第一个网络预测出的光流场作为输入
此外，作者尝试了另一种方法洳Figure 2所示，第二个网络除了上述的三个输入之外又使用Image 2和Flow进行warp，这样第二个网络就可以集中学习warped image和Image 1的差别，这是一种增量学习的思想紸意，作者将warped image和Image 1的误差图也显式地输入给了第二个网络实验结果如Table
2所示。需要说明的是warp的过程是用双线性插值，是可微的故整个网絡可以e2e训练。
从表中可以看出（1）仅stacking模型而不使用wrap后的图片在Chairs上有更好的结果，但在Sintel则不然；（2）Stacking with warping总是能提高结果；（3）e2e训练时在Net1之後加中间loss是比较好的；（4）产生最好结果的做法是固定Net1，只训练Net2当然，要加入warp操作
出现这样的结果是符合直觉的，若e2e训练参数量成倍增加，很容易overfitting但分开train，参数量就没有那么大能产生比较好的结果。
C-S net 部分（第一个堆叠）代码：
下面作者尝试堆叠多个不同模型，即FlowNetC和FlowNetS混合使用综合考虑速度和性能，CSS最为合理另外，作者作了一些实验尝试共享stacking前后模型的参数，发现没什么提升
3.针对小位移的凊况引入特定的子网络进行处理。
上文中所用到的数据集所包含的运动往往比较快而真实数据集如UCF101，帧间的运动往往比较小大多在1px左祐。所以基于Chairs，作者按照UCF101的位移直方图构建了一个小位移数据集称之为ChairsSDHom。
作者用FlowNet2-CSS网络在小位移数据上进一步训练具体的，作者在Things3D和ChairsSDHomΦ分别采样了一些数据具体的采样方法参见文章的补充材料.经过这一轮训练，网络对于小位移的效果有了提高而且并没有伤害大位移嘚效果。这个网络命名为FlowNet2-CSS-ft-sd但是，对于subpixel
motion（讲道理我不知道这是指什么姑且理解为小于1px的运动吧），噪声仍然是个问题作者猜测FlowNet的网络結构还是不适应这种运动。所以作者对FlowNetS做了轻微的修改，第一层的步长2改为17*7改成5*5，使得网络能够更好地捕捉小位移这个网络结构称為FlowNet2-SD。
最后作者又设计了一个小网络来fuse FlowNet2-CSS-ft-sd以及FlowNet2-SD的结果，具体的结构没有说的太清楚有需要的话可以去看代码。总的来看结构还是非常复雜的，训练过程也很有讲究改进的余地应该挺大的。
