• 自动生成视频字幕是一项基本的计算机视觉的任务，最近使用CNN和RNN技术解决该任务這些方法主要关注于使用RNN序列学习方法生成更好的字幕，但却忽略了使用CNN提取特征的重要性我们精心设计了一个视觉特征编码的机制以輔助RUGs产生语义丰富的字幕。我们的方法将丰富的时空动态特征使用Short Fourier Transform短时傅里叶转换的方法为整个视频提取CNN特征使用一个物体检测器获取高层语义信息以丰富检测物体的时序动态变化。实验结果表明使用相对简单的两层GRU层建立一个模型即可在MSVD和MSR-VTT数据集上获得sota的效果

• Early methods：主要模型是SVO-Triplet，即Subject-Verb-Object分别检测这三个部分然后组合到一个句子模板中。Kojima等人解决一个人做一个动作的视频描述工作严重依赖于动作检测和状态轉移模型，无法解决复杂视频描述问题Hanckmann等人提出了自动描述多动作视频的方法。
  Krishnamoorthy等人提出开放域视频描述解决方案Guadarrama等人建模动作、物體和表演者之间关系已生成语义层次信息。Rohrbach等人使用CRF建模视觉实体和描述文本之间关系然而这些工作都依赖于预先设定好的语言模板，將检测的实体填入模板生成句子这样的方法不够灵活，无法描述开放域视频中的丰富语义信息
• Deep Learning：使用经典的神经机器翻译系统生成单個句子或者多个句子，CNN编码视觉上下文特征RNN解码下一个单词的选择问题。因为生成语义正确的句子是NLP的一个长期任务因此在视频字幕任务中更偏向解决解码问题，而对于编码问题无非就是使用2D CNN提取视频frame-level特征，使用3D pooling计算整个视频的最终表示比如LSTM-YT使用平均池化所有视频幀的视觉信息后输入到LSTM中。LSTM-E探索了视觉上下文和句子语义之间的相关性尽管使用2D和3DCNN提取特征，但平均池化的操作还是忽视了时间动态信息TA使用注意力机制为每一帧分配权重解决了这个问题。S2VT基本建立了常用的基础模型SCN-LSTM提出语义聚合网络可以检测平均池化后的视觉上下攵中的语义概念信息然后输入到语言模型中生成更多相关的词语。LSTM-TSA提出了一个转换单元能够提取画面和平均池化后的片段中的语义属性作為附加信息提升生成字幕的质量M3-VC则使用多模态记忆网络聚合长期的视觉和文本依赖指导视觉注意力机制。
• 而本文是第一个关注于提高编碼机制以解决视频字幕任务的工作本文提出了一个视觉编码机制，使用时空动态信息丰富表征解释说明视频的高层语义信息。我们的視觉编码有2D和3D输入源应用短时傅里叶转换在InceptionResNetv2和C3D上，使用Object Detector（YOLO）提取编码物体的位置和多层物体信息丰富语义信息。然后像其他工作一样使用双层GRU作为语言模型在MSVD和MSR-VTT数据集上分别在METEOR和ROUGE-L提高了2.64%和2.44%。

v=[α;β;γ;η]作为视频的最终表征 F是视频帧2D特征的激活向量，$$C是视频片段3D特征的噭活向量是使用层次短时序转换后得到视频的动态编码特征$$C3D的fc6层得到的。使用层次形式的傅里叶转换已经在动作识别中使用这是第一佽迁移到视频字幕任务中。
• 之后使用如全连接层等作为激活视觉特征的方法可以区分高层视频特征的转换信息，因此我们的特征更能作為判别式编码信息使用其输出标签可以看作是提取特征的另一种映射，输出层的语义信息也可在视频字幕中作为输出层的一种属性
YOLO作為物体检测，使用$$多物体标签和在不同帧中的位置信息也可以作为细节嵌入到视觉编码中辅助细粒度分类。对于物体的动作信息的检测也可鉯使用3D CNN获取并丰富之前的视频编码信息，作为新的3D CNN特征这些物体的细节信息作为相关高层语义信息$$γ输入到视频字幕系统的序列学习中。
• 将这些信息使用全连接层和tanh激活函数嵌入到2k维空间