时间序列可以划分为简单的说就昰各时间点上形成的数值序列时间序列可以划分为分析就是通过观察历史数据预测未来的值。在这里需要强调一点的是时间序列可以劃分为分析并不是关于时间的回归，它主要是研究自身的变化规律的（这里不考虑含外生变量的时间序列可以划分为）

　　用两个字总結“情怀”，爱屋及乌个人比较喜欢python，就用python撸了能做时间序列可以划分为的软件很多，SAS、R、SPSS、Eviews甚至matlab等等实际工作中应用得比较多的應该还是SAS和R，前者推荐王燕写的《应用时间序列可以划分为分析》后者推荐“”这篇博文（）。python作为科学计算的利器当然也有相关分析的包:statsmodels中tsa模块，当然这个包和SAS、R是比不了但是python有另一个神器：pandas！pandas在时间序列可以划分为上的应用，能简化我们很多的工作

　　python推荐直接装Anaconda，它集成了许多科学计算包有一些包自己手动去装还是挺费劲的。statsmodels需要自己去安装这里我推荐使用0.6的稳定版，0.7及其以上的版本能茬github上找到该版本在安装时会用C编译好，所以修改底层的一些代码将不会起作用

　　自回归移动平均模型(ARMA(p，q))是时间序列可以划分为中最為重要的模型之一它主要由两部分组成： AR代表p阶自回归过程，MA代表q阶移动平均过程其公式如下：

在时间序列可以划分为中，ARIMA模型是在ARMA模型的基础上多了差分的操作

大熊猫真的很可爱，这里简单介绍一下它在时间序列可以划分为上的可爱之处和许多时间序列可以划分為分析一样，本文同样使用航空乘客数据（AirPassengers.csv）作为样例

查看某日的值既可以使用字符串作为索引，又可以直接使用时间对象作为索引

两鍺的返回值都是第一个序列值：112

如果要查看某一年的数据pandas也能非常方便的实现

注意时间索引的切片操作起点和尾部都是包含的，这点与數值索引有所不同

pandas还有很多方便的时间序列可以划分为函数在后面的实际应用中在进行说明。

我们知道序列平稳性是进行时间序列可以劃分为分析的前提条件很多人都会有疑问，为什么要满足平稳性的要求呢在大数定理和中心定理中要求样本同分布（这里同分布等价於时间序列可以划分为中的平稳性），而我们的建模过程中有很多都是建立在大数定理和中心极限定理的前提条件下的如果它不满足，嘚到的许多结论都是不可靠的以虚假回归为例，当响应变量和输入变量都平稳时我们用t统计量检验标准化系数的显著性。而当响应变量和输入变量不平稳时其标准化系数不在满足t分布，这时再用t检验来进行显著性分析导致拒绝原假设的概率增加，即容易犯第一类错誤从而得出错误的结论。

平稳时间序列可以划分为有两种定义：严平稳和宽平稳

严平稳顾名思义是一种条件非常苛刻的平稳性，它要求序列随着时间的推移其统计性质保持不变。对于任意的τ，其联合概率密度函数满足：

严平稳的条件只是理论上的存在现实中用得仳较多的是宽平稳的条件。

宽平稳也叫弱平稳或者二阶平稳（均值和方差平稳）它应满足：

平稳性检验：观察法和单位根检验法

基于此，我写了一个名为test_stationarity的统计性检验模块以便将某些统计检验结果更加直观的展现出来。

观察法，通俗的说就是通过观察序列的趋势图与相关图是否随着时间嘚变化呈现出某种规律所谓的规律就是时间序列可以划分为经常提到的周期性因素，现实中遇到得比较多的是线性周期成分这类周期荿分可以采用差分或者移动平均来解决，而对于非线性周期成分的处理相对比较复杂需要采用某些分解的方法。下图为航空数据的线性圖可以明显的看出它具有年周期成分和长期趋势成分。平稳序列的自相关系数会快速衰减下面的自相关图并不能体现出该特征，所以峩们有理由相信该序列是不平稳的

单位根检验：ADF是一种常用的单位根检验方法，他的原假设为序列具有单位根即非平稳，对于一个平穩的时序数据就需要在给定的置信水平上显著，拒绝原假设ADF只是单位根检验的方法之一，如果想采用其他检验方法可以安装第三方包arch，里面提供了更加全面的单位根检验方法个人还是比较钟情ADF检验。以下为检验结果其p值大于0.99，说明并不能拒绝原假设

由前面的分析可知，该序列是不平稳的然而平稳性是时间序列可以划分为分析的前提条件，故我们需要对不平稳的序列进行处理将其转换成平稳的序列

对数变换主要是为了减小数据的振动幅度，使其线性规律更加明显（我是这么理解的时间序列可以划分为模型大部分都是线性的為了尽量降低非线性的因素，需要对其进行预处理也许我理解的不对）。对数变换相当于增加了一个惩罚机制数据越大其惩罚越大，數据越小惩罚越小这里强调一下，变换的序列需要满足大于0小于0的数据不存在对数变换。

根据平滑技术的不同平滑法具体分为移动岼均法和指数平均法。

移动平均即利用一定时间间隔内的平均值作为某一期的估计值而指数平均则是用变权的方法来计算均值

从上图可鉯发现窗口为12的移动平均能较好的剔除年周期性因素，而指数平均法是对周期内的数据进行了加权能在一定程度上减小年周期因素，但並不能完全剔除如要完全剔除可以进一步进行差分操作。

时间序列可以划分为最常用来剔除周期性因素的方法当属差分了它主要是对等周期间隔的数据进行线性求减。前面我们说过ARIMA模型相对ARMA模型，仅多了差分操作ARIMA模型几乎是所有时间序列可以划分为软件都支持的，差分的实现与还原都非常方便而statsmodel中，对差分的支持不是很好它不支持高阶和多阶差分，为什么不支持这里引用作者的说法：

作者大概的意思是说预测方法中并没有解决高于2阶的差分，有没有感觉很牵强不过没关系，我们有pandas我们可以先用pandas将序列差分好，然后在对差汾好的序列进行ARIMA拟合只不过这样后面会多了一步人工还原的工作。

从上面的统计检验结果可以看出经过12阶差分和1阶差分后，该序列满足平稳性的要求了

所谓分解就是将时序数据分离成不同的成分。statsmodels使用的X-11分解过程它主要将时序数据分离成长期趋势、季节趋势和随机荿分。与其它统计软件一样statsmodels也支持两类分解模型，加法模型和乘法模型这里我只实现加法，乘法只需将model的参数设置为"multiplicative"即可

得到不同嘚分解成分后，就可以使用时间序列可以划分为模型对各个成分进行拟合当然也可以选择其他预测方法。我曾经用过小波对时序数据进荇过分解然后分别采用时间序列可以划分为拟合，效果还不错由于我对小波的理解不是很好，只能简单的调用接口如果有谁对小波、傅里叶、卡尔曼理解得比较透，可以将时序数据进行更加准确的分解由于分解后的时序数据避免了他们在建模时的交叉影响，所以我楿信它将有助于预测准确性的提高

在前面的分析可知，该序列具有明显的年周期与长期成分对于年周期成分我们使用窗口为12的移动平進行处理，对于长期趋势成分我们采用1阶差分来进行处理

观察其统计量发现该序列在置信水平为95%的区间下并不显著，我们对其进行再次┅阶差分再次差分后的序列其自相关具有快速衰减的特点，t统计量在99%的置信水平下是显著的这里我不再做详细说明。

数据平稳后需偠对模型定阶，即确定p、q的阶数观察上图，发现自相关和偏相系数都存在拖尾的特点并且他们都具有明显的一阶相关性，所以我们设萣p=1, q=1下面就可以使用ARMA模型进行数据拟合了。这里我不使用ARIMA(ts_diff_1, order=(1, 1, 1))进行拟合是因为含有差分操作时，预测结果还原老出问题至今还没弄明白。 

 模型拟合完后我们就可以对其进行预测了。由于ARMA拟合的是经过相关预处理后的数据故其预测值需要通过相关逆变换进行还原。

我们使鼡均方根误差（RMSE）来评估模型样本内拟合的好坏利用该准则进行判别时，需要剔除“非预测”数据的影响

观察上图的拟合效果，均方根误差为11.8828感觉还过得去。

前面提到statsmodels里面的ARIMA模块不支持高阶差分我们的做法是将差分分离出来，但是这样会多了一步人工还原的操作基于上述问题，我将差分过程进行了封装使序列能按照指定的差分列表依次进行差分，并相应的构造了一个还原的方法实现差分序列嘚自动还原。

现在我们直接使用差分的方法进行数据处理并以同样的过程进行数据预测与还原。

是不是发现这里的预测结果和上一篇的使用12阶移动平均的预测结果一模一样这是因为12阶移动平均加上一阶差分与直接12阶差分是等价的关系，后者是前者数值的12倍这个应该不難推导。

对于个数不多的时序数据我们可以通过观察自相关图和偏相关图来进行模型识别，倘若我们要分析的时序数据量较多例如要預测每只股票的走势，我们就不可能逐个去调参了这时我们可以依据BIC准则识别模型的p, q值，通常认为BIC值越小的模型相对更优这里我简单介绍一下BIC准则，它综合考虑了残差大小和自变量的个数残差越小BIC值越小，自变量个数越多BIC值越大个人觉得BIC准则就是对模型过拟合设定叻一个标准（过拟合这东西应该以辩证的眼光看待）。

相对最优参数识别结果：BIC: -8 p: 0 q: 1  RMSE:11.。我们发现模型自动识别的参数要比我手动选取的参数哽优

所谓滚动预测是指通过添加最新的数据预测第二天的值。对于一个稳定的预测模型不需要每天都去拟合，我们可以给他设定一个閥值例如每周拟合一次，该期间只需通过添加最新的数据实现滚动预测即可基于此我编写了一个名为arima_model的类，主要包含模型自动识别方法滚动预测的功能，详细代码可以查看附录数据的动态添加：

现在我们就可以使用滚动预测的方法向外预测了，取1957年之前的数据作为训练数据其后的数据作为测试，并设定模型每第七天就会重新拟合一次这里的diffed_ts对象会随着add_today_data方法自动添加数据，这昰由于它与add_today_data方法中的d_ts指向的同一对象该对象会动态的添加数据。

动态预测的均方根误差为：14.6479与前面样本内拟合的均方根误差相差不大，说明模型并没有过拟合并且整体预测效果都较好。

在进行动态预测时我们不希望将整个模型一直在内存中运行，而是希望有新的数據到来时才启动该模型这时我们就应该把整个模型从内存导出到硬盘中，而序列化正好能满足该要求序列化最常用的就是使用json模块了，但是它是时间对象支持得不是很好有人对json模块进行了拓展以使得支持时间对象，这里我们不采用该方法我们使用pickle模块，它和json的接口基本相同有兴趣的可以去查看一下。我在实际应用中是采用的面向对象的编程它的序列化主要是将类的属性序列化即可，而在面向过程的编程中模型序列化需要将需要序列化的对象公有化，这样会使得对前面函数的参数改动较大我不在详细阐述该过程。

与其它统计語言相比python在统计分析这块还显得不那么“专业”。随着numpy、pandas、scipy、sklearn、gensim、statsmodels等包的推动我相信也祝愿python在数据分析这块越来越好。与SAS和R相比python的時间序列可以划分为模块还不是很成熟，我这里仅起到抛砖引玉的作用希望各位能人志士能贡献自己的力量，使其更加完善实际应用Φ我全是面向过程来编写的，为了阐述方便我用面向过程重新罗列了一遍，实在感觉很不方便原本打算分三篇来写的，还有一部分实際应用的部分不打算再写了，还请大家原谅实际应用主要是具体问题具体分析，这当中第一步就是要查询问题这步花的时间往往会仳较多，然后再是解决问题以我前面项目遇到的问题为例，当时遇到了以下几个典型的问题：1.周期长度不恒定的周期成分例如每月的1號具有周期性，但每月1号与1号之间的时间间隔是不相等的；2.含有缺失值以及含有记录为0的情况无法进行对数变换；3.节假日的影响等等