本发明涉及一种费控成功率公式提升分析方法尤其涉及一种基于集成学习的费控成功率公式提升分析方法。

随着电网智能电能表的更换、用电信息采集系统及费控系统嘚运作居民用电的费用测算与用电管理已经实现了全面的自动化，且在运作过程中积累了大量的运维数据其中，费控管理系统涉及采集、费控、平台多个系统对于进一步提升信息化建设、支撑深化费控指标提升工作具有非常重要的作用。

然而现有费控管理系统操作量巨大，需根据费控测算的信息采集对电能表进行停复电在停电指令下达后，系统只能够返回执行的结果不能够对造成失败的原因进荇总结，不仅造成了费控成功率公式低还不能够及时的解决问题，运维效率低下具体表现在以下几个方面：

1)远程费控执行成功率公式較低

存在大量因档案错误、通信故障、设备故障、系统故障等原因造成的费控失败，严重影响费控成功率公式的提升容易引发因费控失敗造成的客户投诉。

2)系统功能实用性不强

有的菜单功能分散费控成功率公式、费控未覆盖用户明细等关键指标数据统计查询功能缺失，基层单位手工统计工作量大

3)缺乏费控执行事前预测机制

由于缺乏费控执行事前预测机制，造成大量可能会失败的费控工单下发采集执行进一步拉低了费控执行成功率公式。

4)缺乏事后智能化分析手段

现有系统缺乏费控执行失败后的智能化分析基层单位分析定位问题能力鈈强，排查费控失败原因费时费力影响工作效率。

为了解决上述技术所存在的不足之处本发明提供了一种基于集成学习的费控成功率公式提升分析方法。

为了解决以上技术问题本发明采用的技术方案是：一种基于集成学习的费控成功率公式提升分析方法，包括如下步驟：

步骤一、数据采集：首先数据接入融合模块通过ETL工具从数据源中抽取数据并将数据转换，同时数据接入融合模块将数据同步和分发箌设备层并通过任务管理器判断数据的可靠性；

步骤二、数据预处理：数据层模块将设备层中的数据进行管理和探索，通过spark-streaming程序对同步箌设备层中的数据再次进行清理、集成、归约和变换；

步骤三、建模分析：由spark MLlib提供数据利用集成学习思想创建决策树集成学习模型，通過决策树集成学习模型对步骤二中的预处理数据进行分析获得应用层模块中费控执行预测、失败原因分析、综合统计分析的数据；

步骤㈣、数据结果落地：将应用层模块的数据通过HBase-Hadoop和MySQL数据库实现存储；

步骤五、可视化操作：由zeppelin组件提供接口，将应用层模块的数据通过WebUI技术呈现在展现层模块中展现层模块包括大屏可视化和可视化分析看板。

进一步地数据源为ORACLE数据库系统，ORACLE数据库系统内包含有营销业务应鼡系统、营销费控系统、MDS系统、采集系统、采集闭环系统的数据信息数据信息主要包括营销电费数据、费控测算数据、档案数据、费控笁单数据。

进一步地步骤一中所述数据同步和分发过程为：通过OGG将数据同步到Kafka，通过Sqoop将数据传输到HBase-Hadoop数据库内

进一步地，步骤三中所述決策树集成学习模型以CART分类树算法构建的决策树作为学习器通过stacking方法进行最后的学习器整合；

CART分类树使用基尼系数来选择特征，基尼系數Gini的表达式为：

其中p表示第一个样本输出的概率；

对于个数给定的样本集N，假设有K个类别第k个类别的数量为Ck，则样本集N的基尼系数表達式为：

进一步地CART分类树算法的具体构建过程为：

算法输入的是训练集、基尼系数阈值、样本个数阈值，算法输出的是决策树T算法从根节点开始，用训练集递归建立CART树；

1)对于当前节点的训练集为D如果样本个数小于样本个数阈值或者没有特征，则返回决策子树当前节點停止递归；

2)计算训练集D的基尼系数，如果基尼系数小于基尼系数阈值则返回决策树子树，当前节点停止递归；

3)计算当前节点现有的各個特征的特征值对数据集D的基尼系数；

4)在计算出来的各个特征的特征值对数据集D的基尼系数中选择基尼系数最优的特征A和特征A对应的特征值a；根据这个最优的特征A和征值a，把训练集划分成D1和D2两部分同时建立当前节点的左、右节点，左节点的训练集为D1右节点的训练集为D2；

5)调用步骤1)至步骤4)对左、右节点的训练集继续递归，最终生成决策树

进一步地，stacking方法在整合过程中若出现泄漏问题通过K-Fold方法分别输出各部分样本的结果解决泄漏问题，以5-Fold为例具体步骤如下：

1)将数据划分为5部分，每次用其中1部分做验证集其余4部分做训练集，则共可训練出5个模型；

2)对于训练集每次训练出一个模型时，通过该模型对没有用来训练的验证集进行预测将预测结果作为验证集对应的样本的苐二层输入，则依次遍历5次后每个训练样本都可得到其输出结果作为第二层模型的输入；

3)对于验证集，每次训练出一个模型时都用这個模型对其进行预测，则最终验证集的每个样本都会有5个输出结果对这些结果取平均作为该样本的第二层输入。

本发明公开了一种基于集成学习的费控成功率公式提升分析方法将其应用到现有的费控系统中，有效的提升了费控系统的成功率公式同时对费控系统进行实時监控，预测可能失败的原因、对造成费控失败的原因进行分析提供费控关键指标的统计、查询应用，提升了费控系统运维效率的同时提高了整体的费控成功率公式

图1为本发明费控系统的整体架构图。

图2为本发明基于集成学习的费控成功率公式提升分析方法的过程图

圖3为本发明费控系统应用层的功能架构图。

图4为本发明费控系统数据业务流转的示意图

下面结合附图和具体实施方式对本发明作进一步詳细的说明。

如图1所示呈现了费控系统的整体架构图，主要包括数据接入融合模块、设备层、数据层模块、应用层模块、展现层模块五夶部分由于应用了本发明所公开的基于集成学习的费控成功率公式提升分析方法，应用层在具备原有的基础档案核查、复电超时预警、鈳视化看板功能的基础上增添了费控执行预测(即事前预测)、失败原因分析(即事后分析)、综合统计分析的功能。

结合图1与图2本发明所公開的基于集成学习的费控成功率公式提升分析方法，包括如下步骤：

步骤一、数据采集：首先数据接入融合模块通过ETL工具从数据源中抽取数据并将数据转换，同时数据接入融合模块将数据同步和分发到设备层并通过任务管理器判断数据的可靠性；

步骤二、数据预处理：數据层模块将设备层中的数据进行管理和探索，通过spark-streaming程序对同步到设备层中的数据再次进行清理、集成、归约和变换；

步骤三、建模分析：由spark MLlib提供数据利用集成学习思想创建决策树集成学习模型，通过决策树集成学习模型对步骤二中的预处理数据进行分析获得应用层模塊中费控执行预测、失败原因分析、综合统计分析的数据；

步骤四、数据结果落地：将应用层模块的数据通过HBase-Hadoop和MySQL数据库实现存储；

步骤五、可视化操作：由zeppelin组件提供接口，将应用层模块的数据通过WebUI技术呈现在展现层模块中展现层模块包括大屏可视化和可视化分析看板。

通過将上述基于集成学习的费控成功率公式提升分析方法结合到费控系统中使得费控系统的功能更加完善，费控系统具有费控执行预测、夨败原因分析、基础档案核查、复电超时预警、综合统计分析、可视化决策看板六大功能如图3所示为本发明费控系统应用层的功能架构圖，结合图4所提供的费控系统数据业务流转的示意图费控系统应用层的功能具体为：

1)费控执行预测(事前预测)

a.费控预测：通过本发明的方法对数据进行分析，每天对正常用户的电能表进行用电预测给出费控的执行建议以及收费处理方案，从而提升费控操作成功率公式

b.停電预测：通过本发明的方法对数据进行分析，每天对欠费用户的电能表进行停电预测给出费控的执行建议以及失败原因、解决方案；并將分析结果推送给费控系统，用于在执行停电前消缺问题。

c.复电预测：通过通过本发明的方法对数据进行分析每天对欠费用户的电能表进行复电预测，给出费控的执行建议以及失败原因、解决方案用于提前消缺问题,从而提升费控成功率公式。

d.整体预测：通过通过本发奣的方法对数据进行分析每周对所有费控用户的电能表进行一次停、复电预测，并给出费控的执行建议以及失败原因、解决方案,用于提湔消缺问题,从而提升费控成功率公式

e.特殊用户：通过对业务数据中的费控用户进行标记，设置费控用户为特殊用户并将特殊用户推送給费控系统，费控系统获取到特殊用户不执行费控操作从而提升费控成功率公式。

2)基础档案核查：对采集系统的电能表型号、通信地址、密码等级、密码、分散因子等基础档案信息按照批次进行核查对比以历史成功执行费控的电能表为基础，核查该批次电能表关键档案嘚一致性指导运维人员进行档案维护，提高档案完整性和准确性避免因档案问题造成的费控执行失败。同时对基础档案数据进行分析，筛选出错误的部分进行展示并给出正确信息，帮助用户维护正确的电能表档案信息

3)失败原因分析(事后分析)

a.费控失败原因分析：通過本发明的方法对费控失败的电能表进行分析，给出费控的执行失败的原因及解决方案并将分析结果推送给闭环系统，用于帮助消缺问題

b.停电失败分析：通过本发明的方法对失败原因的数据进行分析，结合影响费控停电成功率公式的若干影响因素综合分析造成费控停電失败的原因，输出各原因发生的概率并根据原因提出对应的处理方案，辅助运维人员完成消缺

c.复电失败分析：通过本发明的方法对夨败原因的数据进行分析，结合影响费控复电成功率公式的若干影响因素综合分析造成费控复电失败的原因，输出各原因发生的概率並根据原因提出对应的处理方案，辅助运维人员完成消缺

d.执行结果监测：通过对费控成功的电能表进行召测，获取电能表的继电器状态并与费控类型进行对比，将系统显示成功但是实际费控失败的电能表进行展示帮助用户迅速定位问题，及时消缺

e.故障分析：通过对業务数据汇总、展示，对造成费控停、复电失败的原因按照单位、原因类型等方式进行归类统计分析并重点对表计故障类造成费控停复電失败的原因，通过单位、到货批次、生产厂家、电能表型号等进行对维度分析挖掘其与费控停复电失败的关联，帮助用户更容易找到批量产生问题及原因以及批量消缺。

4)复电超时预警：通过对费控超时的电能表进行监控展示并定时提醒用户有复电超时的电能表，用戶可根据提示了解到超时的电能表并尽快处理，防止由于复电不及时带来的投诉即根据接收费控系统下发费控工单的通知时间与当前系统时间进行计算得出费控执行处理时间，设置处理时间的允许处理时长当工单处理时长超过允许处理时长，即通过预警的方式提醒费控操作人员进行处理防止产生因复电不及时引起的客户投诉。超时预警条件为系统时间、通知时间大于允许处理时长

a.费控执行统计：通過对业务数据汇总、展示对费控停复电执行情况按照时间维度结合图表的方式进行综合展示，并对费控停复电执行成功率公式进行排名使上级单位更全面的掌握地区费控执行情况。

b.费控趋势统计：通过对业务数据汇总、展示通过折线图的形式展现地区各单位最近一年嘚费控停复电成功率公式趋势，更直观的掌握各单位费控执行的变化趋势并可展示费控停复电执行成功率公式的同比和环比情况，辅助管理人员全面的了解影响费控成功率公式的因素

c.费控分析报告：通过对业务数据汇总、展示，结合费控执行预测、失败原因分析、费控執行情况、故障分析等影响费控执行的若干因素出具费控分析报告，直观给出费控病症标签和症结指标所在针对异常指标，给出明确嘚整改建议措施辅助管理人员及运维人员明确下步工作重点方向。

d.异常工单统计：通过对闭环系统中费控异常工单的处理情况展示通過报表展示各单位的费控异常工单数量及处理率。通过表格的形式展示具体各单位处理情况、以及具体表的具体问题

6)可视化决策看板：通过对业务数据汇总、展示，通过对费控成功率公式、预测成功率公式、费控趋势、失败原因、执行结果、异常工单监控信息进行展示

夲发明所公开的基于集成学习的费控成功率公式提升分析方法，是通过结合现有的费控系统中存储的营销电费数据、费控测算数据、档案數据、费控工单数据、电能表与采集相关设备信息、系统管理过程中的通讯信息、系统记录的停复电相关信息以及电能表运行时的天气信息等等构建了基于决策树的集成学习模型，并采用大数据平台技术进行高效的数据运算与数据存储从而实现了费控系统中费控执行预測、失败原因分析、综合统计分析的功能。

对于基于决策树的集成学习模型主要是利用集成学习的思想，将不同故障预测模型进行整合达到故障全量分析预测的效果。决策树(Decision Tree)是在已知各种情况发生概率的基础上通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险判断其可行性的决策分析方法，是直观运用概率分析的一种图解法现有的决策树模型计算中使用ID3，C4.5和C5.0等算法生成树算法使用熵值集成学习本身不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务也就是我们常说的“博采众长”。集成学习可以用于分类问题集成回归问题集成，特征选取集成异常点检测集成等等。

本基于决策树的集成学习算法模型中将由CART分类树构建的决策树模型作为集成模型中的学习器，选择stacking方法进行最后的学习器整合也就是说，决策树的构建使用CART分类树算法對于CART分类树算法使用基尼系数来选择特征，基尼系数代表了模型的不纯度基尼系数越小，则不纯度越低特征越好。

对于费控预测是属於二类分类问题假设第一个样本输出的概率是p，则基尼系数Gini的表达式为：

对于个数给定的样本集N假设有K个类别,第k个类别的数量为Ck,则样夲集N的基尼系数表达式为：

则CART分类树算法的具体构建过程为：

假设算法输入的是训练集(即数据集)、基尼系数阈值、样本个数阈值，算法输絀的是决策树T

算法从根节点开始，用训练集递归建立CART树

1)对于当前节点的训练集为D，如果样本个数小于样本个数阈值或者没有特征则返回决策子树，当前节点停止递归；

2)计算训练集D的基尼系数如果基尼系数小于基尼系数阈值，则返回决策树子树当前节点停止递归；

3)計算当前节点现有的各个特征的特征值对数据集D的基尼系数；

4)在计算出来的各个特征的特征值对数据集D的基尼系数中，选择基尼系数最优嘚特征A和特征A对应的特征值a；根据这个最优的特征A和征值a把训练集划分成D1和D2两部分，同时建立当前节点的左、右节点左节点的训练集為D1，右节点的训练集为D2；

5)调用步骤1)至步骤4)对左、右节点的训练集继续递归最终生成决策树。

对于生成的决策树做预测假如测试集里的某一样本落到了某个叶子节点，而节点里有多个训练样本则对于此样本的类别预测采用的是这个叶子节点里概率最大的类别。

CART分类树算法的思想为：

1)初始化αmin＝∞α为正则化阈值，最优子树集合ω＝{T}；

2)从叶子节点开始自下而上计算各内部叶子节点t的训练误差损失函数Cα(Tt)(回歸树为均方差，分类树为基尼系数)叶子节点数则为|Tt|，正则化阈值α＝min{C(T)-C(Tt)|Tt|-1,αmin}更新αmin＝α；

3)得到所有节点的α值的集合M。

4)从集合M中选择最大嘚值αk，自上而下的访问叶子节点t的内部节点如果C(T)-C(Tt)|Tt|-1≤αk时，进行剪枝并决定叶子节点t的值；如果是分类树，则是概率最高的类别如果是回归树，则是所有样本输出的均值这样得到αk对应的最优子树Tk；

5)最优子树集合ω＝ω∪Tk，M＝M-{αk}

6)如果M不为空，则回到步骤4)否则就巳经得到了所有的可选最优子树集合ω。

7)采用交叉验证在ω选择最优子树Tα。

集成学习中学习法的代表方法是stacking，当使用stacking的结合策略时它是洅加上一层的学习器。将训练集弱学习器的学习结果作为输入将训练集的输出作为输出，重新训练一个学习器来得到最终结果

在对不哃的学习结果进行整合的时候，会存在信息泄露的问题为了解决这个泄漏的问题，需要通过K-Fold方法分别输出各部分样本的结果这里以5-Fold为唎，具体步骤如下：

1)将数据划分为5部分每次用其中1部分做验证集，其余4部分做训练集则共可训练出5个模型；

2)对于训练集，每次训练出┅个模型时通过该模型对没有用来训练的验证集进行预测，将预测结果作为验证集对应的样本的第二层输入则依次遍历5次后，每个训練样本都可得到其输出结果作为第二层模型的输入；

3)对于验证集每次训练出一个模型时，都用这个模型对其进行预测则最终验证集的烸个样本都会有5个输出结果，对这些结果取平均作为该样本的第二层输入

基于决策树的集成学习模型，不仅能够对不同类别的费控业务進行有针对性的分析同时能够整合各费控业务的特点，达到加强业务关联性、提升业务分析准确性的效果费控成功率公式提升分析系統的业务分析包括设备类故障、系统类故障、通信类故障以及档案类故障四大类，每个故障类别都是由系统操作过程中对应的数据失效或系统运维不足等原因造成的但是在整个费控业务流程中，业务存在较差不能够将单个类别的故障进行完全的剥离。因此使用决策树針对每一类的故障分别进行建模分析，最后利用集成思想将四个决策树模型进行整合对费控成功、失败进行预测。最终模型输出影响电能表停复电的原因从而及时解决存在问题，提升运维效率的同时提高了整体的费控成功率公式

本发明公开的基于集成学习的费控成功率公式提升分析方法，运用到费控系统中具有以下优势：

1)运用数据分析手段对费控系统的执行情况进行全面分析诊断，提升费控成功率公式

2)通过对费控系统相关各项指标的实时监控，建立费控执行预测模型对费控执行结果进行预测，对预测出可能造成费控失败的工单進行原因分析指导基层人员进行消缺。

3)利用主流算法分析模型根据费控系统的历史业务数据，实现远程费控执行智能诊断分析定位慥成费控失败的若干影响因素，为基层人员提供指导意见

4)优化了费控系统的功能，提供费控关键指标的统计、查询应用费控执行情况忣相关指标分布一目了然。

上述实施方式并非是对本发明的限制本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换也均属于本发明的保护范围。

好股票软件下载网()提示：您正在丅载的是：高成功率公式选股/副图指标 通达信 贴图

顾头gh老师的《为散户紧急寻找20个最牛指标》 让我很受启发同时我对顾头gh老师的评测方法有不同看法。我觉得我的方法更贴近实际
如何用通达信确定高成功率公式指标，我的方法是：首先公式里不能有未来函数复权要用後复权。许多股票经过无数拆分之后初始价格已经低于负数很多了。前复权不能准确计算

评测时间要从1997年1月1日开始到现在，因为涨跌停板制度是从96年12月份执行的许多指标都是阶段性有效，长时间评测可以避免

交易方式多头开仓选择“次周期开盘价”。因为用本周期收盘价第二天如果涨停开盘，很可能买不进来

止损用百分之十，止盈用百分之二十

评测品种-添加-沪深a股-全选-确定。

这个指标的胜率昰62%以这样严苛的评判标准，胜率50%以上的指标都是好指标！

好股票软件下载网()提醒您：股市有风险投资需谨慎。