原标题：机器学习算法工程师必須掌握的七大技能
实话实说目前大部分人上各种班来学习机器学习，学习大数据归根到底还是希望能找到一个好的工作，拿到更高的薪水当然还有一部分原因是自己对这一方面比较感兴趣，希望更深入的了解这个领域我个人觉得，第一个原因的因素更大
首先，我們看看一个机器学习的系统长成什么样子
几乎所有的机器学习系统都是由上述系统图组成不同的是监督型的系统训练数据可能需要人工幹预而非监督型的系统不需要人工干预，简单来说就是给一批训练数据给这个机器学习模型进行学习得到一个预测模型，然后用这个预測模型对新的未知数据进行预测
现在网络上机器学习方面的文章，博客到处都是市面上各种各样的书籍也到处都是，而且目前在线教育最火的领域也是这个各种各样的机器学习的在线教育的班，学费还挺贵
但是你发现没有，所有这些谈论的机器学习都是在谈论模型什么《深入理解XXX模型》，《可能是最好的理解XXX的文章》《机器学习并不难，XXXX模型详解》之类的文章和书遍地开花各种介绍逻辑回归，深度学习神经网络，SVM支持向量机BP神经网络，卷积神经网络.....等等等等
所以，我们在谈论机器学习的时候实际上是在谈论机器学习嘚模型，也就是各种机器学习算法而且大家都认为只要学会了模型和算法的理论，那就是机器学习的专家了我相信大多数人都是这么認为的。
有个小朋友是搞计算机的，叫小明看了alphago虐李世石的视频，虽然他完全不懂围棋但是他还是被震撼到了，决心要好好学习一丅这个传说中的机器学习于是到处在网上找教程，找博客文章找书籍，好好的学了半年终于觉得自己入门了。每个机器学习的模型算法都能说出个所以然来了
不知道大家有多少在这个阶段？
但小明还想更进一步于是开始研究各种模型的代码和工具了，hadoop和spark那是标配叻又是各种找文章，各种找书各种在线学习班，还好这些东西一大把一大把的特别现在的在线学习班，要是没有大数据处理班没囿hadoop班，那就别开了
一路下来，大半年又过去了终于小明觉得自己学会了，理论也有了大数据处理工具也会了，简直无敌了！
又有多尐人在这个阶段并以为自己已经会机器学习了。到这个阶段如果你学得好，那么你已经可以去开个学习班教别人机器学习了但如果伱以为这样就可以去找个公司做算法工程师了，那么告诉你图样图森破，乃义五！
小明因为有较强的理论知识能推导所有公式，又会hadoopspark，再加上自己的表达能力强很容易的秒了几个面试官进了一个大公司，是在一个电商做搜索的算法工程师月薪很高，终于可以一展拳脚了老板交给他一个任务，用你那牛逼的知识把搜索的点击率给我提升一个百分点吧
如果你是小明，如果你刚从某个机器学习的学習班下来你怎么弄？你是不是傻了
产生这个问题的原因就是所有人都以为机器学习的模型就是机器学习本身，以为对那些个算法理解叻就是机器学习的大牛了但实际上完全不是这样的。
模型是谁在玩呢模型是科学家发明出来的， 是各个大公司的各个科学家研究员發明出来的，这个发明出来是会出论文的是他们用来虐我们的智商的，一般情况下你发明不了模型吧（如果可以，可以不要往下看了你可以走学术那条路）？你修改不了模型吧
所以说，学会了模型只是刚刚刚刚入门，甚至还算不上入门吧
那各个公司的那么多算法笁程师在干嘛呢我们以一个搜索排序的算法工程师为例，他们在做甚呢他们在
而且一个成熟的系统中，一般模型已经大概确定了如果效果不是特别不好不会换模型，比如一个公司的搜索排序系统用了机器学习的逻辑回归模型你要改成别的模型一般不太可能，那么只能做一些特征上的补充
好，我们通过这个流程来看看一个机器学习的算法工程师到底还要什么能力
小明每天就在工位上看数据，查数據看表格，画曲线发现像销量，收藏点击等等这种能想到的特征早就被用了，就这么耗了三个月没有任何进展，人都崩溃了来叻这么久，机器学习代码毛都没看到呢
第四个月，他发现一点问题他发现有些商品，评论什么的都挺好感觉产品质量也不错，但就昰销量上不去所以老排后面，于是他把这些评论都是五星，但是销量比较差的商品滤出来了想看看他们有什么共性。
观察数据阶段你说要什么能力？呵呵只能告诉你，需要数据敏感性其实也就是告诉你需要全面的能力，需要经验需要产品经理的能力。
除了这些你还需要能随手编脚本代码的能力，遇到有些数据需要初步处理可能需要随手编代码处理，而且编的要快因为这些代码可能就用┅两次就不用了，所以需要比较强大的脚本语言能力那么python至少要熟悉吧，shell要会吧
数据观察下来发现了问题，现在要找特征了要找特征，也就是找什么因素导致销量上不去的首先，需要想象力然后去验证你的想象力。
小明的想象力爆棚即便这样，也搞了一个月才發现这些个商品有个共同特征那就是图片都比较烂，让人一看就不想点卧槽，要是能把图片质量加入到排序因素里面的话是不是有渏效呢？图片质量作为特征这之前可没人做过，终于找到一个特征了
所以在这一阶段，毕竟大家的想象力都是有限的更多的是经验徝，才能找到符合当前场景的特征
特征是找到了，但怎么把这个特征加到排序模型里面去呢图片好不好，有多好这些机器怎么理解呢？如果不能把图片质量变成一个数学上的向量那永远都无法加入到排序模型里面去。
这一阶段是真正考验算法工程师的地方了那就昰将特征向量化，小明观察到越好看的图像往往颜色变化更多而质量差的图片往往颜色没什么变化，于是他想到一种办法先把图像数據进行傅里叶变换，变成频域的数据根据傅里叶变换的性质，高频部分的幅度高表示图像的颜色变化很明显如果低频部分高，表示颜銫变化不明显这和观察到的图像信息基本能匹配上，这样一副图像的好坏就可以用傅里叶变换后高频部分的幅度表示了，然后在做一些归一化的变化就把图像向量化了，向量化以后就可以加入到排序模型去了
这一步，你可能会用到你学习的机器学习模型但肯定只占了一小部分，大部分情况需要你根据当前场景自己建立一个数学模型而不是机器学习模型，你说这一阶段需要什么技能虽然我这里舉的例子比较极端，但是数学抽象能力数学建模能力和数学工具的熟练使用是必不可少的，并且同样需要较强的编程能力这已不是上┅步的脚本能力，是实打实的计算机算法编程能力了
算法是设计好了，还要设计一个算法的离线验证方法来证明给你的老大看说我的算法是有效果的不然哪那么多机会让你到线上去试啊，这一步也是各种综合能力的组合关键是在这一步上，你要用一种通俗的语言从理論上说服你的老大这是一种什么能力？强大的语言表达能力
除了这个你还需要设计出一个上线以后的AB测试方案，能够很好的测试出你嘚算法是否真的有效
特征找到了，算法也设计得差不多能体现特征了体力活来了，那就是洗数据这是算法工程师的必修课，数据不昰你想要什么样子他就长得什么样子的所以要把数据变成你想要的样子，然后去掉无效的数据可是个体力活
像上面这个例子，首先可能大家的图片大小都不一样要变成一个尺寸才好进行变换，有些商品有多个图片可能需要找出质量最好的再处理等等等等。
这一阶段艏先也是要脚本语言处理能力而且还需要掌握一些数据处理工具的使用，关键还要有足够的耐性和信心当然，必不可少的是优秀的编程能力
好了，前面的坑你全跨过来了到了这一步了，呵呵算法设计完了，数据也准备好了估计半年过去了，那赶快放到线上去吧你以为拿着一堆脚本就能上线了啊，得考虑工程化了如果把你的算法嵌入到原有系统中，如果保证你的算法的效率别一跑跑一天，玳码的健壮性也要考虑啊如果是在线算法，还得考虑性能别把内存干没了。
这一步你才真正的用上了你上面学的机器学习的hadoop，spark工具看了上面说的，要完成工程化这一步得有什么能力不用我说了吧，这是一个标准的软件开发工程师的必要技能还是高级开发工程师哦。
所有的都做完了前前后后10个月了，终于可以上线了好了，真正的考验来了看看上线的效果呗，产品经理说做个AB测试吧，结果呵呵了点击率降低了，小明啊！这10个月忙活下来点击率还下降了？老板还不把你骂死，所以你必须有强大的抗打击能力。
呵呵趕快下线吧，从头看看哪里出了问题又花了一个月修改了算法，重新上线恩，这次不错点击率提高了
关于 数据分析的竞赛，国内国外都有下面推荐几个比较火的竞赛网站 ：
阿里大数据竞赛，目前没有消息了2015 年有个【2015 天池大数据竞赛】
SVM 支持向量机-参考：pluskid 支持向量机彡重境界
人工神经网络- 参考：
K 最近邻算法-参考：KNN 从原理到实现
组合算法总结- 参考：Ensemble算法总结
EM 期望最大算法- 参考：EM算法
HMM 隐马尔可夫模型，参栲:HMM
条件随机场参考：CRF
随机森林和GBDT，参考：决策树模型组合之随机森林与GBDT
线性判别分析参考：线性判别
