为什么各类传统模型目前还是占据着机器学习的主战场

我判断题主应该是刚刚接触营销甚至可以说你还没有正确的认识营销。

作为一个实战出身的营销特种兵我决定火力全开,直接带你进入实战!

花了很多的时间打造团隊建设团队,也和第三方营销团队合作最后的结果丝毫没有什么起色,为什么做营销没有效果

并不会啊。作为一个经历过创业在營销领域摸爬打滚8年的实战营销人,先晒一下我近两年的部分营销战绩:

  • 去年12月开始服务一家亏损的餐饮企业(土土鸡)帮助他们三个朤从亏损到盈利再到扩张,现已开始超过了20家以上的餐饮分店和生鲜店;
  • 去年帮助一个微商团队走向了正规军的转型日销量超10000单,并创建了一个年轻品牌(目前在申请注册商标做相关产品上市工作);
  • 服务科勒中国和志邦家居的时候,在ZBOM西南战区一些城市多次创造了销量第一打破了之前的销量瓶颈;帮助科勒中国的一些重点加盟商,实现了销量翻倍增长

以上,营销怎么会没有效果呢怎么最后会毫無起色呢?所以我判断你是刚接触营销,然后被一大堆理论给误入歧途了

因为任何方法都有他的适用场景和应用边界,如果没有搞懂┅个方法的适用场景比如说你说在美国流行的方法,就一定适合在中国复制吗当然不是,要考虑消费习惯、国情等因素

而且题主的這个问题太大了,做了那么多营销为什么没效果这里面的环节实在太多了,你到底具体问的是哪一个呢从产品、定价、传播、渠道、銷售等环节,每个环节又有很多小细节这些背景都不清楚,没有人能回答你这个大问题

但是,根据你的描述不难猜出你最后的问题是沒有销量要想知道营销最后为什么没有效果(指的是以销量为导向的营销策划),我们首先要搞懂营销策划的核心

营销策划的核心是什么?

如果你去问定位派他会跟你讲要抢占消费者的心智,如果你去问文案派他大概会跟你讲要吸引消费者的眼球,如果你去问渠道派他可能又会不屑一顾:文案可以意淫,但市场一定是打出来的

这有什么问题?没有正确的定位的确可以占领消费者心智,好的文案的确可以吸引顾客精准的渠道也的确可以打通市场。

然而正是因为没有问题才是最大的问题,不论是定位也好文案、渠道也罢,茬营销中都属于“放之四海而皆准”复制一大堆大理论给你就更不合适了,我一直不建议刚接触营销的人去学那些大理论

所以,你听唍之后大概也要晕了个个都说的头头是道,到底该听谁的呢

实际上,营销属于一种全局思维并不是单纯的以某种形式来定义。因为所有的营销行为都是为了让销售更加简单。

根据题主交待的背景你其实最终的目的也是想要销量。所以很多的回答给了一些随处可见嘚大理论给你对你也没有什么实际帮助,估计你也云里雾里的我直接针对你的问题来讲讲营销策划的核心。

我们知道销量=流量*转化率*客单价*复购率。

为了回答这一个问题帮助大家更好的理解营销策划的核心,接下来直接用我自己策划的营销案例来分析(结尾有更多實战分享如果你看完有帮助,请不要只收藏不点赞哈)。


1、流量正确的选择流量渠道

流量,就是你潜在的客户数量流量渠道,就昰你获得流量的通道流量渠道类似战争中的兵家必争之地,抢占了这块要地才能更好的打下一片江山。

所以现在的商业竞争,与其說是营销之争不如说是流量之争。近些年营销成本水涨船高一个很重要的原因就是获取流量的成本越来越高。

听着很难理解我举几個栗子你就懂了:

  • 原来投放一个电视广告,消费者坐在电视前任由你洗脑;
  • 原来进行一次电话营销消费者想也不想就参与了报名;
  • 原来筞划一场促销活动,消费者心甘情愿的当你的韭菜;

现在呢要想有同样的效果,估计投入十倍的工作也不见得有同等效果所以,流量昰一切营销问题的中心点没有流量,销量也就无从谈起

流量获取渠道,从大方向无非分为:

但是仅仅知道有哪些流量渠道并没有什么卵用就像你要找一个人结婚,不能光知道哪里有女人就行了吧首先你要知道自己的择偶标准吧,然后你要清楚在哪里找比较合适你偠清纯可爱的那就在学校谈,你要风情万种的那就去夜店偶遇。

毕竟追求对的人才会幸福啊。营销也一样找准了对的群体才会让效益最大化。

所以你要清楚你的目标群体在哪里?到底是侧重线上还是线下或者是线上线下相结合,获取更多的流量如果目标是在线仩,他们在哪里如果是在线下,他们又在哪里呢这就是常说的“精准流量”。

比如说我作为南天狼集团的营销顾问这个公司旗下的汢土鸡是我一手操盘策划的作品,在第二个分店开业的时候因为客户选址问题导致引流相对来说会比较困难(具体背景可以阅读我之前嘚文章)。

那我是怎么解决这个“流量问题”的

关于引流,餐厅位置和周边的环境局限了而土土鸡作为一个初创品牌,虽然第一家店茬上半年经营的不错对于绝大多数人来说土土鸡还是属于一个新品牌,完全没有知名度

一个最简单最有效的问题就是——“让消费者看到你的人气。”

餐饮行业有个定律:如果你的餐厅有人用餐陆陆续续就会有人进来消费,而如果你的餐厅很冷清基本上也不会有什麼人来消费。

你在吃饭选择餐厅的时候有没有这种感觉我想你肯定很多时候也是选择人多的地方,如果人不多你可能就会质疑这家店箌底好不好吃。

所以在试营业的一个星期我们为引流采取了以下策略:

  • 砍价活动(一元免费吃鸡)
  • 转发文章(凭朋友圈吃鸡)
  • 发放单页(凭宣传单吃鸡)

试营业的一个星期餐厅一共送出了300份左右的鸡煲。这其中没有任何一个环节是需要费用的主要在思考如何免费让引流效果最大化。

总体来说试业期间这几个方式引流的效果非常不错,给餐厅带来了大量的人气也给餐厅积累了第一批口碑用户(开业之後有时鸡都不够卖)。

值得注意的是:有的人认为砍价或者美团来的客户没有价值而这是一个偏见,只要你的用户路劲设计的够好完铨可以实现转化。

你可能会想:免费吃鸡的引流方式有意义吗难道不会亏本吗?

但不花宣传费用这的确是一种最好的方式(至于为什么鈈花费用我就不方便多讲了)而且如果你吃过鸡煲就会知道,除了鸡煲配菜的消费也不低,你不可能只吃一个鸡煲吧

不过,因为餐廳在城乡结合部确实有一些爱占便宜的大妈凭单页前来只吃免费的鸡,一个配菜都不点

这其实没有关系。因为我们设定了每天免费吃雞的人数而且让大妈这种真实的顾客占点便宜,总比花钱雇人来吃有效吧(这只是试营业期间的引流方式中间我策划了一个裂变活动)?

现在你知道那些网红餐厅为什么花钱都要请人排队了吗?

所以任何的商业活动首要问题是先解决流量,流量是一切商业活动的基礎而精准流量,又是一切产品销量的基础


2、转化,将潜在顾客转化为准客户

营销过程中转化率几乎是最重要的一个步骤。

没有转化率的流量就像没有工资的工作

所以,你会遇到商业版的十万个为什么:

只要是人类能产生的问题几乎你都会遇到,这就像你找到了一個符合标准的对象但是对方心里会有一连串疑问,打消了顾虑之后才能和你牵手

要想解决这一系列问题,首先我们要了解一个“决策荿本”的概念

所谓决策成本,就是消费者在购买过程中的一个心理活动(就是以上例举的一系列消费者所担心的活动)所以,你要降低消费者的决策成本

那么,具体怎么做呢我给你提供4个方法:

当我们需要做出决策行为时,会根据多数人的行为而改变(特别是在不知道如何选择的情况下)——这就是著名的从众心理

很多时候新品推广或者品牌知名度在某地区知名度不高的时候,往往都会利用“从眾心理”所以,当你销售产品的时候也可以利用这一心理。

线上说畅销所以这就是为什么淘宝销量高的卖家比较吃香的原因。

实体偠排队这就是为什么之前非常火爆的网红店喜茶火爆的原因。

实际上“从众心理”这一现象贯穿了我们的日常生活,但人们并没有意識到也并不承认。

当然不是让你背诵诗书而是让那些公众符号为你作证,证明你的产品和服务是靠谱的优秀的,不坑爹的“公众囚物”就是被人们所熟悉并认可的人或者事物。

比如说我们看到OPPO手机经常聘请一些明星(类似的背书案例屡见不鲜)

因为中国是一个信任关系缺乏的社会,对于陌生品牌和陌生产品大众第一次接触的时候,会本能的产生一系列质疑

而如果你能够成功的把这个陌生品牌囷一个为广大群众熟知的公众人物联系在一起,这种天然的不信任感就会被削弱这就是“公众人物背书”的原理。

请不起明星的创业公司怎么办可以蹭一些公众人物的流量啊,比如说比较热门的节目、当地的电视台或者一些网红主播等像之前有些餐饮店就借助了舌尖仩的中国的流量。


无数的品牌在推出新产品或者面向新市场时都会让消费者可以提前试用产品,降低选择失败的时间风险

甚至,为了消弱这一风险天猫商家之类的电商平台推出了大量的“免费试用”产品。

消费者要的不是优惠而是要优惠的感觉。

以前面说的土土鸡為例土土鸡餐厅位置没有优势,更要珍惜每一个来之不易的消费者所以针对这个情况,我制定了两个策略:在点餐前和买单的时候都設计了转化策略吸引他们加入会员,不浪费任何一个机会

点餐前的策略涉及到客户的商业机密,在这里就不多讲了主要来分享一下買单时如何让消费者加入会员。

在回答这个问题之前先回答一下我之前提过的一个问题:

“为什么优惠券越来越失效了?”

这里的优惠券你可以理解为常见的优惠券和打折方式

一个最重要最直接的原因就是——“消费者感觉不到你的优惠”,或者说你给的优惠方式对他來说吸引力太小

所以,针对这种情况我就给土土鸡制定了一个策略:加入我们的会员今天这单就可以免费,下次来消费还能打8.8折

操莋上非常简单,只需要让他充值消费金额的3倍就可以享受会员卡余额还是有充值的金额(比如你消费200元,充值600元就可以免单而你的会員卡还是有600元余额)。

实际上这跟一些商家充xx送xx是一样的逻辑,折扣算下来也是7.5折但给消费者的感觉会大不一样,他会觉得更加优惠(事实也是如此很多消费者对这个免单策略无法抗拒)。

所以提升转化率最关键的是要降低消费者的决策成本,降低决策成本的方法鈈局限于以上方法


3、复购率,为品牌创造长期价值

在这样一个获取流量成本奇高的竞争时代浪费每一个进店的消费者都是在犯罪,所鉯品牌最重要的是留存率你要想方设法让你的顾客多次消费。

就好像之前有家网红餐厅约我谈营销合作我发现他们的留存就做的不够恏,没几个人愿意充值重复消费这种情况下,如果餐厅想要做好会很难要么就是成本太高(因为总是要不断吸引新顾客)。

一个品牌洳果想让顾客长期选择(口碑营销)有以下两个方式:

  • 产品让顾客上瘾(比如说苹果)
  • 套路让顾客中毒(比如拼多多)

苹果的产品你用叻之后基本上不会放弃,你会想着继续用苹果的其它产品因为很多强大的功能都是免费的,时间一长根本不会想换

继续说回土土鸡的案例,对于一个餐厅来说如果想要经营的好,首先要解决的就是重复消费

总不可能说管他来不来,如果好吃他下次自然还会再来吧戓者即使这位顾客不来也没关系,反正总有人会来消费吧

当然不是。虽然前面已经设计了一个充值会员免单的环节但很有可能消费者消费完了会员卡的金额就不再来消费,或者消费次数减少

所以,我又在会员卡的基础上增加了一个环节——“集齐十二生肖赢888元”

因為土土鸡主要以吃鸡为主,我就把鸡的生肖排第一位然后今年是狗年,所以排在第二位并且这两个生肖券是送给办了会员卡的顾客的(这么做的目的是为了降低消费者的参与门槛)。

最后的结果是:不仅提高了餐厅的充值转化还增加了消费者的消费次数(想要赢取888元獎金,最少需要消费10次以上)餐厅日营业额近30000元,相当于旁边老品牌的销量

实际上,类似的套路一点都不新鲜比如说肯德基经常给伱一些优惠券,目的就是让你下次再来消费

几乎所有人都知道,金杯银杯不如口碑开发一个新顾客的成本可以维护3个以上的老顾客,所以要最大化的通过设计增加顾客的复购率。

在战场之中先攻取一个战略要地,再制定一系列军事行动攻城略地然后出台政策为人囻谋取福利,最终稳固国家的长期利益这就是军事行动的核心。

在流量之河先引入一股潺潺清流,再策划一系列营销行为气吞山河嘫后设计套路让顾客渐渐上瘾,最终收获顾客的长期价值这就是营销策划的核心。

如果你想看本案例背后的具体环境背景你可以阅读:【有余味】这家餐厅日营业额近3万,我做对了什么 – 余味的文章 – 知乎

余味:【有余味】这家餐厅日营业额近3万,我做对了什么

如果你想知道怎样发现身边的创业机会,推荐你阅读:在生活中如何发现切入点自己创业呢? – 余味的回答 – 知乎

在生活中如何发现切入點自己创业呢?

如果你想知道怎样让营销策划更有创意推荐你阅读:营销创意的构思,有哪些套路可循 – 余味的回答 – 知乎

营销创意的构思,有哪些套路可循

如果你想知道怎样提升自己的商业能力,推荐你阅读:商业分析能力是怎样炼成的 – 余味的回答 – 知乎

商業分析能力是怎样炼成的?

以上分享的都是实操指南只要你仔细阅读,一定会有意想不到的收获如果你对创业和营销感兴趣,可以马仩点击关注我我会每周分享一些独到的实战观点,为你带来更多的启发

重要提示:懂的尊重别人知识付出的人最后都会点赞,你呢

贤集网物联网工程频道讯:近年來深度神经网络的进展很快,训练神经网络从大量有标记数据中学习输入和输出的映射变得非常准确无论这些映射是图像、句子、还昰标签预测,等等

这些模型仍然不足的是将其泛化到与训练时不同的条件的能力。什么时候需要这种泛化能力呢当你将模型应用到现實世界,而不是你精心构建的数据集的时候现实世界是混乱的,包含无数新的场景其中许多是你的模型在训练过程中没遇过的,因此反过来模型无法很好地预测将知识迁移到新的条件的能力通常被称为迁移学习(transfer learning),这是这篇文章讨论的主题

在经典的监督学习场景Φ,如果我们打算为一些任务和一个 A 域(domain A)训练一个模型我们得有为相同的任务和域提供的有标记数据。如图1所示模型 A 的训练数据和測试数据与任务和 A 域的数据是一样的。有关“任务”和“域”的概念将在后文详细解释现在让我们假设有一个我们的模型需要执行的目標任务,例如识别图像中的对象,并且有一个域即数据的来源,例如旧金山咖啡店的照片

我们现在可以在这个数据集上训练一个模型A,并期望它在同个任务和域的没见过数据上也表现良好另一种情况是,当为其他任务或 B 域提供数据时我们再次需要这些任务或域的囿标记数据以用来训练一个新的模型B,这样模型才可能在这些数据上表现良好

当没有足够的有标记数据去为了某个任务或域训练模型时,传统的监督学习范式就会崩溃

假如我们想训练一个模型来检测夜间照片上的行人,我们可以利用已经在类似的域进行过训练的模型唎如用白天照片训练过的模型。然而实际上这样做经常会使模型表现糟糕,甚至崩溃因为这个模型已经继承了训练数据带有的偏见,並且不知道如何泛化到新的域

假如我们想训练一个模型去执行一个新的任务,例如检测骑自行车的人我们甚至无法重复使用现有的检測行人的模型,因为这些任务之间的标记是不同的

但利用迁移学习,我们能够利用已经存在的相关任务或域的有标记数据去处理这些情況我们尝试存储下在源域(source domain)中解决源任务(source task)所获得的知识,并将其应用于另外的任务如图2所示。

在实践中我们力求尽可能多地將知识从源设置迁移到目标任务或域。取决于数据的类型这种知识可以采取多种形式:可以是有关物体组成的,以便模型能够更容易地識别新的物体;也可以是人们用来表达观点的概括性词汇等等。

为什么迁移学习是下一个前沿

吴恩达(Andrew Ng)在他的 NIPS 2016 tutorial 中曾说迁移学习将是監督学习之后的,在ML 的商业应用中得到成功的下一波动力

他在白板上绘制了一个图表,下图是我尽可能如实复制的图表吴恩达说,迁迻学习将成为机器学习工业应用中取得成功的关键推动力

无疑,ML 在工业上的成功使用迄今为止主要是由于监督学习的驱动受益于深度學习的进步,以及更强大的计算力和大型有标记数据集的推动监督学习使得 AI 重新得到很多人的关注和兴趣,初创企业得到资金支持和收購尤其是,近年来机器学习的应用已经逐渐成为我们日常生活的一部分假如我们不要管反对者和预测下一个 AI 冬天的人,而是选择相信Andrew Ng嘚先见那么这些成功将会持续下去。

然而迁移学习已经存在了几十年,却几乎从没有在工业中得到利用为什么 Ng 预测迁移学习能够爆炸式地增长呢?此外与其他机器学习的领域相比,迁移学习目前所能获得的知识相对少这些领域例如无监督学习和强化学习最近越来樾受欢迎:根据 Yann LeCun 的说法,无监督学习是通用 AI 的关键要素由于生成对抗网络的兴起,无监督学习重新吸引了许多研究者的关注

另一方面,强化学习的主推是谷歌的 DeepMindDeepMind 利用强化学习令游戏 AI 大幅进步,以 AlphaGo 的成功最为典型强化学习也在现实世界中取得了成功,例如帮助谷歌的數据中心将冷却费用减少了 40%这两个领域虽然很有前途,但由于它们仍然面临许多挑战在可预见的未来无法得到大规模的商业应用,仍嘫属于前沿研究论文里的主题

是什么使得迁移学习有所不同?下文中我们解释了(仅代表作者观点)推动 Ng 氏作出如此预测的原因,并概述了为什么现在正是需要关注迁移学习的原因

目前在工业中使用机器学习有两个特点:

一方面,在过去几年中我们已有训练越来越哆准确率高的模型的能力。我们现在处于一个瓶颈阶段对于许多任务来说,那些 state-of-the-art 的模型已经达到了非常好的水平对用户来说已经不再昰障碍。有多好ImageNet 的最新的残差网络(residual network)在图像识别任务中已经超过了人类水平;谷歌的 Smart Reply 已经能自动处理 10% 的手机的响应要求;语音识别的錯误率也一直在下降,已经与人类速记员的水平一致;机器识别皮肤癌已经与皮肤科专家的准确率一致;谷歌的 NMT 系统已经被用于超过10个语訁对的翻译;百度的 Deep Voice 已经能够实时地生成人类的演讲……这个 list 还可以继续列很长总结而言,ML 的成熟度已经允许将这些模型大规模地部署箌数百万用户并且已经得到了广泛的采用。

另一方面这些模型的成功非常依赖于数据,而且是依赖大规模的有标记数据对于某些任務和域,这些数据是可用的因为它是经过多年精心收集得到的。少数情况下这些数据是公开的,例如 ImageNet但是通常大规模的有标记数据昰专有的,或者非常昂贵例如许多语音数据集或 MT 数据集,因为正是这些数据为公司提供了竞争优势

但是,在现实世界中应用机器学习模型时模型要面对的是无数从未遇过的条件,它不知道如何处理;每个客户或者每个用户都有着自己的偏好具有或会产生与用于训练嘚数据不同的数据;一个模型会被要求执行许多个任务,这些任务与它被训练的任务有关联但不一样。我们目前的所谓 state-of-the-art 的模型尽管在它們被训练过的任务或域上表现出与人类水平持平甚至超过人类的性能但在上面提到的这些情况下,会遭受大幅性能降低甚至完全崩溃。

迁移学习可以帮助我们处理这些新遇到的场景并且迁移学习是机器学习的工业规模使用所必须的,它超越了任务的限制而且域有丰富的标记数据。到目前为止我们已经将模型有效应用于在数据可用性方面非常易得的任务和域。为了服务分布的长尾我们必须学会将所获得的知识迁移到新的任务和域。

迁移学习的一个让人兴奋的应用是从模拟中学习未来我们将会看到更多这样的应用。对于许多依赖硬件进行交互的机器学习应用程序在现实世界中收集数据和训练模型要么成本非常高而且耗时,要么非常费县因此,用其他更低风险嘚方式收集数据是更好的选择

模拟就是首选的一种工具,已经被用于在现实世界中实现许多先进的 ML 系统从模拟中学习,然后将学习到嘚知识应用到现实世界是迁移学习的一个实例,因为源和目标域之间的特征空间是相同的(两者通常都依赖于像素)但是模拟和现实の间的边际概率分布(marginal probability distributions)是不同的,也就是说模拟场景和源场景中的物体看起来是不同的,尽管这种差别随着模拟变得更逼真而减弱哃时,模拟和真实世界的条件概率分布(conditional probability distributions)可能也是不同的因为模拟无法完全复制现实世界里的所有交互,例如一个物理引擎(physics engine)无法完全模仿现实世界中物体的复杂交互。

从模拟中学习有利于更容易地进行数据收集因为可以很容易地绑定并分析对象,同时由于学习鈳以并行地在多个实例中进行能够实现快速训练。因此从模拟中学习是需要与现实世界交互的大型机器学习项目(如无人车)的前提條件。据谷歌无人车技术负责人 Zhaoyin Jia 的介绍“如果你真的想做一辆无人驾驶汽车,模拟是至关重要的”Udacity 开放了它的自动驾驶汽车纳米课程嘚模拟器,OpenAI 也开放了它的 Universe 平台可以借助《侠盗猎车手5》或其他游戏训练自动驾驶汽车系统。

另一个需要从模拟中学习的领域是机器人:茬真实的机器人上训练模型太慢而且非常昂贵。从模拟学习以及将知识迁移到现实世界的机器人中减轻了这个问题这样的研究在近年來又引发了许多人的兴趣。图8是一个分别在现实世界和模拟环境进行数据操作任务的例子

最后,模拟不可或缺的另一个方向是通用 AI在現实世界中训练智能体直接实现通用 AI 的成本太高,而且不必要的复杂性阻碍了最初的学习相反,例如基于图9中的 CommAI-env 等模拟环境学习可能哽容易成功。

从模拟学习是域适应(domain adaptation)中一个特殊例子下面概述域适应的其他一些例子。

域适应是视觉任务的常见要求因为通常易于嘚到的有标记数据和我们实际要用的数据是不同的,无论是识别例如图11中的自行车或在野外识别其他对象。即使训练诗句和测试数据看起来相同训练数据仍然可能包含有人类不易察觉的偏见,但是该模型会利用这些偏见得到过拟合的结果

另一个常见的域适应场景是适應不同的文本类别:例如词类标签(part-of-speech taggers)和句法分析器(parser)等标准的 NLP 工具通常是用《华尔街日报》之类的新闻数据进行训练。但是新闻数據训练出来的模型难以应对其他的文本类型,例如社交媒体上的消息这是它们面临的挑战。

即使在同一个域例如产品的评论,人们也會使用不同的单词和短语表达同样的意见因此,用某一类型的评论训练的模型应该能够处理概括性词汇(general words)和域特定的词汇(domain-specific words)避免被域的变化所迷惑。

最后上述挑战只涉及一般的文本类别或图像类型,但是如果需要处理与个人或用户组相关的域那么问题会被放大:例如自动语音识别(ASR)的情况。语音将会成为下一个大平台预计到2020年,所有搜索有50%将通过语音执行大多数 ASR 系统传统上都是用 Switchboard 数据集評估,该数据集只包含 500 名说话者因此,这些系统对标准口音的人可能好理解但对非标准口音的人,言语障碍者或儿童话语则难以理解我们需要能够适应个人用户和少数群体的 ASR 系统,以确保每个人的话语都能被理解

最后,在我看来从一种语言学习然后将所得知识应鼡于另一种语言,是迁移学习的另一个重要应用可靠的跨语言的适应方法使我们能够利用大量的英文标注数据,然后将其应用于其他语訁尤其是数据少的语言。尽管这仍然是乌托邦式的但最新的进展如 zero-shot 翻译证明这一领域取得了快速进步。

迁移学习的研究历史已经比较長了上述四种迁移学习的场景都有相应技术来应对。深度学习的兴起催生了一批迁移学习的方法下面我们来介绍其中一些方法。

使用預先训练的CNN功能

为了激活目前最常用的迁移学习方法我们必须了解大型卷积神经网络在ImageNet 上取得巨大成功的原因是什么。

虽然关于模型如哬工作的许多细节仍然是个谜但我们现在已经了解,较低的卷积层捕获低级图像特征例如边(见图14),而较高的卷积层捕获越来越复雜的细节例如身体部位、面部以及其他成分特征。

最终完全连接的层通常被用于捕获与解决相应任务相关的信息例如,AlexNet 的完全连接图層将指示出哪些功能与将图像归类到1000个对象类别之一相关

然而,尽管知道一只猫有胡须、爪子、毛皮等对识别一只猫这样的动物是必需嘚但这并不能帮助我们识别新物体或解决其他常见的视觉任务,如场景识别、细粒度识别、属性检测和图像检索等

不过,对我们有帮助的是捕获图像组合的一般信息以及边和形状等信息的特征。如上所述该信息包含在 ImageNet 上训练的大型卷积神经网络中的最终卷积层或早期完全连接层之一中。

在完成新任务时我们可以简单地使用在ImageNet 上预先训练的最先进CNN的现场特征,并对提取出的特征进行训练在实践中,我们要么将预先训练的参数保持固定要么以较小的学习率对其进行调整,以确保我们不会忘记以前学习到的知识这种简单的方法可鉯在一系列视觉任务以及依赖视觉输入(如图像说明)的任务上取得令人瞩目的成果。在ImageNet 上训练的模型在处理图像时似乎捕获了一些动物囷其他物体在结构和组成方式上的相互关联的细节因此,ImageNet 任务对于一般的计算机视觉问题来说似乎是一个很好的代理因为其中所需的知识与许多其他任务相关。

类似的假设也用于激发生成模型:当训练生成模型时我们假设生成逼真图像的能力要求了解图像的底层结构,而后者又可应用于许多其他任务这个假设本身依赖的前提是所有图像都位于低维流形,也就是说可以通过模型提取图像的一些底层结構使用生成对抗网络生成逼真图像的最新进展表明,这种结构可能确实存在如图15所示,模型在卧室图像空间中的点之间展示逼真过渡嘚能力证明了这一点

除了视觉任务,预先训练的特征在其他任务中是否有用

现场生成的CNN特征在视觉任务中取得了无与伦比的成果,但使用其他类型数据(如语言)的其他领域可否复制这个成功仍然存有疑问。目前没有现场特征可以在NLP中取得视觉任务那令人惊叹的结果。这是为什么这样的特征是否存在?或者如果不存在,那么为什么视觉比语言更有利于这种形式的转移

低级任务(如词性标签或汾组)的输出可以被视为现场特征,但是这些特征不能捕获超越语法的更细粒度的语言使用规则对所有任务都没有帮助。正如我们所看箌的可泛化的现场特征的存在似乎与一个可以被视为该领域许多任务的原型任务的存在相互交织在一起。在视觉任务中对象识别占据叻这样的地位。在NLP中最接近的模拟可能是语言建模:给定一个词语序列,为了预测下一个单词或句子模型需要掌握语言结构的知识,需要了解什么词语可能与之相关并且可能跟随出现需要为长期依赖性建模等等。虽然最先进的语言模型越来越接近人类的水平但它们嘚特征只被有限的使用了。

同时语言建模的进步也为其他任务带来了积极的成果:用语言模型对象预先训练模型提高了模型性能。此外在一个大规模未标记语料库用近似语言建模对象预先训练的单词嵌入已经变得普遍。虽然它们不如视觉任务中的现场特征那样有效但仍然有很大作用,可以看作是源自大规模未标记语料库的通用领域知识的一种简单形式的转移

虽然在自然语言处理中,还没有通用的代悝任务但辅助任务可以采取本地代理的形式。无论是通过多任务对象还是综合任务对象都可以将其他相关知识注入到模型中。

使用预先训练的特征是目前最直接和最常用的执行转移学习的方式然而,它并不是唯一的办法

预先训练的特征实际上主要用于适应场景3,在此场景中我们希望其适应新的任务在其他场景中,通过深度学习迁移知识的另一种方法是学习基于我们的域不会改变的表征这种方法茬概念上非常类似于我们一直在考虑使用的预先训练的CNN特征的方式:两者都将域的一般知识进行编码。然而创建基于域不改变的表示对於非视觉任务来说,要比生成对所有任务有用的表征花费更低更可行。ImageNet已经花费了数年和几千小时的时间而我们通常只需要每个域的未标记数据来创建域不变的表征。这些表征通常使用堆叠去噪自动编码器学习并且在自然语言处理以及计算机视觉方面已见成效。

为了提高从源到目标域的学习表示的迁移能力我们希望两个域之间的表征尽可能相似,以便该模型不考虑可能阻碍表征的特定于域的特征洏只考虑域之间的共性。

我们不仅仅是让自动编码器学习部分表征而是积极促使两个域的表征更加相似。我们可以将其作为预处理步骤矗接应用于我们的数据表征然后将新的表征用于训练。我们还可以促使我们模型中域的表征更加相似

为现有模型添加另一个目标,鼓勵它混淆这两个领域这是近来愈发常用的确保两个域的表征相似性的另一种方法。该域混淆的损失是一种规则的分类损失模型在其中嘗试预测输入示例的域。然而与规则损失的差异在于,从损耗流向网络其余部分的梯度是相反的如图16所示。

梯度反转层不会使域分类損失的错误最小化反而使模型中的此类错误最大化。在实际操作中这意味着该模型在学习使其最小化原始目标的表征,而不允许它区汾两个域而后者有助于知识迁移。虽然图17中显示的仅以规则目标训练的模型明显能够根据已学习的表征来分辨域但是如果一个模型的目标增加了域混淆项,它就无法做到了

虽然本文是关于迁移学习的,但迁移学习不是目前机器学习中将有限的数据作为杠杆、将学到的知识用于新任务以及使模型在新环境中更好泛化的唯一办法下面,我们来介绍一些和迁移学习目标相关或互补的其他研究方向

转移学習旨在最大限度地利用目标任务或域中的未标记数据。这也是半监督学习的标准它遵循经典的机器学习设置,但只假定有限量的标签样夲进行训练半监督学习的许多经验和见解同样适用于迁移学习。

与迁移学习和半监督学习相关的另一个方向是使模型能够在有限数据的凊况下更好地工作

这可以通过几种方式完成:可以利用无监督或半监督学习从未标记的数据中提取信息,从而减少对标记样本的依赖;鈳以让模型访问数据中固有的其他特征同时减少其正则化中的过度拟合;最后,可以利用到目前为止仍然被忽视的数据

提高模型的泛囮能力也是一种方法。为了实现这一点我们必须首先更好地了解大型神经网络的行为和复杂性,并调查其为什么以及如何泛化

在改进峩们模型泛化能力时,我们可能将其很好地泛化到类似的实例上但在意外或非典型的输入上仍然出现严重错误。因此一个关键的目标昰增加我们模型的鲁棒性。近来由于对抗学习的进展对这一方向的研究越来越多。已经有许多研究提出方法使得模型可以在不同环境Φ对最坏情况或对抗性样本表现更好。

在迁移学习中我们主要关心我们的目标任务。相比之下在多任务学习中,目标是在所有任务上嘟表现良好虽然多任务学习方法不能直接适用于迁移学习的设置,但有助于多任务学习的想法仍然可以使迁移学习受益

虽然多任务学習允许我们在许多任务中保留知识,而不会对我们的源任务造成性能损失但只有所有任务都有训练时间,这才是可能的对于每个新任務,我们通常需要重新调整我们所有任务的模型

最后,如果我们将迁移学习推到极限仅仅从少数几个甚至零个样本中学习,我们就能汾别得到少量、一次和零次的学习执行一次和零次学习的模型是机器学习中最难的问题之一。这对我们人类却是自然而然的

总之,迁迻学习提供了许多令人兴奋的研究方向特别是许多需要将知识迁移到新任务并适应新领域的模型的应用。我希望能够本文能为您提供关於迁移学习的总体认识并能激发您的兴趣。

注:文章内的所有配图皆为网络转载图片侵权即删!

数字是将数字化信息作为新的生產要素用数字信息技术对对象、环境和全过程进行可视化表达、数字化设计、信息化管理的新兴农业发展形态,是数字经济范畴下用数芓化重组方式对传统产业进行变革和升级的典型应用之一

从“人”到“数据”的关键决策因素转换。传统农业主要包括养殖产业链和种植产业链等其中的环节有育种、灌溉、施肥、饲养、疾病防治、运输和销售等,均是以“人”为核心主要是依靠过去积累的经验或手藝来进行判断决策和执行,这也导致了整体生产环节效率低、波动性大、农作物或农产品质量无法控制等问题而在数字农业模式中,通過数字化设备比如田间摄像头、温度湿度监控、土壤监控、无人机航拍等以实时“数据”为核心来帮助生产决策的管控和精准实施,并通过海量数据和人工智能对设备的预防性维护、智能物流、多样化风险管理手段进行数据和技术支持进而大幅提升农业产业链运营效率並优化资源配置效率等。

——海量农业数据实时获取奠定农业数字化基础,农业是的重要应用领域是数字农业中数据的主要来源。农業物联网已被欧洲列为物联网18个重要发展方向之一同时也是我国物联网9大领域重点示范工程之一。

物联网在农业领域应用范围广泛基於物联网的农业解决方案,通过实时收集并分析现场数据及部署指挥机制的方式达到提升运营效率、扩大收益、降低损耗的目的。可变速率、精准农业、智能灌溉、智能温室等多种基于物联网的应用将推动农业流程改进物联网科技可用于解决农业领域特有问题,打造基於物联网的智慧农场实现作物质量和产量双丰收。

物联网在农业领域应用广泛

农业领域有着丰富的连接需求农业物联网市场潜力巨大。华为技术数据显示全球智能水表、智能路灯、智慧停车、智慧农业、财产跟踪、智慧家居分别有7.5亿、1.9亿、2400万、1.5亿、2.1亿、1.1亿的连接需求,由此带来的市场空间十分可观根据华为的预测,到2020年物联网在农业领域的潜在市场规模有望由2015年的137亿美元增长至268亿美元,年复合增長率达14.3%其中美国的市场份额最大并且已经进入成熟期,亚太地按照物联网技术在农业领域中的不同应用划分为如下几类:

物联网是农業数据的主要来源之一

精准农业:作为一种农业管理方式,精准农业利用物联网技术及信息和通信技术实现优化产量、保存资源的效果。精准农业需要获取有关农田、土壤和空气状况的实时数据在保护环境的同时确保收益和可持续性。

可变速率技术(VRT):VRT是一种能够帮助生产者改变作物投入速率的技术它将变速控制系统与应用设备相结合,在精准的时间、地点投放输入因地制宜,确保每块农田获得朂适宜的投放量

智能灌溉:提升灌溉效率、减少水源浪费的需求日益扩大。通过部署可持续高效灌溉系统以保护水资源的这种方式愈来愈受到重视基于物联网的智能灌溉对空气湿度、土壤湿度、温度、光照度等参数进行测量,由此精确计算出灌溉用水需求量经验证,該机制可有效提高灌溉效率

农业无人机:无人机有着丰富的农业应用,可用于监测作物健康、农业拍照(以促进作物健康生长为目的)、可变速率应用、牲畜管理等无人机可以低成本监视大面积区域,搭载传感器可轻易采集大量数据

智能温室:智能温室可持续监测气溫、空气湿度、光照、土壤湿度等气候状况, 将作物种植过程中的人工干预降到最低上述气候状况的改变会触发自动反应。在对气候变囮进行分析评估后温室会自动执行纠错功能,使各气候状况维持在最适宜作物生长的水平

收成监测:收成监测机制可对影响农业收成嘚各方面因素进行监测,包括谷物质量流量、水量、收成总量等监测得到的实时数据可帮助农场主形成决策。该机制有助于缩减成本、提高产量

农业管理系统(FMS):FMS借助传感器及跟踪装置为农场主及其他利益相关方提供数据收集与管理服务。收集到的数据 经过存储与分析为复杂决策提供支撑。此外FMS还可用于辨识农业数据分析最佳实践与软件交付模型。它的优点还包括:提供可靠的金融数据和生产数據管理、提升与天气或突发事件相关的风险缓释能力

土壤监测系统:土壤监测系统协助农场主跟踪并改善土壤质量,防止土壤恶化系統可对一系列物理、化学、生物指标(如土质、持水力、吸收率等)进行监测,降低土壤侵蚀、密化、盐化、酸化、以及受危害土壤质量嘚有毒物质污染等风险

精准牲畜饲养:精准牲畜饲养可对牲畜的繁殖、健康、精神等状况进行实时监测,确保收益最大化农场主可利鼡先进科技实施持续监测,并根据监测结果做出利于提高牲畜健康状况的决策

智慧农业市场规模预测(年,亿美元%)

大数据与人工智能——生产经营决策“数字化”,全面提升生产效率

万物互联在推动海量设备接入的同时也将在云端生成海量数据。而挖掘这些由物联網产生的大数据中隐藏信息的方法就是利用人工智能物联网最核心的商业价值就是将这些海量的数据进行智能化的分析、处理,从而生荿基于不同商业模式的各类应用

基于人工智能对中国经济整体影响的模拟分析,并结合行业规模数据埃森哲分析人工智能对中国15个行業可能带来的经济影响。研究显示制造业、农林渔业、批发和零售业将成为从人工智能应用中获益最多的三个行业。到2035年人工智能将嶊动这三大行业的年增长率分别提升2%、1.8%和1.7%。

人工智能在农业领域的应用潜力巨大机器学习所具备的通过使用大数据集来优化单个或一系列关键目标的能力很适合用来解决农业生产中的作物产量、疾病预防和成本效益等问题:

在种植领域,人工智能有望提高粮食产量、减少資源浪费机器学习技术可以被用来分析来自无人机和卫星的图像、气象数据、土壤样本和湿度传感器的数据,并帮助确定播种、施肥、灌溉、喷药和收割的最佳方法在精准农业中的各个环节中,机器学习都能发挥重要的作用从而提高粮食的产量。

在养殖领域利用人笁智能可以有效降低疾病造成的损失。在一项学术研究中研究人员收集和分析鸡的声音,并训练神经网络模式识别算法后研究人员能夠正确地识别出感染了致命疾病的鸡,其中发病2 天的鸡的识别准确率为66%而发病8天的鸡的识别准确率为100%。正确诊断牲畜所患疾病并尽早在損失发生之前进行治疗可以消除由疾病导致的损失据行业专家估计,挽回的损失可达20亿美元

人工智能缩短农业研发进程。人工智能技術可以用于提高粮食产量、降低损失但这并不是其发挥作用的唯一领域。在实验室和研究中心机器学习算法能够帮助培育更好的植物基因,创造更安全、更高效的农作物保护产品和化肥并且开发更多的农产品。实际上人工智能在这些领域的介入更加成熟,因为这一領域的数据更加丰富数据获取的速度也更快。根据2016年Philips McDougall的分析将一种新的作物保护产品推向市场需要11年的发现和发展时间,分析16万份化匼物每个产品商业化支出超过2.8亿美元。在新农化产品的开发中整个行业每年的花费超过26亿美元。而人工智能的采用可以提高这一过程嘚效率

以孟山都的玉米育种为例。在将玉米杂交品种投入市场之前孟山都对其进行了多年的评估,从发现到商业化这个过程可能需偠8年时间。玉米育种通常被比作“草堆中捞针”这是个拥有32000个基因的大草堆,代表了几代繁殖者面临的搜索难题从历史上来看,一个育种项目每年可以从成千上万可用选项中选出大约500种组合进行试验这种选择受到与管理现场测试程序相关的后勤和成本的限制。

为了减尐这些限制孟山都的AI研究人员开发了一种算法,能够评估育种决策并预测哪一个杂交品种将在试验的第一年表现出最佳的性能。这个算法正被过去15年的分子标记和现场试验信息进行训练这种算法可以优化育种过程,使育种者能够更快地把他们最好的想法投入到大规模嘚实地试验中这一算法不仅加快了育种过程,而且与传统方法相比还使孟山都将其玉米育种管道规模提高5倍。育种者可以利用AI工具完荿更多的工作

数字农业应用方向与各国发展现状

全球数字农业规模已超千亿人民币,细分领域倍速发展智慧农业是数字农业中一种具體的综合应用形式,可在较大程度上反应数字农业的整体发展情况按应用划分,从体量上来看精准农业(含种植与养殖)、监测(含收成监测与土壤监测)、农业无人机三领域是智慧农业中发展较为领先的方向,2020年预测规模分别在45.85亿美元、22.15亿美元、和11.79亿美元;从发展速喥上来看智能灌溉、智能温室、农业无人机领域发展较快,5年CAGR(复合年均增长率)分别达到37.60%、33.28%、32.66%

以应用划分的潜在市场规模(百万美元)

从数字农业领先国家的情况来看,各国均重视发展农业技术同时因地制宜,各自开发出适合自身的数字农业成长路线以美国为例,梳理数字农业在不同国家如何助力农业提升产业效率

美国:优质自然禀赋与先进技术奠定数字农业全球领先地位。美国是世界上农业最發达的国家美国农业经营模式主要以大型农场经营为主,农业高度发达机械化程度高,主要有畜牧业和种植业两大部分最早提出精准农业概念,农业率先进入数字化时代20世纪80年代初,美国便提出了精准农业的概念和设想智能中央计算机灌溉控制系统于80年代就被应鼡于温室控制和管理。此后计算机控制与管理系统可控范围、灵活程度逐渐提高。美国41.6%的家庭农场、46.8%的奶牛场和52%的年轻农场主通过计算機进行网络信息联络有专业的农业技术服务组织将农业信息提供给农民,服务于农业生产管理和精细化耕作

农业技术的进步是推动美農业生产力提高的主要力量。现在美国农场因为技术的进步,包括传感器、设备、机器和信息技术现在的运营模式与几十年前存在较夶差异。今天的农业通常使用复杂的技术如机器人,温度和湿度传感器航拍图像和GPS技术。这些先进的设备和机器人系统使农业效率得鉯提高在成本几乎不变的情况使企业收入持续增长,更高效的同时也更安全、更环保

乡村振兴+时代来临,我国数字农业机会几何

数芓农业发展相对滞后,数字化转型才刚开始农业数字化相对滞后是当前我国农业发展的大背景根据中国信息通信研究院发布的《中国数芓经济发展与就业白皮书(2019年)》,2018年我国数字经济规模达到31.3万亿元,按可比口径计算名义增长20.9%,占GDF比重的34.8%三产中,我国农业数字經济占农业整体比重的平均值为7.30%而工业为18.30%,服务业为35.90%与工业和服务业相比,农业不仅数字化水平处于相对较低位置数字化速度也相對较慢。农业各细分行业中数字经济占比程度从高到低依次为林产品、渔产品、农产品、畜牧产品,均低于大多数服务业和工业行业鈳见三产中,农业存在较大数字化提升空间

2018年农业各细分行业数字经济比重(%,亿元)

技术提升产业效率新兴技术不断进步,应用成夲下降

一、技术成熟度提升带来部署成本不断下降相比10年前,全球物联网处理器价格下降98%传感器价格下降54%,带宽价格下降97%成本的降低为农业物联网大规模部署提供了基础。

二、联网技术不断突破联网技术是物联网产业兴起的重要条件,在全球范围内低功率广域网(LPWAN)技术快速兴起并逐步商用面向物联网广覆盖、低时延场景的技术标准化进程加速,同时工业以太网、LTE-V、短距离通信技术等相关通信技術也取得显著进展

三、数据处理技术与能力有明显提升。随着大数据整体技术体系的基本形成信息提取、知识表现、机器学习等人工智能研究方法和应用技术发展迅速。大数据、物联网、人工智能在数字农业升级中的应用能够有效释放农业产业庞大数据的潜在价值

四、产业生态构建所需的关键能力加速成熟。云计算的成熟、开源软件等有效降低了企业构建生态的门槛推动全球范围内农业数字化的兴起和农业物联网操作系统的进步。

当前智慧农业主要使用的物联网通信技术

赋能已有技术全方位提升数字农业效率

具体到数字农业,5G将提升的是数字农业价值链中移动网络环节效率联动前后环节适配技术升级迭代。由于智慧农业价值链与数字农业类似若5G商用落地,前環节中的装置/设备制造商、联网供应商后环节中的联网平台、应用供应商、数据分析、系统集成商和外包供应商、终端用户等众多参与方将受益来自移动网络环节的技术革新。这些参与方可分为供应商和个人消费者两大类而目前在农业相关领域中,无论是B端还是C端均有較多需求未被满足

根据华为对终端用户的痛点分析,目前在通信技术方面60%以上的农场主认为低覆盖范围和高投资成本是数字农业相關技术必须解决的主要难题。其次还有部署周期长、带宽、高时延等问题需要解决。同时报告对农场主的投资意愿进行了统计,70%以上嘚农场主愿意投资有助于提高生产力和利润的先进技术5G商用落地有望大幅改善当前数字农业中因信息技术导致的痛点,同时由于终端用戶对改善现状具有较高投资意愿5G+智慧农业有望在5G大生态万亿市场中占有一席之地。

我要回帖

 

随机推荐