为什么spark 云平台将成为数据科学家的统一平台

来源：蜘蛛抓取(WebSpider) 时间：2015-10-10 09:40 标签： spark监控平台
Paxata是一家应用机器学习技术处理大数据难题的初创公司。公司致力于将数据科学家和业务分析师从数据准备工作中解放出来，使他们能够专注于数据分析工作。
最新发布的Paxata平台将能为后端工具准备更大规模的种类更多的数据。该软件搭配无模型、内存管道处理器和基于Spark的分布式处理引擎HDFS使用。
为了提高数据准备工作的自动化能力，Paxata采用了机器学习和语义检索能力。这能帮助数据科学家和业务分析师处理数据转换等相关工作。
Paxata联合创始人、副总裁Nenshad Bardoliwalla表示，软件的任务是帮助人解决难题，对数据科学家而言，我们的软件可以帮助实现前端数据准备和大数据集成。不过Bardoliwalla也指出希望在后端的虚拟化软件有所作为，现在主要的供应商是Tableau，但产品要完善的地方还很多。
Bardoliwalla表示，Paxata的Spring 15平台支持使用RESTAPI工具集的数据提取。“如果使用可视化工具之前还要花大量时间准备数据，那也太不友好了。”
Paxata还提供机器学习界面。Bardoliwalla表示：“数据分析最困难的部分就是录入很多数据源。在这方面，Tableau采用了可视化的方式，而我们希望采用另一种新的方式进行数据准备。”
Via:TechTarget中国
转载请注明来自36大数据（)： &
除非特别注明，本站所有文章均不代表本站观点。报道中出现的商标属于其合法持有人。请遵守理性，宽容，换位思考的原则。Apache Spark 大数据开发导论 Introduction to Big Data with Apache Spark edX | MOOC学院 果壳网旗下慕课学习社区
知识量：8.2
教师参与：8.5
趣味性：8.2
课程设计：8.5
难度：简单
开始时间：
持续时间：4.0周/每周5.0-7.0小时
学习如何通过Apache Spark中的并行编程将数据科学技术应用于开发大（小）数据。课程概述机构使用他们的数据支持决策和构建数据密集型产品和服务，例如，建议、预测和诊断系统。机构用于支持这些功能所需的技能的集合被归为数据科学。本课程将尝试讲明数据科学家期望的输出，然后教学生使用PySpark（Apache Spark的一部分）按照预期提供输出。课程作业包括日志挖掘、文本实体识别、协同过滤练习，教学生使用PySpark并行处理数据集。本课程涵盖了本科高年级教材。要求学生具备编程背景和Python使用经验（或快速学会Python的能力）。所有练习皆使用PySpark（Apache Spark的一部分），但不要求具备使用Spark或分布式计算的经验。如果学生需要学习Python或复习他们的Python知识，则应在学习本课程之前完成这个并学习这门。这门课程的制作之所以变为现实应郑重感谢Databricks的慷慨捐助。先修知识要求具备编程背景和Python使用经验。所有练习皆使用PySpark（Apache Spark的一部分），但不要求具备使用Spark或分布式计算的经验。
没能完成由于工作原因没能坚持到最后，但是课后作业设计的非常棒，但是仅仅听讲是不能完成作业的，需要查阅官方文档才行，不过非常值得学习
已完成spark的入门课吧，课程视频和作业关系不大...不过作业设计的真心不错，每周都会期待下周的作业。上完课对spark会有初步的了解。
已完成本、博阶段全是计算机专业，虽说研究方向是大数据、机器学习方向，但是始终没有碰触分布式计算的东东，觉得很高大上，借着这次公开课的机会，初步了解了Spark的基本原理和MLLIB的一些集成算法，算了有了一个Introduction级别的了解。课程只有五周，很快就上完了，从环境的搭建代码，一步一步教你上手，只要跟着节奏都能完成，即使是100%的分数似乎含金量也不大。课程作业可以看出授课团队的用心，每个作业我都会有几点卡主，这时候去论坛上搜搜基本能够快速的帮助解决，最后推荐这门课程！
已完成Nice introduction to Spark the labs are well structured. I definitely look forward to the second course for scalable machine learning.
已完成一门比较实用的入门课程,虽然lecture没有什么意义而且讲的过于基础以及蛋疼的auto grader让不少人无法submit,但是每次仔细检查发现都是自己粗心的问题....lab基本就是按部就班跟着熟悉了在spark框架下的大数据基本操作,增加了自己的干活能力还是略有收获的,第一门拿到满分的MOOC也算是圆满了
已完成第一次学习使用大数据的工具Apache Spark，需要会基本的Python编程，大多数时候用的是函数式编程。
作业的大部分分数都在lab上。我对lab3记忆尤为深刻，几乎花了我一整个白天的时间，主要是有的地方要求不是很清楚。课后的习题有无限次机会，如果消化了视频的内容，lab也很容易拿满分。
这门课使用的piazza的论坛比edX自带的要好很多，在它的机制下，只要有问题基本上都能够得到解答，而且大多数问题都是老师亲自回答的。
已完成老师上课只是在讲讲义，作业与视频关系不大，作业大部分需要python基础，还有正则表达式等一些知识。
课程笔记没有人写笔记耶……放着我来！您的位置：
IBM加入Spark社区 计划培养百万数据科学家
日 20:37:43　|　作者：佚名　|　来源：TechTarget中国
摘要：IBM近日宣布，将大力推进Apache Spark项目，并计划培养超过100万名Spark数据科学家和数据工程师。
近日宣布，将大力推进项目，并称该项目为：在以数据为主导的，未来十年最为重要的新的开源项目。IBM计划将Spark嵌入其分析和商务平台，并将Spark作为一项服务，在IBM云平台上提供给客户。IBM还将投入超过3500名研究和开发人员在全球十余个实验室开展与Spark相关的项目，并将为Spark开源生态系统无偿提供其机器学习技术――IBM SystemML。同时，IBM还计划培养超过100万名Spark数据科学家和数据工程师。
加入Spark社区后，IBM将采取如下具体措施：
IBM将把Spark构建在自有的分析与商务平台的核心中。
IBM将对IBM突破性的IBM SystemML机器学习技术开源，并与Databricks协作提高Spark的机器学习能力。
IBM将把Spark作为一项服务在Bluemix平台上提供给客户，任何开发人员都可以快速加载数据、建模，并导出预测性工具用于他们的应用程序。
IBM将投入超过3500名IBM研究和开发人员在全球十余个实验室开展与Spark相关的项目，并在旧金山设立Spark技术中心，帮助数据科学与开发者社区在开发智能应用时，实现以设计为先导的创新。IBM将通过与AMPLab、DataCamp、MetiStream、Galvanize 和，等多种合作方式，培养至少100万名Spark数据科学家和数据工程师。
IBM大中华区与分析事业部总经理钟泽敏先生表示：“在开源创新领域IBM已经引领行业十年之久。我们深信开源的力量是为客户创造价值的源泉，我们将全力支持Spark(+本站微信networkworldweixin)，将其作为推动分析的基础性技术平台，从根本上推动所有业务领域加速创新。我们将帮助客户部署和利用Spark推动数据战略，以实现业务转型和差异化竞争，并从中获益。”
Spark具有敏捷快速，便于应用的特征。良好的开源属性使其可以在全球范围内持续改进。在接下来的几个月里，IBM的科学家和工程师将与Apache Spark开放社区合作，迅速推动先进机器学习技术的普及，并加快智能业务应用开发的创新速度。通过无偿提供SystemML，IBM将帮助数据科学家提高迭代速度以应对不断变化的业务需求，并为不断发展壮大的应用程序开发人员生态系统提供支持，使智能技术在所有领域得到深度应用。
参考资料1.：（Big Data），研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
...2.：大型开放式网络课程，其英文名称为，是massive open online courses的缩写形式， 2012年美国知名学府相继开设网络学习平台，通过互联网打破课堂地域的束缚，为广大学习爱好...
[责任编辑：软件频道 ]
正在加载...
我也说几句
汇编一周来国内外网络和IT行业发生的焦点新闻，精挑细选，第一时间推送独家采写的深度报道和热点专题，深入挖掘新闻事件背后的故事，剖析新闻事件的来龙去脉，让读者准确把握业界的发展态势。
汇集存储频道每周精华内容，让您在最短的时间内，以最便捷的方式获取权威的购买指南，专家博客，皆汇聚在此。
定期为您带来深入权威的网络，交换机，路由器，无线，通信领域信息服务，涵盖产品，技术，新闻，应用案例，评测,购买指南，专栏，技巧等多个方面的信息。与企业网络相关的一切，尽在网络通信邮件，您怎可错过？
新一代数据中心建设管理最新信息快递――聚焦新一代绿色数据中心的设计、建设、运营和管理，汇集业界专家与用户的最精粹观点，展示国内外数据中心经典案例！
定期为您带来安全领域权威专业的产品，技术，新闻，应用案例，评测，购买指南等信息，保护您在网络畅游之时不受病毒的威胁，企业运行之际减少安全的风险。一份邮件在手，一份安全在心！
深入、专业关注云计算相关的技术与实践，范围覆盖私有云建设、公有云服务运营、开源云平台发展、重要云服务商动态等领域，面向企业CIO和IT经理提供深度原创报道，以及云计算、云服务领域最新的市场资讯。
汇集软件频道每周精华内容，让您在最短的时间内，以最便捷的方式获取权威的企业软件新闻，SOA，SaaS，BI，ERP，开源技术，产品，技巧等全方面的实用资讯。还犹豫什么，这就开始体验一下吧！
深入、专业关注大数据相关的技术与实践，提供Hadoop、NoSQL等领域的最新技术资讯，定期发布由业界专家撰写的大数据专栏文章，面向企业CIO、IT经理、DBA提供深度原创报道，以及大数据领域的最新市场资讯。
汇集服务器频道每周精华内容，让您在最短的时间内，以最便捷的方式获取权威的服务器虚拟化，刀片服务器，操作系统，大型机，服务器芯片信息，最新最全的服务器技巧，购买指南，专家博客，皆汇聚在此。
网界网网络学院频道，内容涵盖移动互联，技术开发，Web前端，安全，网络通信，云计算，数据中心，存储，服务器，软件等内容。
订阅过的用户，全部取消选择，可取消订阅
网络世界移动客户端网界网微信订阅号

我要回帖

更多关于 spark监控平台 的文章

 

随机推荐