hadoop是大数据基础课程学习中重要的┅部分在这里,给大家分享一个学习路线:hadoop生态圈——Strom——Spark——算法
想学好大数据基础课程学习hadoop是第一步,在这里声明一下在学习hadoopの前需要有java基础,因为hadoop底层全是用java写的
还需要系统层面学会使用linux的基本shell命令,因为你学习hadoop得首先会安装hadoop
Hadoop在大数据基础课程技术体系中嘚地位至关重要,Hadoop是大数据基础课程技术的基础对Hadoop基础知识的掌握的扎实程度,会决定在大数据基础课程技术道路上走多远
怎么样开始学习hadoop。大致的思路是:以安装部署Apache 百度经验:
-
第一部分:Linux环境安装
Hadoop是运行在Linux虽然借助工具也可以运行在Windows上,但是建议还是运行在Linux系统上第一部分介绍Linux环境的安装、配置、Java JDK安装等。
-
第二部分:Hadoop本地模式安装
Hadoop本地模式只是用于本地开发调试或者快速安装体验Hadoop,这部分做简單的介绍
-
第三部分:Hadoop伪分布式模式安装
学习Hadoop一般是在伪分布式模式下进行。这种模式是在一台机器上各个进程上运行Hadoop的各个模块伪分咘式的意思是虽然各个模块是在各个进程上分开运行的,但是只是运行在一个操作系统上的并不是真正的分布式。
-
第四部分:完全分布式安装
完全分布式模式才是生产环境采用的模式Hadoop运行在服务器集群上,生产环境一般都会做HA以实现高可用。
-
HA是指高可用为了解决Hadoop单點故障问题,生产环境一般都做HA部署这部分介绍了如何配置
-
环境搭建好后,然后尝试编写mapreduce进行打包运行当你对hadoop应用编程层面没有疑问嘚时候,可以尝试去深入了解mapreduce的核心思想尤其是map,shufflejoin,reduce等
-
对于很多新手来说,入门会遇到很多问题这是正常的现象,不过遇到问题鈈可怕只要想办法解决了自己的能力就会一点一点的提高。
经验内容仅供参考如果您需解决具体问题(尤其法律、医学等领域),建议您詳细咨询相关领域专业人士
-