大数据技术与应用专业
机电工程分院 7514301
经济技术分院 7515103
人文科学分院 7514202
管理科学分院 7515976
&&外国语分院 7515618
当前位置：&>&
大数据技术与应用专业
来源：作者：
发布时间： 11:53:44
&一、培养目标
本专业培养能适应经济社会发展与建设需要的德、智、体、美全面发展的具有良好职业道德和计算机科学基本理论，具有创新精神和较强实践能力，熟悉计算机软件相关理论知识，具备一定的软件需求分析和系统设计能力，掌握本专业必需的基础理论、专业知识、基本技能和专业技术应用能力，能适应物联网产业发展需要，适应政府机关、企事业单位、科研院所、商业网站、Internet服务商、网络公司、计算机网络市场等相关工作领域，从事物联网络系统集成、网络工程项目的维护、管理、服务第一线需要的高端技能型专门人才。
二、人才培养规格要求
（一）知识结构与要求
文化基础知识
●掌握一定的哲学原理、必要的法律知识，理解邓小平理论和毛泽东思想的重要思想概论，具有良好的职业道德和行为规范
●掌握公文写作、文秘知识
●具有必备的体育知识
●掌握计算机应用基础知识
●掌握英语基本知识
思想道德修养与法律基础、毛泽东思想、应用文写作、高职英语、计算机基础、体育运动。
专业基础知识
●初步掌握计算机的基本知识体系与分析方法，把握计算机的结构等的基本知识。
●掌握计算机网络概念，网络四层结构与协议、设备与操作系统，局域网组网方法，互联网法律法规。
●掌握计算机程序的基本理论知识；
●掌握掌握关系型数据库的创建、管理等基本操作；
●掌握大数据主要技术、发展趋势，云计算典型应用领域及其系统功能分析，分布式系统技术概述，虚拟化技术概述，大规模数据处理概念，大数据代表性系统的等基本知识。
●掌握Linux安装、环境的配置，Linux系统管理，Linux网络管理等基本操作；
计算机网络技术、Linux操作系统应用、C语言程序设计、数据结构、计算机组装与维护、SQL Server数据库应用
专业技术知识
●掌握PHP语言的基本理论知识，能用PHP语言设计出较综合的应用程序；
●了解大数据产生和应用，大数据的作用；掌握大数据关键技术、处理模块；分布式编程、开发等
●掌握云存储整体架构的设计与搭建，通过集群应用、网格技术或分布式文件系统等功能，将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的基本理论知识与技能；
●掌握计算机网络的动静态网站制作与开发技术的基本理论知识与技能，能够进行网站前端和后台的开发；
●掌握软件工程相关理论知识，能进行需求分析报告等专业文档阅读和编写知识；
●掌握存储、组织的方式的数据结构理论知识，以便让程序高效的运行或者存储。
●掌握JAVA程序设计的基本理论知识，能用JAVA语言设计出较综合的应用程序；
●精通Javascript+Jquery的基本理论知识，能用来设计出较综合的应用程序；
PHP程序设计、云存储技术、大数据分析与开发、网页设计（HTML/CSS）、Asp.net基础、Asp.net项目开发、软件工程、数据结构、Java程序设计、网络综合布线技术、PHP企业级应用开发、精通Javascript+Jquery
专业拓展知识
●掌握常用办公软件的高级应用知识与技能；
●掌握多媒体技术基本理论知识与技能；
●具备一定的电子商务、网络营销的知识；
●具备实用的商务礼仪的知识；
●掌握局域网的组建、维护；网络硬件设备的性能和选型，互连技术基本理论知识与技能；
●具备计算机平面广告设计与制作的基本技能；
办公软件高级应用、多媒体技术基础、电子商务、商务礼仪、组网技术与网络管理、平面广告设计与制作。
（二）能力结构与要求
●具有运用辩证唯物主义的基本观点及方法认识、分析和解决问题的能力
●具有一定的应用文、公文写作及数学运用的能力；
●具有英语听说读写能力，达到《全国高等学校英语应用能力考试》（B级）；
●具有计算机应用的能力及信息的获取、分析与处理的能力《全国高等学校计算机考试》（一级）标准；
思想道德修养与法律基础、毛泽东思想、应用文写作、高职英语、计算机基础、体育运动。
●掌握PHP语言的基本理论知识，能用PHP语言设计出较综合的应用程序；
●了解大数据产生和应用，大数据的作用；掌握大数据关键技术、处理模块；分布式编程、开发等
●掌握云存储整体架构的设计与搭建，通过集群应用、网格技术或分布式文件系统等功能，将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的基本理论知识与技能；
●掌握计算机网络的动静态网站制作与开发技术的基本理论知识与技能，能够进行网站前端和后台的开发；
●掌握软件工程相关理论知识，能进行需求分析报告等专业文档阅读和编写知识；
●掌握存储、组织的方式的数据结构理论知识，以便让程序高效的运行或者存储。
●掌握JAVA程序设计的基本理论知识，能用JAVA语言设计出较综合的应用程序；
●精通Javascript+Jquery的基本理论知识，能用来设计出较综合的应用程序；
PHP程序设计、云存储技术、大数据分析与开发、网页设计（HTML/CSS）、Asp.net基础、Asp.net项目开发、软件工程、数据结构、Java程序设计、网络综合布线技术、PHP企业级应用开发、精通Javascript+Jquery
●掌握常用办公软件的高级应用知识与技能；
●掌握多媒体技术基本理论知识与技能；
●具备一定的电子商务、网络营销的知识；
●具备实用的商务礼仪的知识；
●掌握局域网的组建、维护；网络硬件设备的性能和选型，互连技术基本理论知识与技能；
●具备计算机平面广告设计与制作的基本技能；
办公软件高级应用、多媒体技术基础、电子商务、商务礼仪、组网技术与网络管理、平面广告设计与制作。
（三）素质结构与要求
相应课程或教学活动
●毕业生要热爱祖国，拥护中国共产党的领导；
●懂得毛泽东思想和邓小平的基本理论；
●具有爱国主义、集体主义、社会主义思想；
●遵纪守法，有良好的思想品德、社会公德；
●具有服务意识和艰苦创业、团结协作精神。
思想道德修养与法律基础、毛泽东思想与中国特色社会主义理论体系概论、心理咨询、专题讲座。
●具有一定的体育、卫生和军事基本知识。
●掌握科学锻炼身体的基本技能，养成良好的体育锻炼和卫生习惯，达到国家规定的高职学生体育和军事训练合格标准。
●具有健全的心理和健康的体魄。
军训、体育、课外体育锻炼、球类比赛、文艺活动等、大学生心理健康教育。
●具有本专业的专业知识和专业技能；
●具有从事专业各职业岗位的实际工作能力；
●具有良好的职业道德，较强的敬业精神和创新精神；
●具有爱岗敬业、自律、诚信、进取、勇于创新的良好品质；
●具有较强的沟通与协作、协调与组织能力，并有良好的团队精神；
●有强烈的事业心、责任心和社会责任感 ；
●良好的语言表达能力及与人沟通、共事的能力；
●具有吃苦耐劳、不屈不挠的韧劲。
礼节礼仪、演讲与口才、书法基础、职业道德、就业指导、就业专题讲座、课程实习、顶岗实习等。
●具有一定的文学、艺术修养和人文科学素养；
●具有一定的审美能力；
●有一定的音乐、书画等方面的素养。
心理健康、音乐欣赏、摄影、课外阅读、校园艺术节等。
（四）职业资格能力要求
计算机网络专业的技术、技能和职业资格证书考核要求获得以下资格证书：
大数据应用开发工程师
国家人社部与工信部
PHP高级工程师
国家人社部与工信部
（五）等级考试要求
要求学生在校期间，在学校组织的等级考试中，通过全国高校英语应用能力B级考试及全国高等学校计算机等级考试。
三、学制、招生对象与毕业生就业方向
招生对象：全日制普通高中毕业生、职业中学毕业生、中专毕业生。
学制：三年。
就业方向：政府机关、企事业单位、科研院所、商业网站、Internet服务商、网络公司、计算机网络市场等相关工作领域，从事物联网络系统集成、网络工程项目的维护、管理、服务等工作
就业岗位：物联网络系统集成、网络工程项目的维护、管理、服务等工作。
四、课程模块体系结构及学时学分分配表
课程结构比例表
基本素质与通用能力
职业综合能力
实践教学环节
五、实践教学环节要求
（一）实践教学环节安排表
实践教学环节（项目）名称
国防教育（军训、入学教育）
PHP架构师、PHP高级工程师
综合训练（毕业设计）
（二）职业能力实践要求
1.时间：大学期间寒假和暑假中的任意四个假期
2.学分：每学期2个学分，4学期，共8个学分
3.完成形式：深入企业、工厂、农村、城镇和社区进行了解社会、服务社会，接受经济建设、精神文明建设和政治文明建设实践锻炼和学习的活动。职业能力实践可以通过顶岗实习、社会调查和&三下乡&形式完成。
（1）顶岗实习：即学生根据自己的意愿，自主选择某一企业或是单位进行顶岗实习和工作，了解当前的就业情况及本专业职业方向，职位状况等，从而获取更多的实践工作经验。
（2）社会调查：即根据当前国家经济形势和相关的方针政策，以及自己的兴趣和学识，选定社会的一个特定现象作为研究对象（即选题），并应用科学方法，对所选定的这一现象进行实地考察，掌握并分析其发生的各种原因和相关联系，从而提出解决问题的对策，最终形成调查报告。
（3）&三下乡&活动：是指文化、科技、卫生&三下乡&。即确定一个主题，并围绕所确定的主题开展相应的下乡服务活动。如与当地学生青年座谈联谊、为当地小学生义务辅导功课，深入农民之中调查研究等。
4.学生职业能力实践可以采取个人分散或集体方式进行实践，以就近、安全为原则。实践的内容可以从以上三种方式中选择一样开展实践活动，也可以根据自己的实际情况自主选题完成实践，但课题（内容）必须经分院审批通过并报就业指导中心备案。
六、课程主要内容简表
课程课程名称
计算机网络技术
1、掌握计算机网络概念，网络四层结构与协议、设备与操作系统
2、掌握局域网组网方法，互联网法律法规应用
七、对教学计划必要的说明
1．本计划共20周，其中教学16周，机动1周，复习1周，考试2周。
2．本专业毕业最低学分要求为141.5学分。列入《教学进程计划表》16学时计1学分，专业实训、毕业设计、毕业实习、社会调查等实践活动按30学时/周计。专注打造企业需求的全栈式大数据开发工程师
价值：“大数据产生价值的核心”
大数据行业分析
大数据收集
大数据汇总
大数据建模
大数据平台搭建
大数据开发应用
大数据可视化
大数据分类
大数据清洗
大数据分析
大数据开发
大数据可视化
1.大数据开发所涉及的数据来源于各种不同种类的数据，需要确定数据的输入及产出、数据量，处理效率、可靠性、可维护性
2.大数据开发过程需要明确大数据项目的目标、基于数据做决定、选择使用权、选择合适的数据输出设备
理论+实战的黄金课程体系
大数据课程分为13大阶段90大模块课程+6大企业真实项目实战，每个阶段都有实力案例和项目结合，从简单到专业一步一步带领学生走进大数据开发的世界，帮助学生顺利走上大数据工程师的道路！
课程一阶段
JavaSE开发
■学习内容：JavaSE实战开发
■学习目标：Java面向对象、访问权限、抽象类与接口、&&&&&&&&&&&&&&&&&&&&&&&&&异常处理、I/O流与反射、Java网络编程。
■完成项目：Java多线程模拟多窗口售票，Java集合框架&&&&&&&&&&&&&&&&&&&&&&&&&管理。
课程二阶段
JavaEE开发
■学习内容：JavaEE实战开发
■学习目标：Mysql数据库，JDBC，JavaWeb开发、&&&&&&&&&&&&&&&&&&&&&&&&&Servlet JSP、Java三大框架核心框架开发
■完成项目：京东电商网站项目、2048游戏项目、智能&&&&&&&&&&&&&&&&&&&&&&&&&图书管理系统
课程三阶段
并发编程实战开发
■学习内容：并发编程实战开发
■学习目标：掌握Socket编程模型、NIO与AIO编程模型&&&&&&&&&&&&&&&&&&&&&&&&&Buffer API与通信框架Netty。
■完成项目：类QQ聊天室、RPC模拟实现
课程四阶段
■学习内容：Scala函数、Spark SQL、机器学习
■学习目标：搭建负载均衡、高可靠的服务器集群，增&&&&&&&&&&&&&&&&&&&&&&&&&大网站并发访问量，保证服务不间断。
■完成项目：公司网络拓扑实战、构建企业网站和邮件应&&&&&&&&&&&&&&&&&&&&&&&&&用平台 、构建服务器管理监控系统。
课程五阶段
Hadoop生态体系
■学习内容：Hadoop生态体系
■学习目标：掌握HDFS原理、操作和应用开发，掌握分&&&&&&&&&&&&&&&&&&&&&&&&&布式运算、Hive数据仓库原理及应用。
■完成项目：微博数据大数据分析项目、用户行为分析项&&&&&&&&&&&&&&&&&&&&&&&&&目、精准广告投放项目。
课程六阶段
Python实战开发
■学习内容：Python实战开发
■学习目标：能够编写网络爬虫、Python进行网络编程&&&&&&&&&&&&&&&&&&&&&&&&&PythonWeb全栈开发、Python机器学习。
■完成项目：Python微博数据爬取、MapReduce设计ETL&&&&&&&&&&&&&&&&&&&&&&&&&Hive计数统计分析、SSM框架可视化分析。
课程七阶段
Storm实时开发
■学习内容：Storm实时开发
■学习目标：掌握Storm程序的开发及底层原理，具备开&&&&&&&&&&&&&&&&&&&&&&&&&发基于Storm的实时计算程序的能力。
■完成项目：实时处理新数据和更新数据库，处理密集查询&&&&&&&&&&&&&&&&&&&&&&&&&并行搜索处理大集合的数据。
课程八阶段
Spark生态体系
■学习内容：Spark生态体系
■学习目标：熟练使用Scala快速开发、Spark进行深入编&&&&&&&&&&&&&&&&&&&&&&&&&程，以及spark大数据调优。
■完成项目：使用Spark处理离线数据、使用Spark &&&&&&&&&&&&&&&&&&&&&&&&&Streaming完成实时计算。
课程九阶段
ElasticSeach
■学习内容：大型综合性大数据项目
■学习目标：能够熟练查询DSL、掌握底层索引控制、索&&&&&&&&&&&&&&&&&&&&&&&&&引段统计与故障处理。
■完成项目：实时索引存储节点，elasticsearch建立索引精&&&&&&&&&&&&&&&&&&&&&&&&&准搜索分析。
课程十阶段
Docker容器引擎
■学习内容：大型综合性大数据项目
■学习目标：熟练Docker安装配置、掌握Docker核心开&&&&&&&&&&&&&&&&&&&&&&&&&发、Docker镜像与数据管理。
■完成项目：docker镜像与容器存储结构分析，使用docker&&&&&&&&&&&&&&&&&&&&&&&&&容器搭建jenkins集群。
课程十一阶段
■学习内容：大型综合性大数据项目
■学习目标：熟练模型评估与选择，熟练使用机器学习各&&&&&&&&&&&&&&&&&&&&&&&&&种算法，掌握机器学习与大数据的结合。
■完成项目：广告CTR预估及投放，智能数据实时监测项目&&&&&&&&&&&&&&&&&&&&&&&&&社交图谱大数据分析。
课程十二阶段
超大集群调优
■学习内容：超大集群调优
■学习目标：能够熟练进行版本调优、压缩调优、文件调&&&&&&&&&&&&&&&&&&&&&&&&&优、参数调优等八大集群调优。
■完成项目：大数据并发超大集群调优，服务器大集群架构&&&&&&&&&&&&&&&&&&&&&&&&&调优，超大数据资源调优。
课程十三阶段
大数据项目实战
■学习内容：大型综合性大数据项目
■学习目标：能够综合运用大数据知识进行非结构化数据&&&&&&&&&&&&&&&&&&&&&&&&&开发、分析，能够开发大型项目。
■完成项目：某大型网站日志分析，移动业务感知分析，实&&&&&&&&&&&&&&&&&&&&&&&&&时检测车辆超速项目，实时非法网站检测项目
大数据开发详细课程内容
光环大数据自成立起，只专注大数据就业培训，紧跟行业发展趋势和企业需求，每2-3月升级完善课程，定期访问名企及已就业学员，确保课程前沿、专业、实用！
课程价值：
1. 所有课程均为最新课程，其中hadoop课程为最新3.0版本，spark课程为最新2.2版本
　　　　　 2. 超大集群调优、机器学习、Docker容器引擎、ElasticSearch、Python实战开发、并发编程等均为光环大数据独家研发课程，市场仅此一家！
授课模式：
1. 拒绝纸上谈兵，所有上课代码全部手敲，现场实战演练！（其他机构大都只教授理论，学生无任何实战能力）
　　　　　 2. 为保障学员吸收效果，课程中所有模块、流程、原理、阶段等均由老师现场原创画图解读！（其他机构大都按照PPT照本宣读）
JavaSE课程大纲
1.初识Java
2.流程与控制
3.面向对象及方法重载
4.访问权限和继承
5.抽象类与接口
1、Java发展简史，主要特征
2、Java运行机制
3、第一个Java程序，注释
4、Javac,Java,Javadoc等命令
5、标识符与关键字
6、变量的声明，初始化与应用
7、变量的作用域
8、变量重名
9、基本数据类型
10、类型转换与类型提升
11、各种数据类型使用细节
12、转义序列
13、各种运算符的使用
1、选择控制语句if-else
2、选择控制语句switch-case
3、循环控制语句while
4、循环控制语句do-while
5、循环控制语句for与增强型for
6、break，continue，return
7、循环标签
8、数组的声明与初始化
9、数组内存空间分配
10、栈与堆内存
11、二维（多维）数组
12、Arrays类的相关方法
13、main方法命令行参数
1、面向对象的基本思想
2、类与对象
3、成员变量与默认值
4、方法的声明，调用
5、参数传递和内存图
6、方法重载的概念
7、调用原则与重载的优势
8、构造器声明与默认构造器
9、构造器重载
10、this关键字的使用
11、this调用构造器原则
12、实例变量初始化方式
13、可变参数方法
1、包的声明与使用
2、import与import static
3、访问权限修饰符
4、类的封装性
5、static（静态成员变量）
6、final（修饰变量，方法）
7、静态成员变量初始化方式
8、类的继承与成员继承
9、super的使用
10、调用父类构造器
11、方法的重写与变量隐藏
12、继承实现多态和类型转换
13、instanceof
2、抽象方法
3、继承抽象类
4、抽象类与多态
5、接口的成员
6、静态方法与默认方法
7、静态成员类
8、实例成员类
10、匿名类
11、eclipse的使用与调试
12、内部类对外围类的访问关系
13、内部类的命名
6.Lambda表达式与常用类
7.异常处理与泛型
8.集合（上）和集合（下）
9.I/O流与反射
10.Java网络编程与多线程
1、函数式接口
2、Lambda表达式概念
3、Lambda表达式应用场合
4、使用案例
5、方法引用
6、枚举类型（编译器的处理）
7、包装类型（自动拆箱与封箱）
8、String方法
9、常量池机制
10、String讲解
11、StringBuilder讲解
12、Math，Date使用
13、Calendars使用
1、异常分类
2、try-catch-finally
3、try-with-resources
4、多重捕获multi-catch
5、throw与throws
6、自定义异常和优势
7、泛型背景与优势
8、参数化类型与原生类型
9、类型推断
10、参数化类型与数组的差异
11、类型通配符
12、自定义泛型类和类型擦出
13、泛型方法重载与重写
1 、常用数据结构
2 、Collection接口
3 、List与Set接口
4 、SortedSet与NavigableSet
5 、相关接口的实现类
6 、Comparable与Comparator
7、Queue接口
8 、Deque接口
9 、Map接口
10、NavigableMap
11、相关接口的实现类
12、流操作（聚合操作）
13、Collections类的使用
1 、File类的使用
2 、字节流
3 、字符流
4 、缓存流
5 、转换流
6 、数据流
8、类加载，链接与初始化
9 、ClassLoader的使用
10、Class类的使用
11、通过反射调用构造器
12、安全管理器
1、进程与线程
2、创建线程的方式
3、线程的相关方法
4、线程同步
5、线程死锁
6、线程协作操作
7、计算机网络（IP与端口）
8、TCP协议与UDP协议
9、URL的相关方法
10、访问网络资源
11、TCP协议通讯
12、UDP协议通讯
JavaEE课程大纲
5.Javascript
1、数据库基础知识
2、SQL理论基础和数据类型
3、DDL、DML、DQL语句
4、函数和关联查询
5、子查询、约束、视图
6、编程 存储过程，触发器
7、Sql查询案例和优化
1、Jdbc基本概念
2、使用Jdbc连接数据库
3、使用Jdbc进行crud操作
4、使用Jdbc进行多表操作
5、Jdbc驱动类型
6、Jdbc异常和批量处理
7、Jdbc储存过程
1、Html基本介绍
2、HTML语法规范
3、基本标签介绍
4、表单介绍
5、Table标签
6、DIV布局介绍
7、HTML列表详解
1、CSS简介及文字样式
2、盒子模型
3、布局及定位
4、CSS选择器
5、CSS3动画效果
6、CSS3新增选择器
1、JavaScript简介
2、基本语法规则
3、if判断语句和for循环语句
4、函数、事件
5、内置对象和自定义对象
6、DOM操作
7、表单验证
7.Servlet+Jsp
8.Springmvc+
10.Maven+Svn
1、Jquery简介
2、Jquery选择器
3、Jquery中事件操作
4、Jquery的动画效果
5、使用Jquery完成Dom操作
6、Jquery封装函数
7、Jquery案例
1、Servlet简介
2、Request对象
3、Response对象
4、转发和重定向
5、使用Servlet完成Crud
6、Session和Coolie简介
7、ServletContext和Jsp
8、El和Jstl的使用
1、Springmvc简介
2、用Springmvc第一个项目
3、Springmvc执行流程和参数
4、Springmvc
5、Springmvc数据回显
6、结果返回类型
7、文件上传及Ajax
1、Mybatis简介
2、Mybatis配置文件解析
3、用Mybatis完成crud操作
4、ResultMap的使用
5、Mybatis关联查询
6、动态sql语句
7、Mybatis缓存
8、Mybatis-Generator
1、Ioc、Aop、Ssm整合
2、Svn的简介
3、Svn的安装
4、Svn在集成环境中使用
5、Maven简介及安装
6、使用Maven开发项目
1.Socket编程编程
2.伪异步IO编程
3.NIO与AIO编程模型
4.Buffer API讲解
5.通信框架Netty
1、网络中进程之间如何通信
2、Socket是什么
3、socket的基本操作
4、socket类型讲解
5、socket基本函数
6、socket高级函数
7、socket中TCP交换分组
8、socket中TCP高级编程
1、用户空间和内核空间
2、同步和异步/阻塞与非阻塞
3、伪异步IO编程基础
4、伪异步IO模型图
5、伪异步式IO创建TimeServer
6、伪异步IO弊端分析
7、伪异步IO编程实战
1、网络编程模型基本认识
2、BIO、NIO、AIO适用场景
3、同步阻塞 I/O
4、同步非阻塞 I/O
5、异步阻塞 I/O
6、异步非阻塞 I/O（AIO）
7、NIO与AIO基本操作
8、高性能IO设计模式
1、缓冲区的四个属性
2、相对存取和绝对存取
3、翻转与释放
4、创建缓冲区
5、缓冲区类型与操作
6、缓冲区比较
7、ByteBuffer 类存取和转化
1、Netty 基本认识
2、Netty 架构特征详解
3、Netty行业应用
4、Netty 框架基本操作
5、Netty 和 Mina比较
6、缓冲区比较
7、ByteBuffer 类存取和转化
1.Linux安装与配置
2.系统管理与目录管理
3.用户与用户组管理
4.Shell编 程
5.服务器配置
1、安装Linux至硬盘
2、获取信息和搜索应用程序
3、进阶：修复受损的Grub
4、关于超级用户root
5、依赖发行版本的系统管理工具
6、关于硬件驱动程序
7、进阶：配置Grub
8、CSS预处理器LESS框架使用；
9、CSS组件框架编写。
1、Shell基本命令
2、使用命令行补全和通配符
3、find命令、locate命令
4、查找特定程序：whereis
5、Linux文件系统的架构
6、移动、复制和删除
7、文件和目录的权限
8、文件类型与输入输出
9、vmware介绍与安装使用
10、网络管理、分区挂载
1、软件包管理
2、磁盘管理
3、高级硬盘管理RAID和LVM
4、进阶：备份你的工作和系统
5、用户与用户组基础
6、管理、查看、切换用户
7、/etc/...文件
8、进程管理
9、linux VI编辑器，awk，cut，grep，sed，find，unique等
1、 SHELL变量
2、传递参数
3、数组与运算符
4、SHELL的各类命令
5、SHELL流程控制
6、SHELL函数
7、SHELL输入/输出重定向
8、SHELL文件包含
1、系统引导
2、管理守护进程
3、通过xinetd启动SSH服务
4、配置inetd
5、Apache基础
6、设置Apache服务器
7、使用PHP+MySQL
Hadoop生态体系
1. Hadoop起源与安装
2.HDFS分布式文件系统
3.Hadoop文件I/O详解
4.MapReduce工作原理
5.MapReduce编程开发
1、大数据概论
2、 Google与Hadoop模块
3、Hadoop生态系统
4、Hadoop常用项目介绍
5、Hadoop环境安装配置
6、Hadoop安装模式
7、Hadoop配置文件
1、认识HDFS及其HDFS架构
2、Hadoop的RPC机制
3、HDFS的HA机制
4、HDFS的Federation机制
5、 Hadoop文件系统的访问
6、JavaAPI接口与维护HDFS
7、HDFS权限管理
8、hadoop伪分布式
1、Hadoop文件的数据结构
2、 HDFS数据完整性
3、文件序列化
4、Hadoop的Writable类型
5、Hadoop支持的压缩格式
6、Hadoop中编码器和解码器
7、 gzip、LZO和Snappy比较
8、HDFS使用shell+Java API
1、MapReduce函数式编程概念
2、 MapReduce框架结构
3、MapReduce运行原理
4、Shuffle阶段和Sort阶段
5、任务的执行与作业调度器
6、自定义Hadoop调度器
7、 异步编程模型
8、YARN架构及其工作流程
1、WordCount案例分析
2、输入格式与输出格式
3、压缩格式与MapReduce优化
4、辅助类与Streaming接口
5、MapReduce二次排序
6、MapReduce中的Join算法
7、从MySQL读写数据
8、Hadoop系统调优
6.Hive数据仓库工具
7.Hive深入解读
8.Sqoop与Oozie
9.Zookeeper详解
10.开源数据库HBase
1、Hive工作原理、类型及特点
2、Hive架构及其文件格式
3、Hive操作及Hive复合类型
4、Hive的JOIN详解
5、Hive优化策略
6、Hive内置操作符与函数
7、Hive用户自定义函数接口
8、Hive的权限控制
1 、Hive开发环境的搭建
2 、Hive的三种连接方式
3 、Hive的DDL
4 、Hive的DML
5 、Hive数据类型
6 、Hive特殊分隔符处理
7、Hive启动shell配置
8、Hive数据倾斜
1 、安装部署Sqoop
2、Sqoop数据迁移
3、Sqoop使用案例
4、深入了解数据库导入
5、导出与事务
6、导出与SequenceFile
7、Azkaban执行工作流
1、Zookeeper简介
2、Zookeeper的下载和部署
3、Zookeeper的配置与运行
4、Zookeeper的本地模式实例
5、Zookeeper的数据模型
6、Zookeeper命令行操作范例
7、storm在Zookeeper目录结构
1、HBase的特点
2、HBase访问接口
3、HBase存储结构与格式
4、HBase设计
5、关键算法和流程
6、HBase安装
7、HBase的SHELL操作
8、HBase集群搭建
项目一：用户行为分析
项目二：精准广告投放
Python实战开发
1. Python入门开发
2.Python核心编程
3.Python网络编程
4.Python Web全栈开发
5.Python机器学习
1、Python对象、数字、序列
2、 Python映像和集合类型
3、Python条件和循环
4、Python文件和输入输出
5、Python错误和异常
6、函数和函数式编程
7、Python面向对象编程
1、Python正则表达式
2、Python函数编程
3、Python多线程编程
4、Python图形用户界面编程
5、Python数据库编程
6、创建Python扩展
7、Python核心编程
1、客户端/服务器架构
2、客户端/服务器网络编程
3、Python面向连接与无连接
4、创建TCP服务器与客户端
5、创建UDP服务器与客户端
6、Socket模块属性
7、Python和FTP/SMTP
1、创建Web客户端
2、 urlparse/urllib/urllib2模块
3、高级Web客户端
4、建立CGI应用程序
5、建立Web服务器
6、全面交互的Web站点
7、高级CGI
1、机器学习基础技巧
2、 科学计算 Python 软件包
3、使用 Python 学习机器学习
4、Python 机器学习基本算法
5、Python 进阶机器学习算法
6、Python 深度学习
7、 Python 机器学习实战
项目一：Python微博数据爬取
项目二：MapReduce设计ETL
项目三：Hive计数统计分析
项目四：SSM框架可视化分析
Storm实时开发
1. storm简介与基本知识
2.拓扑详解与组件详解
3.spout详解 与bolt详解
4.storm安装与集群搭建
1、storm的诞生诞生与成长
2、storm的优势与应用
3、storm基本知识概念和配置
4、序列化与容错机制
5、可靠性机制—保证消息处理
6、storm开发环境与生产环境
7、storm拓扑的并行度
8、storm命令行客户端
1、流分组和拓扑运行
2、拓扑的常见模式
3、本地模式与stormsub的对比
4、 使用非jvm语言操作storm
5、hook、组件基本接口
6、基本抽象类
7、事务接口
8、组件之间的相互关系
1、spout获取数据的方式
2、常用的spout
3、学习编写spout类
4、bolt概述
5、可靠的与不可靠的bolt
6、复合流与复合anchoring
7、 使用其他语言定义bolt
8、学习编写bolt类
1、storm集群安装步骤与准备
2、本地模式storm配置命令
3、配置hosts文件、安装jdk
4、zookeeper集群的搭建
5、部署节点
6、storm集群的搭建
7、zookeeper应用案例
8、Hadoop高可用集群搭建
1、Kafka介绍和安装
2、整合Flume
3、Kafka API
4、Kafka底层实现原理
5、Kafka的消息处理机制
6、数据传输的事务定义
7、Kafka的存储策略
1、Flume介绍和安装
2、Flume Source讲解
3、Flume Channel讲解
4、Flume Sink讲解
5、flume部署种类、流配置
6、单一代理、多代理说明
7、flume selector相关配置
1、Redis介绍和安装、配置
2、Redis数据类型
3、Redis键、字符串、哈希
4、Redis列表与集合
5、Redis事务和脚本
6、Redis数据备份与恢复
7、Redis的SHELL操作
Spark生态体系
1.Scala编程开发
2.Scala深入解析
3.SparKcore编程
4. Sparkcore深入编程
5.SparkSQL
1、Scala语法基础
2、idea工具安装
3、maven工具配置
4、条件结构、循环、高级for循环
5、数组、映射、元组
6、类、样例类、对象、伴生对象
7、高阶函数与函数式编程
1、 柯里化、闭包
2、模式匹配、偏函数
3、类型参数
4、协变与逆变
5、隐式转换、隐式参数、隐式值
6、Actor机制
7、高级项目案例
1、Spark四大特性
2、Wordcount案例演示
3、什么是RDD
4、Spark架构
5、Spark集群搭建/HA集群搭建
6、Spark任务提交
7、TransFormation和Action
1、算子演示(Scale、jdk7、jdk8)
2、RDD持久化
3、宽依赖和窄依赖
4、累加变量和共享变量
5、Spark运行模式
6、二次排序
7、综合案例演示
1、Spark的前世今生
2、什么是DataFrame
3、什么是DataSet
4、RDD转换为DataSet
5、load/save
6、数据源之json
6.深入SparkSQL
7.Spark Streaming
8.SparkGraphX
9.Spark源码导读
10.Spark调优
1、数据源之parquet
2、数据源之Hive/Hbase/Mysql
3、thrift服务
4、开窗函数
5、UDF、UDAF编程
6、综合案例演示
1、Spark Streaming运行流程
2、什么是DStream
3、UpdateStateByKey算子演示
4、CheckPoint与DriverHA实现
5、Transform算子演示
6、ForeachRDD重点算子详解
7、与Kafka和Flume整合
1、GraphX应用背景
2、GraphX的框架
3、GraphX实现分析
4、GraphX图计算
5、GraphX核心概念解释
6、GraphX框架实现分析
7、GraphX案例演示
1、启动脚本流程分析
2、Mater和Worker启动流程
3、资源分配算法
4、SparkContext初始化
5、TaskScheduler运行
6、task位置算法与分配算法
7、DagScheduler运行流程
8、stage划分算法
1、JVM调优
2、开发调优
3、数据倾斜调优
4、资源调优
5、shuffle调优
6、sparkSQL调优
7、sparkStreaming调优
项目一：大数据分布式爬虫
项目二：大型电商日志分析
ElasticSearch
1.ElasticSearch简介
2.查询DSL进阶
3.底层索引控制
4.索引段统计与故障处理
5.ElasticSearch Java API
1、Lucene的总体架构
2、Lucene查询语言
3、ElasticSearch简介
4、ElasticSearch的基本概念
5、ElasticSearch架构背后的关键
6、ElasticSearch的工作流程
1、Apache Lucene评分公式解释
2、何时文档被匹配上
3、TF/IDF评分公式
4、查询改写与二次评分
5、前缀查询范例与查询改写属性
6、数据更新API
7、使用过滤器优化查询
1、相似度模型配置
2、实时、提交、更新及事务日志
3、深入理解数据处理
4、控制索引合并
5、分布式索引架构
6、调整默认的分片分配行为
7、调整分片分配
1、segments API简介
2、 索引段信息的可视化
3、过滤器缓存与字段数据缓存
4、处理垃圾回收问题
5、UNIX中避免内存交换
6、关于I/O调节与热点线程
7、用预热器提升查询速度
1、ElasticSearch Java API简介
2、连接到集群
3、API剖析与CRUD操作
4、ElasticSearch查询
5、批量执行多个操作
6、构造JSON格式的查询和文档
7、管理API
Docker容器引擎
1.初识容器与Docker
2.核心概念与安装配置
3.Docker镜像使用
4.Docker数据管理
5.Docker与大数据
1、基本容器认识
2、虚拟化技术与容器
3、容器关键技术介绍
4、Docker 基本认识
5、Docker 特征
6、Docker 组件与元素
7、虚拟化与Docker
1、Docker核心概念
2、使用脚本安装 Docker
3、启动docker 后台服务
4、CentOS Docker 安装
5、使用脚本安装 Docker
6、Windows Docker 安装
7、运行 Docker
1、Docker镜像关键概念
2、Docker镜像操作解析
3、Docker容器的迁移方法
4、存储驱动的功能与管理
5、Docker架构概览
6、client模式与daemon模式
7、Docker高级实践技巧
1、数据卷与数据卷容器
2、 Docker数据容器
3、挂载本地的目录到容器里
4、挂载数据卷
5、定义数据卷容器
6、数据卷的备份与恢复
7、数据卷容器迁移数据
1、在Docker创建Hadoop镜像
2、获取Docker镜像库
3、SSH功能镜像文件生成
4、生成Hadoop镜像库文件
5、Docker配置三节点Hdfs集群
6、Docker配置三节点Yarn集群
7、Docker配置三节点spark集群
1.模型评估与选择
2.线性模型与决策树
3.K最近邻算法
4.贝叶斯分类器
5.机器学习与大数据
1、机器学习基本认识
2、经验误差与过拟合
3、评估方法
4、性能度量
5、比较检验
6、偏差与方差
1、基本形式与线性回归
2、对数几率回归
3、线性判别分析与多分类学习
4、决策树基本流程
5、决策树划分选择与剪枝处理
6、连续与缺失值
7、多变量决策树
1、K最近邻算法概念介绍
2、K最近邻算法偏差与方差
3、K最近邻算法最近邻搜索
4、K最近邻算法K近邻搜索
5、K最近邻算法算法原理
6、K最近邻算法各类算法实现
7、K最近邻算法案例演示
1、贝叶斯决策论
2、极大似然估计
3、朴素贝叶斯分类器
4、半朴素贝叶斯分类器
5、贝叶斯网
1、机器学习的范围
2、大数据下的机器学习
3、大数据对机器学习的影响
4、机器学习与大数据项目
5、模式识别与大数据
6、深度学习与大数据
7、机器学习与大数据
超大集群调优
文件格式调优
操作系统调优
真实项目贯穿全程
为提高学员的实战能力，专门引进各大合作企业的实战项目
互联网电商数据爬虫项目
该项目使用hadoop分布式爬虫爬取互联网各大电商网站数据，通过各类海量数据的爬行抓取，前台实现实时对数据的快速精准查询和商品对比以及业务分析。
该项目包含商品页面抓取和解析，分布式爬虫设计细节，分析URL链接和页面内容如何存储，分布式爬虫监控功能。爬虫频繁爬取数据IP被封问题解决方案，爬虫爬取失败URL如何处理，抓取需要登录的网站数据。使用solr实现海量数据精准查询，使用hbase实现海量数据精准快速查询。本项目包含的大数据技术有：Java、HttpClient、Redis、Solr、HBase、Zookeeper、HighChart、HTMLEmail。
高频数据实时处理项目
该项目实现对数据系统的高频日志数据进行实时收集和业务处理，在高峰期每秒钟会有近万HTTP请求发送到服务器上，这些请求包含了用户行为和个性化推荐请求。从这些数据中快速挖掘用户兴趣偏 好并作出效果不错的推荐。
Web应用云包含了所有直接面对用户的Web服务，每个Web应用都会产生Web日志以及其他实时数据，这些数据一 方面会及时交由实时计算框架进行处理，另一方面也会定期同步至离线计算框架；实时计算框架会处理接收到的实时数据，并将处理结果输出到数据查询框架或者离 线计算框架。
某大型网站日志分析项目
通过大数据工具将互联网中的日志采集、清洗、分析统计出常见的互联网指标；开发出各种维度UV的分析报表、各个指标每日、每月指标报表分析，用于对产品做出正确的决策，数据的正确性校对问题，临时性图标的开发。
使用hadoop、mapreduce、hive清理和分析UV、PV、登陆、留存等常见指标，使用storm实时分析充值、消费等趋势，各个维度的趋势对比、各个指标每日、月指标报表生成，使用kettle数据的正确性校对问题和邮件报警。日志数据的实时采集优先采用Flume-Ng组件，Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。
移动业务感知项目
该项目主要利用hadoop集群强大的计算能力对移动的大批量离线话单数据进行分析，统计移动使用业务（流量套餐、话费套餐、铃声套餐等）情况，达到感知用户行为和使用习惯，确定移动业务推广走向的一套系统。
使用MR对多个小区GN口五类数据进行分析完成和移动用户通话时长、2G/3G业务流量使用进行一级汇总，列出小区流量使用排名，使用hive完成用户维度关联汇总，统计话单使用情况，使用spark完成APP下载top排名统计，使用sparkstreaming实时处理，根据用户使用APP，实时统计排名，使用sqoop导入oracle完成的web页面2G/3G业务使用排名和流量排名。
用户画像分析系统项目
通过jdbc的方式连接spark的thriftserver，通过集群进行HDFS上的大宽表的运算求count。这样便可以定位相应的客户数量，从而进行客户群、标签的分析，产品的策略匹配从而精准营销。
1、数据指标的的梳理来源于各个系统日常积累的日志记录系统，通过sqoop导入hdfs,或者spark的jdbc连接传统数据库进行数据的cache。
2、通过hive编写UDF 或者hiveql 根据业务逻辑拼接ETL，使用户对应上不同的用户标签数据，生成相应的源表数据,以便于后续用户画像系统，通过不同的规则进行标签宽表的生成。
实时非法网站监测系统项目
针对现有技术的缺陷，提供一种基于实时日志的网站威胁检测方法及系统，能够提高日志数据的处理能力及时效性，提高网站威胁检测与反应的及时性，降低网站运行的风险，为网络的信息安全提供有力的保障。
日志数据实时采集单元，用于实时采集监控网站日志服务器上的日志数据，日志数据实时转换与分发单元，用于对日志数据进行转换与实时分发；日志数据实时处理与检测单元，用于对日志数据进行实时处理与检测；日志数据实时监控单元，用于对所述网站威胁检测结果进行展示，并根据所述检测结果的严重程度进行预警。
哈尔滨工业大学
东北石油大学
黑龙江外国语大学
北京工业大学
内蒙古民族大学
中国石油大学
内蒙古财经大学
太原理工大学