400-888-5228

课程简介

讲解hadoop和spark的工作原理和部署方法,测试大数据程序的执行,对各种任务和资源进行管理。  

学员要求

学习了前置课程《Ubuntu Linux系统管理》 或者有Linux系统管理经验,对进程运行环境、linux磁盘管理、网络管理、服务管理熟悉。  

培训时长

3天(21学时)  

课程收益

  1. 了解Hadoop的历史及目前发展的现状、以及Hadoop的技术特点,从而把握分布式计算框架及未来发展方向,在大数据时代能为企业的技术选型及架构设计提供决策参考。
  2. 全面掌握Hadoop的架构原理和使用场景,并通过贯穿课程的项目进行实战锻炼,课程还涵盖了分布式计算领域的常用算法介绍,帮助学员为企业在利用大数据方面体现自身价值。
  3. 深入理解Hadoop技术架构,对Hadoop运作机制有清晰全面的认识,可以独立规划及部署生产环境的Hadoop集群,掌握Hadoop基本运维思路和方法,对Hadoop集群进行管理和优化。

培训对象

  1. 云计算管理员
  2. 大数据管理及开发人员
  3. 项目经理
  4. 架构师及对spark感兴趣人员
 
课程内容
单元1:Hortonworks大数据平台和Hadoop 2.0介绍 Lab 1.1:登陆到你的集群 单元2:HDFS架构 单元3:安装 Hadoop Lab 3.1:设置你的环境 Lab 3.2:用Ambari安装HDP2.0集群 单元4:配置Hadoop Lab 4.1:添加一个新的节点到集群 Lab 4.2:停止和启动HDP 服务 Lab 4.3:使用HDFS命令 单元5:数据完整性检查 Lab 5.1:用块扫描和fsck 核查数据 单元6:HDFS NFS网关 Lab 6.1:安装HDFS 到本地文件系统 单元7:YARN架构和MapReduce Lab 7.1:MapReduce 任务的故障处理 单元8:任务调度 Lab 8.1:配置容量调度 单元9:企业数据运行 Lab 9.1:用distcp 从远程集群复制数据 单元10:HDFS Web服务 Lab 10.1:使用Web HDFS 单元11:Hive管理 Lab11.1:Understanding HiveTables 单元12:Sqoop数据转移 Lab12.1:Using Sqoop 单元13:Flume Lab13.1:Install and TestFlume 单元14:Oozie Lab14.1:Running an OozieWorkflow 单元15:监控HDP2服务 单元16:增加及删除节点 Lab16.1:Commissioning &Decommissioning DataNodes 单元17:备份和恢复 Lab17.1:Using HDFS、Snapshots 单元18:机架感知 Lab18.1:Configuring RackAwareness 单元19:NameNode HA Lab19.1:ImplementingNameNode HA 单元20:HDP的安全访问控制 Lab20.1:Securing aHDPCluster